笛卡尔集
模式描述
笛卡尔积模式是一种有效的多个输入源的每一个记录跟所有其他记录配对的方式。但是这个而功能的成本也是很高的,使用这个模式的作业可能需要花费相当的时间才能完成。
目的
将数据集中每个记录与其他所有记录配对比较。
动机
将数据集中每个记录与其他所有记录配对比较。
动机
笛卡尔积允许对一个或多个数据集的每一条记录之间的关系进行分析。与按外键对数据集进行配对不同的是,笛卡尔积简单地将数据集中的每一个记录与所有其他数据集的所有记录配对。
考虑到这一点,笛卡尔积非常不适用于MapReduce,因为它的操作不能直观split,因此不能很好地并行处理,因此处理过程需要大量的计算时间和网络流量。