Spark-Scala语言实战（10）

在之前的文章中，我们学习了如何在spark中使用RDD的filter,distinct,intersection三种方法。想了解的朋友可以查看这篇文章。同时，希望我的文章能帮助到你，如果觉得我的文章写的不错，请留下你宝贵的点赞，谢谢。

Spark-Scala语言实战（9）-CSDN博客文章浏览阅读927次，点赞25次，收藏18次。今天开始的文章，我会带给大家如何在spark的中使用我们的RDD方法，今天学习RDD方法中的filter,distinct,intersection三种方法，并进行一代。希望我的文章能帮助到大家，也欢迎大家来我的文章下交流讨论，共同进步。https://blog.csdn.net/qq_49513817/article/details/137205627?今天的文章，我会继续带着大家如何在spark的中使用我们的RDD方法。今天学习RDD方法中的cartesian,subtract两种方法。

目录

一、知识回顾

二、RDD方法

1.cartesian

2.subtract

拓展-方法参数设置与笛卡尔积

1.方法参数设置

 a.cartesian方法

b. subtract方法

2.笛卡尔积

---

一、知识回顾

 上一篇文章中我们学习了RDD的三种方法，分别是filter,distinct,intersection。

ilter()方法是一种转换操作，用于过滤RDD中的元素。例如昨天的过滤偶数出来。

当然，你也可以选择过滤奇数，可以过滤被3整除的数，全凭自己所需

distinct方法是一种转换操作，用于RDD的数据去重

去除我们的重复数据，在一些特定场景，能让我们的数据更简洁，更直观

intersectio方法用于求出两个RDD的共同元素 

现在，开始今天的学习吧~ 

二、RDD方法

1.cartesian

• cartesian()方法可将两个集合的元素两两组合成一组，即求笛卡儿积。
• 创建两个RDD，分别有3个元素，通过cartesian()方法求两个RDD的笛卡儿积。

import org.apache.spark.{SparkConf, SparkContext}object p1 {def main(args: Array[String]): Unit = {val conf=new SparkConf().setMaster("local").setAppName("p2")val sc=new SparkContext(conf)val p1 = sc.parallelize(Seq(1, 2, 3))val p2 = sc.parallelize(Seq("A", "B", "C"))// 对两个RDD执行cartesian操作val pp = p1.cartesian(p2)val ppp = pp.collect()ppp.foreach { case (x, y) => println(s"($x, $y)") }}
}

 可以看到我我们创建了两个集合为p1和p2，再使用cartesian进行求笛卡尔积，最后已每个输出为仅有x，y两个元素的元组形式进行遍历输出。

运行代码，看看结果

可以看到成功输出了笛卡尔积 

2.subtract

• subtract()方法用于将前一个RDD中在后一个RDD出现的元素删除，可以认为是求补集的操作，返回值为前一个RDD去除与后一个RDD相同元素后的剩余值所组成的新的RDD。两个RDD的顺序会影响结果。
• 创建两个RDD，分别为rdd1和rdd2，包含相同元素和不同元素，通过subtract()方法求rdd1和rdd2彼此的补集。

import org.apache.spark.{SparkConf, SparkContext}object p1 {def main(args: Array[String]): Unit = {val conf=new SparkConf().setMaster("local").setAppName("p2")val sc=new SparkContext(conf)val p1 = sc.parallelize(Seq(1, 2, 3, 4, 5))val p2 = sc.parallelize(Seq(3, 4, 5, 6, 7))// 对p1执行subtract操作，移除p2中存在的元素val pp = p1.subtract(p2)val ppp = pp.collect()ppp.foreach(println)}
}

可以看到我们的代码创建了一个p1与p2，它们中间有共同元素3，4，5，那么对p1使用 subtract方法移除与p2共同元素后，打印出来应该只有1与2，现在我们运行代码看看是否与所预期一致。

可以看到成功输出1，2，代码有效，快去练习吧~ 

拓展-方法参数设置与笛卡尔积

1.方法参数设置

 a.cartesian方法

参数/属性	说明	使用例子	不同参数/属性的效果
RDD2	另一个RDD，用于计算笛卡尔积	RDD1.cartesian(RDD2)	不同的RDD2会导致不同的笛卡尔积结果。笛卡尔积的大小是RDD1和RDD2大小的乘积。
			随着RDD1和RDD2的大小增加，笛卡尔积的结果集急剧增大。
			合适的分区策略可以提高cartesian操作的性能。

b. subtract方法

参数/属性	说明	使用例子	不同参数/属性的效果
RDD2	从当前RDD中去除与RDD2相同的元素	RDD1.subtract(RDD2)	不同的RDD2会导致从RDD1中去除的元素数量和内容不同。
numPartitions	（可选）结果RDD的分区数量	RDD1.subtract(RDD2, numPartitions)	如果指定，则控制结果RDD的分区数量，影响计算的并行度和性能。
			如果不指定，通常使用默认分区策略。
数据分布	RDD中数据的分布情况		不均匀的数据分布可能导致某些分区上的计算任务比其他分区更重。
			优化的数据分布可以提高subtract操作的性能。
重复元素	RDD中可能存在的重复元素		subtract操作不会特殊处理重复元素，它们会按照正常规则被去除或保留。

2.笛卡尔积

 笛卡尔积是数学术语，又称直积。假设集合A={a,b}，集合B={0,1,2}，则A和B的笛卡尔积为{(a,0),(a,1),(a,2),(b,0),(b,1),(b,2)}。可以扩展到多个集合。类似的，多个二元组集合的笛卡尔积是各集合中所有二元组的一个组合，组合的前提是各集合中的二元组数目相等。做笛卡尔积的两个集合A和B中可以不含有重复元素，也可以包含重复元素。

在大数据中，笛卡尔积的作用主要体现在数据组合和扩展方面。具体来说，当需要对两个或多个数据集进行组合时，可以使用笛卡尔积来生成所有可能的组合。这种组合方式在数据分析、数据挖掘以及机器学习等领域中非常有用，因为它可以帮助我们创建更丰富的数据集，以便进行更深入的分析和建模。