spark接口与sc接口的关系

核心理解 :spark 是 sc 的升级版封装版 ,包含了 sc 的所有功能,并提供了更友好的 DataFrame/SQL API。在绝大多数场景下,使用 spark 就够了,只有在需要 RDD 底层功能时才通过 spark.sparkContext 访问 sc。

简单来说:SparkSession(spark)是高层统一接口,SparkContext(sc)是底层核心接口,spark 包含了 sc。

3 个赞