核心理解 :spark 是 sc 的升级版 和封装版 ,包含了 sc 的所有功能,并提供了更友好的 DataFrame/SQL API。在绝大多数场景下,使用 spark 就够了,只有在需要 RDD 底层功能时才通过 spark.sparkContext 访问 sc。
简单来说:SparkSession(spark)是高层统一接口,SparkContext(sc)是底层核心接口,spark 包含了 sc。
核心理解 :spark 是 sc 的升级版 和封装版 ,包含了 sc 的所有功能,并提供了更友好的 DataFrame/SQL API。在绝大多数场景下,使用 spark 就够了,只有在需要 RDD 底层功能时才通过 spark.sparkContext 访问 sc。
简单来说:SparkSession(spark)是高层统一接口,SparkContext(sc)是底层核心接口,spark 包含了 sc。