(PySpark)RDD实验实战——取最大数出现的次数
实验环境:
提前准备好findspark,pyspark,py4j等库
import findspark
from pyspark import SparkContext, SparkConffindspark.init()
#初始化spark,默认为你所设定的环境变量
conf = SparkConf().setAppName("jsytest").setMaster("local[4]")
#创建一个SparkConf对象,用于配置Spark应用程序,用setAppName来设置程序名称,
#用setMaster来设置运行模式和线程数,这里为本地模式,4个线程
sc = SparkContext(conf=conf)
#创建一个SparkContext对象,它是与Spark集群通信的主要接口 # sc.stop() #关闭spark上下文
data = [(4),(7),(9),(12),(9),(15),(18),(12),(20),(12)]