spark shell
1.进行shell命令行
spark-shell
2.创建RDD
2.1 读取文件创建RDD
2.1.1读取linux文件系统的文件创建RDD
--需要保证每一个worker中都有该文件
val data1 = sc.textFile("file:/opt/file/word.txt")
2.1.2读取hdfs文件系统上的文件创建RDD
val data2=sc.textFile("hdfs:/word.txt")
2.2使用Parallelize创建RDD
· val array1=Array(1,2,3,4,5,6)
val data3 = sc.parallelize(array1)
2.3从其他的RDD中创建新的RDD
val data4=data3.map(num =>(num*2))
3.对RDD进行操作
--统计RDD中的数据记录表
data1.count()
--对RDD中的数据进行过滤操作
--过滤数据,保留每行中含有hello的数据
val filterRDD=data1.filter(line => line.contains("hello"))
filterRDD.count()
--读取RDD的第一条数据
filterRDD.first()
--读取中的N条数据
filterRDD.take(2)
4.实现wordcount
val wordcount=data1.flatMap(line=>line.split(" ")).map(word=>(word,1)).reduceByKey(_+_)
将RDD中的数据写到hdfs上
wordcount.saveAsTextFile("hdfs:/out")