编辑代码

import org.apache.spark.{SparkConf, SparkContext}

object RDDExample {
  def main(args: Array[String]): Unit = {
    // 创建一个SparkConf对象和SparkContext对象
    val conf = new SparkConf().setAppName("RDD操作").setMaster("local")
    val sc = new SparkContext(conf)

    // 通过textFile()方法读取数据
    val rdd_data = sc.textFile("Data01.txt")

    // 将每一行数据按空格分隔，并将结果存储到新的rdd中
    val rdd_words = rdd_data.flatMap(line => line.split(" "))

    // 计算每个单词出现的次数，并将结果存储到新的rdd中
    val rdd_word_count = rdd_words.map(word => (word, 1)).reduceByKey(_ + _)

    // 输出结果
    rdd_word_count.foreach(println)
  }
}