scala算子综合案例（一）----- wordcount的多种实现

版权声明：本文为博主原创文章，未经博主允许不得转载!!

欢迎访问:https://blog.csdn.net/qq_21439395/article/details/81022890
<https://blog.csdn.net/qq_21439395/article/details/81022890>

交流QQ: 824203453

 

实现方案一：  map + flatten + groupBy

实现方式二：flatMap + groupBy
object ScalaWordCount { def main(args: Array[String]): Unit = { // 原始数据 val
arr = Array[String]("hello tom hello jim", "hello spark hello jim tom") //
一行完全可以实现，但是不推荐 // arr.map(x=>x.split("
")).flatten.map(x=>(x,1)).groupBy(x=>x._1).map(x=>(x._1,x._2.length)).toList.sortBy(x=>
-x._2) // .foreach(x=>println(x)) // 数据切分 // val lines: Array[Array[String]] =
arr.map(x=>x.split(" ")) // 数据压平 // val flatLines: Array[String] =
lines.flatten // 有一个替代的方法，flatMap 先map 再flatten val flatLines = arr.flatMap(x
=> x.split(" ")) // 和1 组装起来 val wordsWithOne: Array[(String, Int)] =
flatLines.map(w => (w, 1)) // 按照单词分组 就是元组的第一个元素 val grouped: Map[String,
Array[(String, Int)]] = wordsWithOne.groupBy(t => t._1) // 统计单词出现的次数
正常情况下是求和，但是这里是一个特例，所以可以使用长度来判断次数 val result: Map[String, Int] = grouped.map(t
=> (t._1, t._2.length)) // 排序 // map不能直接排序，那么就转变成list，然后调用List集合上的sortBy方法 val
sortedResult: List[(String, Int)] = result.toList.sortBy(t => -t._2) //
sortedResult.foreach(x=>println(x)) sortedResult.foreach(println) } }
 

实现方式三：flatMap + mapValues  直接统计数组的长度了
// 原始数据 val arr = Array[String]("hello tom hello jim","hello spark hello jim
tom") // 有一个替代的方法，flatMap 先map 再flatten val flatLines = arr.flatMap(_.split("
")) // 和1 组装起来 val wordsWithOne: Array[(String, Int)] = flatLines.map(w=>(w,1))
// 按照单词分组 就是元组的第一个元素 val grouped: Map[String, Array[(String, Int)]] =
wordsWithOne.groupBy(t=>t._1) // 统计单词出现的次数 正常情况下是求和，但是这里是一个特例，所以可以使用长度来判断次数 val
result: Map[String, Int] = grouped.mapValues(_.length) val sortedResult:
List[(String, Int)] = result.toList.sortBy(t=> -t._2)
sortedResult.foreach(println)
 

实现方式四：  在mapValues中，直接统计 次数的总和 
val arr = Array[String]("hello tom hello jim", "hello spark hello jim tom")
val flatLines = arr.flatMap(_.split(" ")) val wordsWithOne: Array[(String,
Int)] = flatLines.map((_, 1)) val grouped: Map[String, Array[(String, Int)]] =
wordsWithOne.groupBy(_._1) val result: Map[String, Int] = grouped.mapValues({
// 输入参数 Array[(String, Int)] t => // 取出数组中的每一个元素的第二个值，也就是单词的次数 再调用sum方法求总和
t.map(_._2).sum })
 

实现方式五： 在mapValues中，调用foldLeft方法，统计单词出现的总的次数

 
val arr = Array[String]("hello tom hello jim", "hello spark hello jim tom")
val flatLines = arr.flatMap(_.split(" ")) val wordsWithOne: Array[(String,
Int)] = flatLines.map((_, 1)) val grouped: Map[String, Array[(String, Int)]] =
wordsWithOne.groupBy(_._1) val result: Map[String, Int] = grouped.mapValues({
// 输入参数 Array[(String, Int)] t => // 取出数组中的每一个元素的第二个值，也就是单词的次数 再调用sum方法求总和
t.map(_._2).sum // 这里只能用foldLeft,因为类型不一致 x:Int y:(String,Int) t.foldLeft(0)((x,
y) => x + y._2) })
 

版权声明：本文为博主原创文章，未经博主允许不得转载!!

欢迎访问:https://blog.csdn.net/qq_21439395/article/details/81022890
<https://blog.csdn.net/qq_21439395/article/details/81022890>

交流QQ: 824203453

 

 

• « 上一篇：直方图均衡化计算过程
• » 下一篇：卡方检验的R语言实现