注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

阿弥陀佛

街树飘影未见尘 潭月潜水了无声 般若观照心空静...

 
 
 

日志

 
 
关于我

一直从事气象预报、服务建模实践应用。 注重气象物理场、实况场、地理信息、本体知识库、分布式气象内容管理系统建立。 对Barnes客观分析, 小波,计算神经网络、信任传播、贝叶斯推理、专家系统、网络本体语言有一定体会。 一直使用Java、Delphi、Prolog、SQL编程。

网易考拉推荐

scala groupBy测试  

2015-01-16 10:12:43|  分类: Scala |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

近日开始写spark应用代码.
先从一个较为简单的集合预报误差统计程序设计入手. 设计出弹性分布式数据集(RDD)下,有向无环图(DAG)模型.
 目前,正在将该DAG模型转换为RDD和scala代码. 计划下周完成代码设计和集群计算调试.
流水线转换方式是程序设计的主题思想.
===============================================================================
scala> val votes = Array(("scala",1),("java",4),("scala",10),("scala",1),("phthon",10))
votes: Array[(String, Int)] = Array((scala,1), (java,4), (scala,10), (scala,1), (phthon,10))

scala> val orderedVotes = votes.groupBy(_._1)
orderedVotes: scala.collection.immutable.Map[String,Seq[(String, Int)]] = Map(scala -> List((scala,1), (scala,10), (scala,1)), phthon -> List((phthon,10)), java -> List((java,4)))

scala> val group=votes.groupBy(_._1)
group: scala.collection.immutable.Map[String,Array[(String, Int)]] = Map(scala -> Array((scala,1), (scala,10), (scala,1)), phthon -> Array((phthon,10)), java -> Array((java,4)))

scala> val g1=group.map{case (which,counts)=>(which,counts.foldLeft(0)(_ + _._2))}
g1: scala.collection.immutable.Map[String,Int] = Map(scala -> 12, phthon -> 10, java -> 4)


-----------------------------------------------------------------------------------------------------------------------------------------------
val votes = Array(("scala","s0"),("java","j1"),("scala","s1"),("scala","s2"),("phthon","p1"))

scala> val gby=votes.groupBy(_._1)
gby: scala.collection.immutable.Map[String,Array[(String, String)]] = Map(scala -> Array((scala,s0), (scala,s1), (scala,s2)), phthon -> Array((phthon,p1)), java -> Array((java,j1)))

scala> val g1=gby.map{case (which,txt)=>(which,txt.foldLeft("")(_ + _._2 + "\n"))}
g1: scala.collection.immutable.Map[String,String] =
Map(scala -> "s0
s1
s2
", phthon -> "p1
", java -> "j1
")
  评论这张
 
阅读(2696)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017