注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

阿弥陀佛

街树飘影未见尘 潭月潜水了无声 般若观照心空静...

 
 
 

日志

 
 
关于我

一直从事气象预报、服务建模实践应用。 注重气象物理场、实况场、地理信息、本体知识库、分布式气象内容管理系统建立。 对Barnes客观分析, 小波,计算神经网络、信任传播、贝叶斯推理、专家系统、网络本体语言有一定体会。 一直使用Java、Delphi、Prolog、SQL编程。

网易考拉推荐

通过toSeq.par.foreach, 提升Source 处理文件的性能  

2015-12-29 21:40:01|  分类: Scala |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
def readGridStaW={
import scala.io.Source
val fexist = new File(nearGFnm).exists()
if (! fexist) initGridStaWFile
println(s"正从文件${nearGFnm}读入格点场邻近站权值,请等待...")
val t0 = System.currentTimeMillis()
Source.fromFile(nearGFnm,"UTF-8").getLines.toSeq.par.foreach{s =>
val staWs : ArrNearW = s.split(",").grouped(2).map(f=> StaW(f(0).toInt,f(1).toFloat)).toArray
val i = staWs(0).sta
val j = staWs(0).w.toInt
val sws = staWs.slice(1,staWs.length)
gridStaWs(i)(j) = sws
}
val dt = (System.currentTimeMillis() - t0) / 1000
println(s"完成Grid最邻近站点权值读入.花费${dt}.")
}
网格行列:3541 * 6165,格点步长: 0.010000229
正从文件./doc/knn/nearG.csv读入格点场邻近站权值,请等待...
完成Grid最邻近站点权值读入.花费48秒.
3541,6165
----------------------------------------------------------------------
如果不采用toSeq.par方法,将花费78秒时间, 读完本1G数据集文件.
  评论这张
 
阅读(181)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017