注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

阿弥陀佛

街树飘影未见尘 潭月潜水了无声 般若观照心空静...

 
 
 

日志

 
 
关于我

一直从事气象预报、服务建模实践应用。 注重气象物理场、实况场、地理信息、本体知识库、分布式气象内容管理系统建立。 对Barnes客观分析, 小波,计算神经网络、信任传播、贝叶斯推理、专家系统、网络本体语言有一定体会。 一直使用Java、Delphi、Prolog、SQL编程。

网易考拉推荐

scala 全国2764行政区域的客观分析与消息发布26分钟完成  

2014-10-01 20:09:29|  分类: Scala |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
scala 全国2764行政区域的客观分析与消息发布26分钟完成 - 险峰 - 阿弥陀佛

scala 全国2764行政区域的客观分析与消息发布26分钟完成 - 险峰 - 阿弥陀佛

计算环境:
scala 全国2764行政区域的客观分析与消息发布26分钟完成 - 险峰 - 阿弥陀佛
 
功能:
1. 使用scala并行计算,完成全国2764个行政区Barnes插值
2. 使用akka消息驱动,驱动第二台计算机完成IDV制图
效率:
26分钟完成工作(并行计算,消息驱动),平均每个区域耗时582毫秒。
 =================================================================================
并行计算分为任务级别,行向量级别,任务+行向量级别3种不同组合。
1. 任务级别。如果我仅仅加载任务级别的并行计算, 取消行向量级别的并行计算,在并行计算前期CPU占用会很高(>90%),但在运行后期,CPU闲置期(<10%)会较长。总计消耗时间:31分钟,平均684毫秒
2. 行向量级别。如果我仅仅加载行向量级别的并行计算, 取消任务级别的并行计算,在CPU占用在(30--40%),闲置期(<10%)会较长。总计消耗时间:90分钟,平均2584毫秒
3.任务+行向量级别。总计消耗时间:26分钟,平均575毫秒
scala 全国2764行政区域的客观分析与消息发布26分钟完成 - 险峰 - 阿弥陀佛

2014-10-04 :09:00
以上测试基于cressman filterLev方案。
1. filterLev=6, 上述结果
如果 filterLev= 10,分析图平滑效果明显(见下图)
总计消耗时间:29分钟,平均640毫秒
scala 全国2764行政区域的客观分析与消息发布26分钟完成 - 险峰 - 阿弥陀佛
 
2014-10-17
将系统迁移到Centos7 下
1. unzip sbt-0.13.6.zip sbt
    mv sbt /home/hxf/
2. cd /home/hxf/sbt
gedit sbt   

SBT_OPTS="-Dfile.encoding=UTF8 -Xmx12288M -XX:MaxPermSize=512M"
java $SBT_OPTS -jar /home/hxf/sbt/bin/sbt-launch.jar "$@"

chmod +x sbt

3.gedit /etc/profile.d/sbt.sh
export SBT_HOME=/home/hxf/sbt
export PATH=$PATH:$SBT_HOME
=================================================================
sum time:26分钟。  mean :572毫秒
  评论这张
 
阅读(317)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017