注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

阿弥陀佛

街树飘影未见尘 潭月潜水了无声 般若观照心空静...

 
 
 

日志

 
 
关于我

一直从事气象预报、服务建模实践应用。 注重气象物理场、实况场、地理信息、本体知识库、分布式气象内容管理系统建立。 对Barnes客观分析, 小波,计算神经网络、信任传播、贝叶斯推理、专家系统、网络本体语言有一定体会。 一直使用Java、Delphi、Prolog、SQL编程。

网易考拉推荐

DataFrame StaLoc  

2015-12-15 17:34:34|  分类: Spark |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
package data

import common.Config
import org.apache.spark.sql.DataFrame

/**
* Created by 何险峰,北京 on 15-12-8.
*/
case class StaLoc(sta : Int,lat : Float,lon:Float,alt:Float)
object StaDict {
import Config._
import sqlContext.implicits._
val staDict : DataFrame = sc.textFile(dictFnm)
.map(_.split(","))
.map(s => StrArr2StaLoc(s)).toDF().sort("sta")
staDict.registerTempTable("staDict")
def StrArr2StaLoc(s : Array[String]) : StaLoc ={
def f(s:String)=s.toFloat
StaLoc(s(0).toInt,f(s(1)),f(s(2)),f(s(3)))
}
def getStaLoc(sta : Int)={
val d = staDict.filter(s"sta = ${sta}").first()
StaLoc(d.getInt(0),d.getFloat(1),d.getFloat(2),d.getFloat(3))
}
def main (args: Array[String]) {
test1
}
def test0 {
val results = sqlContext.sql("SELECT sta FROM staDict")
results.map(t => "sta: " + t(0)).collect().foreach(println)
}
def test1: Unit = {
val s = getStaLoc(57411)
println(s)
}
}
  评论这张
 
阅读(182)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017