注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

阿弥陀佛

街树飘影未见尘 潭月潜水了无声 般若观照心空静...

 
 
 

日志

 
 
关于我

一直从事气象预报、服务建模实践应用。 注重气象物理场、实况场、地理信息、本体知识库、分布式气象内容管理系统建立。 对Barnes客观分析, 小波,计算神经网络、信任传播、贝叶斯推理、专家系统、网络本体语言有一定体会。 一直使用Java、Delphi、Prolog、SQL编程。

网易考拉推荐

读BE数据测试--spark sql  

2015-01-12 16:15:10|  分类: Spark |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
参考:http://spark.apache.org/docs/latest/sql-programming-guide.html
package mytest

/**
* Created by hxf on 15-1-12.
*/

import org.apache.spark.mllib.linalg.Vectors
import org.apache.spark.{SparkConf, SparkContext}
//文件名 预报时效 站号 经度 纬度 高度 温度 湿度 风向 风速 前3(6)小时累积降水量 低云量 中云量 高云量 总云量 最高温度 最低温度 天气现象
// -1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
case class BE(fnm:String,
dt:Int,sta:Int,lon:Double,lat:Double,hgh:Double,
t:Double,h:Double,dd:Double,ff:Double,r3:Double,
clow:Double, cmid:Double, chgh:Double, cc:Double, tmax:Double, tmin:Double,ww:Double)
object T639SQL {
val infnm = "sparkdata/T639_BE/T639_BE2015010503.DAT"
//val inputFile: String = "sparkdata/ncep_BE/ncep_BE2015010403.DAT"
val appNm="T639SQL"
def main(args: Array[String]) {
val conf = new SparkConf().setAppName(appNm)
val sc = new SparkContext(conf)
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
val schemaString = "fnm dt sta lon lat hgh t h dd ff r3 clow cmid chgh cc tmax tmin ww"
import org.apache.spark.sql._
val schema = StructType(schemaString.split(" ").map(fieldName => StructField(fieldName, StringType, true)))
// Load and parse the data file.
val rowRDD = sc.textFile(infnm).mapPartitionsWithIndex((i,iter) =>
if (i == 0 && iter.hasNext) {
iter.next
iter
} else iter).map{f =>
val be: Array[String] = f.split(" +")
Row(infnm, be(0), be(1), be(2), be(3), be(4), be(5), be(6), be(7), be(8), be(9), be(10), be(11), be(12), be(13), be(14), be(15), be(16))
}
val beSchemaRDD = sqlContext.applySchema(rowRDD, schema)
beSchemaRDD.registerTempTable("t639")
val results = sqlContext.sql("SELECT * FROM t639")
results.map(be => "fnm: " + be(0)+",dt:"+be(1)+",sta:"+be(2)).collect().foreach(println)
}
}


  评论这张
 
阅读(306)| 评论(0)
推荐 转载

历史上的今天

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017