注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

阿弥陀佛

街树飘影未见尘 潭月潜水了无声 般若观照心空静...

 
 
 

日志

 
 
关于我

一直从事气象预报、服务建模实践应用。 注重气象物理场、实况场、地理信息、本体知识库、分布式气象内容管理系统建立。 对Barnes客观分析, 小波,计算神经网络、信任传播、贝叶斯推理、专家系统、网络本体语言有一定体会。 一直使用Java、Delphi、Prolog、SQL编程。

网易考拉推荐

Spark2 csv test  

2017-03-02 08:38:03|  分类: Spark |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
package lsh.test
import common.MyUtils._
import common.BaseType.StaInfo
import common.MyConfig.dict3Fnm
import org.apache.spark.sql.types._
import org.scalatest.FunSuite

/**
* Created by 何险峰,维也纳 on 2017/3/1.
*/
class CsvTest extends FunSuite{
import model.hour.ml.LocalSparkSession.ss.implicits._
val ss = model.hour.ml.LocalSparkSession.ss

test("Sta Dataframe") {
    import org.apache.spark.sql.catalyst.ScalaReflection
val schema = ScalaReflection.schemaFor[StaInfo].dataType.asInstanceOf[StructType]

/*
val schema = new StructType()
.add("sta", IntegerType)
.add("lat", FloatType)
.add("lon", FloatType)
.add("alt", FloatType)
*/
val fnm = getDictFnm(dict3Fnm)
val dict3 = ss.read
.schema(schema)
.option("sep",",")
.option("header","false")
.option("ignoreLeadingWhiteSpace",true)
.option("ignoreTrailingWhiteSpace",true)
.csv(fnm)
.as[StaInfo]
dict3.show(5)
///////////////////////////////////////
val d = dict3.filter("lat > 50.0 and lon > 100.0")
d.show(3)
ss.stop
}
}
+-----+-------+--------+-----+
|  sta|    lat|     lon|  alt|
+-----+-------+--------+-----+
|50136|52.9744|122.5108|493.0|
|50137|53.4692|122.3783|299.0|
|50246|52.3481|124.7183|353.0|
|50247|52.0333|123.5667|516.0|
|50349| 51.665|124.3917|506.0|
+-----+-------+--------+-----+
only showing top 5 rows

+-----+-------+--------+-----+
|  sta|    lat|     lon|  alt|
+-----+-------+--------+-----+
|50136|52.9744|122.5108|493.0|
|50137|53.4692|122.3783|299.0|
|50246|52.3481|124.7183|353.0|
+-----+-------+--------+-----+
only showing top 3 rows


Process finished with exit code 0

  评论这张
 
阅读(31)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017