注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

阿弥陀佛

街树飘影未见尘 潭月潜水了无声 般若观照心空静...

 
 
 

日志

 
 
关于我

一直从事气象预报、服务建模实践应用。 注重气象物理场、实况场、地理信息、本体知识库、分布式气象内容管理系统建立。 对Barnes客观分析, 小波,计算神经网络、信任传播、贝叶斯推理、专家系统、网络本体语言有一定体会。 一直使用Java、Delphi、Prolog、SQL编程。

网易考拉推荐

Spark 加载数据语句式样  

2015-01-07 15:59:16|  分类: Spark |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

spark-shell --master spark://10.10.243.113:7077

1. 加载数据到RDD
scala> val dataRDD = sc.parallelize(List(1,2,4))
scala> dataRDD.cache
res1: dataRDD.type = ParallelCollectionRDD[0] at parallelize at <console>:12
val dat = dataRDD.collect    //  dat: Array[Int] = Array(1, 2, 4)
val dat.mkString(",")
scala> dat.mkString(",")
res0: String = 1,2,4

2. 加载文件
import spark.SparkFiles
sc.addFile("/home/hxf/spark/spam.data")
val inFile = sc.textFile(SparkFiles.get("spam.data"))

3. 加载csv
gedit build.sbt
libraryDependencies ++= Seq(
   "org.spark-project" % "spark-core_2.10" % "1.2.0",
   "net.sf.opencsv" % "opencsv" % "2.0"
)

package testfile
import org.apache.spark.SparkContext
import au.com.bytecode.opencsv.CSVReader
import java.io.StringReader
import org.apache.spark.rdd.RDD

/**
* Created by hxf on 15-1-7.
*/
object LoadCsvExample {
def main(args: Array[String]) {
val appNm="Load CSV Example"
val master ="spark://10.10.243.113:7077"
val local_inputFile = "/home/hxf/spark/spam.data"
val inputFile = "spam.data"
val file = sc.addFile("/home/hxf/spark/spam.data")
val sc = new SparkContext(master, appNm, System.getenv("SPARK_HOME"), Seq(System.getenv("JARS")))
sc.addFile(local_inputFile)
val inFile = sc.textFile(inputFile)
val splitLines = inFile.map(line => {
val reader = new CSVReader(new StringReader(line))
reader.readNext()
})
val numericData:RDD[Array[Double]] = splitLines.map(line => line.map(_.toDouble))
val summedData:RDD[Double] = numericData.map(row => row.sum)
val s:Array[Double] = summedData.collect()
println(s.mkString(","))
}
}
4.加载HBase
5.通过parallelize的分组和树图形成实时任务调度有向无环图DAGScheduler
  评论这张
 
阅读(286)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017