注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

阿弥陀佛

街树飘影未见尘 潭月潜水了无声 般若观照心空静...

 
 
 

日志

 
 
关于我

一直从事气象预报、服务建模实践应用。 注重气象物理场、实况场、地理信息、本体知识库、分布式气象内容管理系统建立。 对Barnes客观分析, 小波,计算神经网络、信任传播、贝叶斯推理、专家系统、网络本体语言有一定体会。 一直使用Java、Delphi、Prolog、SQL编程。

网易考拉推荐

LocalSpark  

2017-11-01 15:11:17|  分类: Spark |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
package common

import java.io.File

import com.typesafe.config.{Config, ConfigFactory}
import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession

/**
* Created by 何险峰,维也纳 on 2017/2/9.
*/
object LocalSpark {
val c: Config = ConfigFactory.parseFile(new File("application.conf"))
val sparkConf: Config = c.getConfig("spark")
val appNm: String = sparkConf.getString("appNm")
val master: String = sparkConf.getString("master")
val numRepeat:Int=sparkConf.getInt("numRepeat")
val maxbin:Int=sparkConf.getInt("maxbin")
val numtrees:Int=sparkConf.getInt("numtrees")
val MinInstancesPerNode:Int=sparkConf.getInt("MinInstancesPerNode")
val MaxDepth:Int=sparkConf.getInt("MaxDepth")

val sconf = new SparkConf()
.setAppName(appNm)
.setMaster(master)
.set("spark.local.dir","/tmp/sparktmp/")
//.set("spark.default.parallelism","64")

//.set("spark.executor.heartbeatInterval","100s")
//.set("spark.driver.maxResultSize", "1g")
//.set("spark.sql.shuffle.partitions", "600")

//.setExecutorEnv(Array(("executor-memory","14g"),("driver-memory","2g")))
//.setExecutorEnv(Array(("executor-memory","128g"),("total-executor-cores","24"),("driver-memory","4g")))
//.set("spark.network.timeout", "600s")
//.set("spark.sql.broadcastTimeout","1200")
val spark: SparkSession = SparkSession.builder
.config(sconf)
.getOrCreate()

val sc = spark.sparkContext
sc.setLogLevel("ERROR")
}
  评论这张
 
阅读(10)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2018