注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

阿弥陀佛

街树飘影未见尘 潭月潜水了无声 般若观照心空静...

 
 
 

日志

 
 
关于我

一直从事气象预报、服务建模实践应用。 注重气象物理场、实况场、地理信息、本体知识库、分布式气象内容管理系统建立。 对Barnes客观分析, 小波,计算神经网络、信任传播、贝叶斯推理、专家系统、网络本体语言有一定体会。 一直使用Java、Delphi、Prolog、SQL编程。

网易考拉推荐

Install and runing hadoop2.6 cluster  

2014-12-24 20:18:11|  分类: Spark |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

安装hadoop2.6 cluster的主要目的是为spark1.2建立一个hadoop, yarn环境.
经本次3台服务器集群测试, hadoop2.6可以与spark1.2协同.
使得idea 14中可以直接开发spark应用.
搭建起hadoop2.6, yarn, spark1.2, idea 14开发测试环境.
Run/Debug Configuration:
-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=8888
setings:
    host = 10.10.243.113
    port=8888
调试jar之前,输入:
export SPARK_JAVA_OPTS=-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=8888
参见:
http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html
http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/ClusterSetup.html

配置SSH免密码登陆

a、输入ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

其中''里的是登陆的密码,因为要设置免密码,所以''里是什么都没有的,空格也不行

b、输入 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

c、输入 ssh -version 如果不需要密码则成功了

----------------------------------------------------------------------------------------------------------------------------------
gedit /etc/sysconfig/network
# Created by anaconda
NETWORKING=yes
HOSTNAME=hxf
-----------------------------------------------------------------------------------------------------------------------------------
1. download
2. unzip to /home/hxf/hadoop
3. gedit /home/hxf/hadoop/etc/hadoop/hadoop-env.sh
export JAVA_HOME=${JAVA_HOME}
export HADOOP_PREFIX=/wk/hadoop-2.6.0
4. gedit /home/hxf/hadoop/etc/hadoop/slaves
hxf
hxfslave
hxfslave2
5. gedit etc/hadoop/core-site.xml
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hxf:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hxf/hadoop_tmp</value>
        <description>A base for other temporary directories.</description>
    </property>
</configuration>
6. gedit etc/hadoop/hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>
7. zip -r hadoop.zip ./hadoop
8. 分发到worker
scp hadoop.zip hxf@hxfslave:/home/hxf/
scp hadoop.zip hxf@hxfslave2:/home/hxf/

ssh hxfslave
unzip hadoop.zip
exit

ssh hxfslave2
unzip hadoop.zip
exit
9. bin/hdfs namenode -format   //格式化
10. 开启进程 
sbin/start-dfs.sh
sbin/start-yarn.sh

11 jps
32297 Launcher
30015 NailgunRunner
23262 NameNode
23985 NodeManager
29884 Main
23634 SecondaryNameNode
4030 Bootstrap
24340 Jps
23843 ResourceManager
23428 DataNode
=======================================================================
bin/hadoop fs -ls
  538  bin/hadoop fs ls
  539  bin/hadoop fs
  540  bin/hadoop fs -ls *
  541  bin/hadoop fs -mkdir hxfdir
  542  bin/hadoop fs -ls
  543  bin/hadoop fs -ls /
  544  bin/hadoop fs -mkdir /hxfdat
  545  bin/hadoop fs -ls /
  546  bin/hadoop fs -put /home/hxf/codes/spam.data /hxfdat/
  547* bin/hadoop fs -cat /hxfdat/s
  548  bin/hadoop fs -ls /
  549  bin/hadoop fs -ls /hxfdat/
  550  bin/hadoop fs -cat /hxfdat/spam.data

==============================================================================

运行例子:

1.先在hdfs上建个文件夹

 bin/hdfs dfs -mkdir -p /home/hxf/hadoop/input

 bin/hdfs dfs -mkdir -p /home/hxf/hadoop/output

2.先上传一些文件:

bin/hdfs dfs -put etc/hadoop/ /home/hxf/hadoop/input 

3.执行指令

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar grep /home/hxf/input/hadoop /user/kzy/output/o 'dfs[a-z.]+'


mkdir input
cp etc/hadoop/*.xml input
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar grep input output 'dfs[a-z.]+'


参考 yarn hdfs
  评论这张
 
阅读(533)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017