注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

阿弥陀佛

街树飘影未见尘 潭月潜水了无声 般若观照心空静...

 
 
 

日志

 
 
关于我

一直从事气象预报、服务建模实践应用。 注重气象物理场、实况场、地理信息、本体知识库、分布式气象内容管理系统建立。 对Barnes客观分析, 小波,计算神经网络、信任传播、贝叶斯推理、专家系统、网络本体语言有一定体会。 一直使用Java、Delphi、Prolog、SQL编程。

网易考拉推荐

kafka学习参考  

2015-09-13 09:06:50|  分类: Linux |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
kafka
搭建kafka环境
http://kafka.apache.org/documentation.html#introduction
uses
spark读取 kafka nginx网站日志消息 并写入HDFS中
==============================================
1. 建环境
tar -xzf kafka_2.10-0.8.2.0.tgz
cd /opt/kafka_2.10-0.8.2.1/

==============================================
2. 启动服务
bin/zookeeper-server-start.sh config/zookeeper.properties

新开一个console
bin/kafka-server-start.sh config/server.properties
=================================================
3. 新建Topic, topic 列表
新开一个console
 bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test1
topic 列表
bin/kafka-topics.sh --list --zookeeper localhost:2181
=================================================
4. 发送消息
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test1
This is a message
This is another message
==================================================
5.接受消息
新开一个console
 bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
===================================================================
6.配置多个代理
cp config/server.properties config/server-1.properties

cp config/server.properties config/server-2.properties

=================================================
7. 停用kafka
bin/kafka-server-stop.sh
bin/zookeeper-server-stop.sh
  评论这张
 
阅读(194)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017