Spark修炼之道(进阶篇)——Spark入门到精通:第十五节 Kafka 0.8.2.1 集群搭建

  • 时间:
  • 浏览:0
  • 来源:uu快3规律_uu快3下载地址_窍门

1.kafka 集群搭建

将sparkslave02机器上的server.properties文件内容如下:

将sparkslave01机器上的server.properties文件内容如下:

5 接收kafka发送来的消息

下一节当中,亲戚亲戚当人们人们 将演示kafka怎样才能与Spark Streaimg结合起来使用

kafka 安装与配置

3 创建topic

在sparkmaster机器上执行下列命令创建2个topic

至此Kafka 集群搭建与测试完毕

进入config目录,将server.properties文件内容如下:

将整个安装文件进行跨机器拷贝:

在sparkslave02机器上执行下列命令并接收kafka发送消息

到下面的地址下载:Scala 2.10 - kafka_2.10-0.8.2.1.tgz

http://kafka.apache.org/downloads.html

下载完成后,使用命令

本节为下一节Kafka与Spark Streaming做铺垫

解压,解压后的目录如下

4 发送消息至kafka

在sparkslave01机器上执行下列命令并向kafka发送消息

作者:周志湖

微信号:zhouzhihubeyond