依赖

  • Kafka需要依赖ZooKeeper,在搭建Kafka集群前先要搭建好ZooKeeper集群

    参考搭建ZooKeeper集群

下载Kafka

下载地址

我们使用的版本是:0.9.0.0

解压

tar -zxvf kafka_2.10-0.9.0.0.tgz

配置

配置文件为config下的server.properties

broker.id=0

#broker.id为broker的唯一标识,不能重复,不能为负数

listeners=PLAINTEXT://:9981

#Kafka监听地址

port=9981

#broker server服务端口

host.name=node3

# hostname,可以是字符串也可以是ip

log.dirs=/tmp/kafka9-logs

#log存放地址,当你更改broker id时要清理log再启动

zookeeper.connect=node1:2181,node2:2181,node3:2181/kafka9

#zookeeper地址,有多个用逗号分隔,如果使用子目录只在最后一个加上地址即可

使用Kafka

  • 启动Kafka
./kafka-server-start.sh -daemon ../config/server.properties
#不显示日志
./kafka-server-start.sh  ../config/server.properties
#显示日志
  • 建立topic
./kafka-topics.sh --create --zookeeper node1:2181/kafka9 --replication-factor 1 --partitions 1 --topic matrix81
  • 删除topic
./kafka-topics.sh --delete --zookeeper node1:2181 --topic matrix
  • 列出所有topic
./kafka-topics.sh  --list --zookeeper node1:2181
  • console producer
./kafka-console-producer.sh  --broker-list node4:9981 --top matrix81
  • console consumer
./kafka-console-consumer.sh --zookeeper node1:2181 --topic matrix81 --from-beginning

资料

Kafka Quickstart

kafka参数配置详解

kafka 系统配置说明