澳门新萄京官方网站-www.8455.com-澳门新萄京赌场网址

澳门新萄京官方网站11集群搭建,卡夫卡的单节点

2019-09-29 作者:澳门新萄京官方网站   |   浏览(117)

Zookeeper 卡夫卡的单节点配置

条件描述:Ubuntu16.04 server系统,在系统上搭建Java情况,jdk的版本为1.8或越来越高,笔者的服务器IP地址为192.168.0.106。

 

澳门新萄京官方网站11集群搭建,卡夫卡的单节点配置。1. 应用命令在根目录下的opt目录下创立data目录。

mkdir /opt/data

 

  1. 在Apache官网http://www.apache.org/dyn/closer.cgi/zookeeper/和https://www.apache.org/dyn/closer.cgi?path=/kafka/0.10.0.0/kafka_2.10-0.10.0.0.tgz

上下载zookeeper和kafka的压缩包,小编下载的是zookeeper-3.4.10.tar.gz和kafka_2.11-0.10.1.0.gz。

 

3. 使用命令对zookeeper和kafka压缩文件进行解压,对解压后的公文进行更名和平运动动地方,移动到/opt/data目录下。

tar -zxvf zookeeper-3.4.10.tar.gz
tar -zxvf kafka_2.11-0.10.1.0.gz

澳门新萄京官方网站 1

 

4. 施用命令扩充zookeeper节点的IP如下附图所示。

vim /etc/hosts

澳门新萄京官方网站 2

 

  1. 应用命令

    cd /opt/data/zookeeper/conf

步入zookeeper目录下的conf目录,使用命令

cp zoo_sample.cfg zoo.cfg

复制文件zoo.cfg,使用命令

vim zoo.cfg

修改该文件。同不常候,在/opt/data/zookeeper下创立data目录和logs目录,在/opt/data/zookeeper/data下创办理文件件myid,使用命令

echo 1 > myid

在文件myid中写入1。

 澳门新萄京官方网站 3

 

============================================================================================================================================

在此zookeeper的布局已经完成。

============================================================================================================================================

 

  1. 采用命令

    vim /opt/data/kafka/config/server.properties

修改kafka的安插文件,同不平日间利用命令

mkdir /opt/data/kafka/kafka-logs

创设目录,修改内容如下附图所示。

澳门新萄京官方网站 4

澳门新萄京官方网站 5

 

============================================================================================================================================

在此kafka的配备已经做到。

============================================================================================================================================

 

测量试验zookeeper和kafka的布局是或不是中标:

1. 运维zookeeper:在/opt/data/zookeeper目录下使用命令

bin/zkServer.sh start

最早zookeeper。使用命令

bin/zkServer.sh status

查阅zookeeper的地方,假设具体如下图所示的动静表示zookeeper配置成功。

澳门新萄京官方网站 6

 

 

2.开始kafka:在/opt/data/kafka目录下利用命令

bin/kafka-server-start.sh config/server.properties

起步kafka,展现以下音信为成功运转kafka。

澳门新萄京官方网站 7

 

3. 创造会话topic:打开新的终极(大家暂记为终极1),在/opt/data/kafka目录下利用命令

bin/kafka-topics.sh --create --zookeeper 192.168.0.106:2181 --replication-factor 1 --partitions 1 --topic test1

成立会话test1,使用命令

bin/kafka-topics.sh --list --zookeeper 192.168.0.106:2181

查看会话列表,呈现以下消息为成功创办会话。

澳门新萄京官方网站 8

 

4.开发银行生产者Producer发新闻:在/opt/data/kafka目录下行职分令

bin/kafka-console-producer.sh --broker-list 192.168.0.106:9092 --topic test1

运维消息生产者。

 

5.起步花费者Consumer接收新闻:再展开一个新的终极(大家暂记为终点2),在/opt/data/kafka目录下利用命令

bin/kafka-console-consumer.sh --bootstrap-server 192.168.0.106:9092 --from-beginning --topic test1

来接受新闻。

 

6.在劳动者Producer所在的极端1里不管道输送入一些剧情,费用者Consumer所在的终极2将会实时的抓获终端1里爆发的音信。如下表示成功创设会话,kafka和zookeeper的单节点配置圆满成功。

澳门新萄京官方网站 9

澳门新萄京官方网站 10

 

7.去除会话topic:在/opt/data/kafka目录下行义务令

bin/kafka-topics.sh --delete --zookeeper 192.168.0.106:2181 --topic test1

再利用命令

bin/kafka-topics.sh --list --zookeeper 192.168.0.106:2181

翻看会话是不是留存,如下图所示,表示会话test1删除成功。

澳门新萄京官方网站 11

 

零件以及版本:

1 ZooKeeper框架安装

步骤1.1 - 下载ZooKeeper
要在你的机器上安装ZooKeeper框架,请访问以下链接并下载最新版本的ZooKeeper。

http://zookeeper.apache.org/releases.html
直到方今,ZooKeeper的摩登版本为3.4.6(ZooKeeper-3.4.6.tar.gz)。

步骤1.2 - 提取tar文件
行使以下命令提取tar文件

$ cd opt/
$ tar -zxf zookeeper-3.4.6.tar.gz
$ cd zookeeper-3.4.6
$ mkdir data

手续1.3 - 创立布局文件
利用命令vi“conf / zoo.cfg” 张开名称叫conf / zoo.cfg的配置文件,并将装有以下参数设置为起首点。

$ vi conf/zoo.cfg
tickTime=2000
dataDir=/path/to/zookeeper/data
clientPort=2181
initLimit=5
syncLimit=2

一旦配置文件成功保存相提并论复归来终端,就足以运营zookeeper服务器。

步骤1.4 - 启动ZooKeeper服务器

$ bin/zkServer.sh start

实行此命令后,您会博得如下所示的响应:

$ JMX enabled by default
$ Using config: /Users/../zookeeper-3.4.6/bin/../conf/zoo.cfg
$ Starting zookeeper ... STARTED

步骤1.5 - 停止Zookeeper服务器
连接服务器并实施全体操作后,能够选择以下命令甘休zookeeper服务器 -

$ bin/zkServer.sh stop

于今,您已经在您的机械上打响安装了Java和ZooKeeper。让大家看看安装Apache 卡夫卡的步骤。

kafka集群注重于zookeeper,所以需求先搭建zookeeper集群,kafka默许自带了内建的zookeeper,提出接纳自身外搭建的zookeeper,那样比较灵敏而且解耦服务,同一时间也得以让别的急需zookeeper的劳务应用。注意kafka-2.11-0.11本子与zookeeper-3.4.10.tar.gz对应,

kafka介绍:

Kafka[1是一种高吞吐量[2]  的分布式公布订阅音信系统,有如下特点:

  • 通过O(1)的磁盘数据结构提供音信的悠久化,这种布局对于固然数以TB的信息存款和储蓄也能够保持长日子的稳固品质。

  • 高吞吐量[2]  :即便是丰硕常见的硬件卡夫卡也足以援救每秒数百万[2]  的消息。

  • 支持通过卡夫卡服务器和花费机集群来分区音信。

  • 支持Hadoop互相之间数据加载。[3] 

Zookeeper:zookeeper-3.4.11.tar.gz

2 - Apache Kafka安装

让我们后续以下步骤在你的机器上安装卡夫卡。

步骤2.1 - 下载kafka
要在您的机械上设置Kafka,请点击上边的链接 -

https://www.apache.org/dyn/closer.cgi?path=/kafka/0.9.0.0/kafka_2.11-0.9.0.0.tgz
当今洋气的版本,即 - kafka_2.11_0.9.0.0.tgz将被下载到你的机械上。

步骤2.2 - 提取tar文件
利用以下命令提取tar文件 -

$ cd opt/
$ tar -zxf kafka_2.11.0.9.0.0 tar.gz
$ cd kafka_2.11.0.9.0.0

以后您曾经在你的机器上下载了新星版本的Kafka。

步骤2.3 - 运维服务器
你可以因而以下命令运营服务器 -

$ bin/kafka-server-start.sh config/server.properties

服务器运维后,您即将显示屏上见到以下响应:

$ bin/kafka-server-start.sh config/server.properties

[2016-01-02 15:37:30,410] INFO KafkaConfig values:
request.timeout.ms = 30000
log.roll.hours = 168
inter.broker.protocol.version = 0.9.0.X
log.preallocate = false
security.inter.broker.protocol = PLAINTEXT
 

卡夫卡相关术语介绍

  • Broker

    卡夫卡集群包涵一个或七个服务器,这种服务器被称呼broker[5] 

  • Topic

    每条发表到卡夫卡集群的音讯都有三个种类,这些项目被称为Topic。(物理上不一致Topic的新闻分开积存,逻辑上三个Topic的新闻纵然保存于三个或八个broker上但客户只需点名新闻的Topic就能够生育或费用数量而不必关注数据存于哪处)

  • 澳门新萄京官方网站11集群搭建,卡夫卡的单节点配置。Partition

    Partition是物理上的概念,各种Topic包含一个或八个Partition.

  • Producer

    担任宣布消息到卡夫卡 broker

  • Consumer

    消息耗费者,向Kafka broker读打消息的顾客端。

  • Consumer Group

    各类Consumer属于一个特定的Consumer Group(可为每一个Consumer钦点group name,若不点名group name则属于暗许的group)。


Flume:apache-flume-1.7.0-bin.tar.gz

手续2.4 - 结束服务器

实践全数操作后,能够使用以下命令甘休服务器 -

$ bin/kafka-server-stop.sh config/server.properties

一、安装

单节点形式:

1,解压

root@Ubuntu-1:/usr/local# tar zxvf kafka_2.11-0.8.2.2.tgz

2,重命名

root@Ubuntu-1:/usr/local# mv /usr/local/kafka_2.11-0.8.2.2 /usr/local/kafka

3,起zookeeper集群到钦点后台文件(不占用页面)

root@Ubuntu-1:/usr/local/kafka# bin/zookeeper-server-start.sh config/zookeeper.properties > logs/kafka131-1.log >&1 &

4,起kafka集群到钦命后台文件(不占用页面)

bin/kafka-server-start.sh config/server.properties >logs/kafka131-server-1.log >&1 &

5,查看zookeeper和kafka运营状态

root@Ubuntu-1:/usr/local/kafka# jps
3104 QuorumPeerMain
5048 Kafka
5064 Jps

6,新扩张三个topic

root@Ubuntu-1:/usr/local/kafka# bin/kafka-topics.sh --create --topic huxing --zookeeper localhost:2181 --partitions 2 --replication 1
Created topic "huxing".

7,全体可以接纳的topic

root@Ubuntu-1:/usr/local/kafka# bin/kafka-topics.sh --list --zookeeper localhost:2181
huxing

8,查询某些topic的新闻

root@Ubuntu-1:/usr/local/kafka# bin/kafka-topics.sh --describe --topic huxing --zookeeper localhost:2181
Topic:huxing    PartitionCount:2    ReplicationFactor:1    Configs:
    Topic: huxing    Partition: 0    Leader: 0    Replicas: 0    Isr: 0
    Topic: huxing    Partition: 1    Leader: 0    Replicas: 0    Isr: 0

9,删除有个别topic

以前须求在server.properties的布局文件中走入一行

delete.topic.enable=true

重启,然后实施代码

root@Ubuntu-1:/usr/local/kafka# bin/kafka-topics.sh --delete --topic huxing --zookeeper localhost:2181
Topic huxing is marked for deletion.
Note: This will have no impact if delete.topic.enable is not set to true.
root@Ubuntu-1:/usr/local/kafka# bin/kafka-topics.sh --list --zookeeper localhost:2181
hello
world

在jps中能够查询到确实已经被删去了

10,创建producer和consumer用户

在开立producer客户时,出现下列错误:澳门新萄京官方网站 12

化解办法:在server.properties的铺排文件中参与一行

advertised.host.name=192.168.22.131

在server.properties 上该参数用来安插重临的host.name值,把这些参数配置为外网IP地址。
那个参数私下认可未有启用,暗中认可是回来的 java.net.InetAddress.getCanonicalHostName 的值,这几个值并不等于 hostname 的值而是重返IP,但在linux上那一个值正是 hostname 的值。

 配置好后重启,在三个shell框中输入下列命令:

producer:

root@Ubuntu-1:/usr/local/kafka# bin/kafka-console-producer.sh --topic hello --broker-list localhost:9092
[2017-07-12 18:27:09,916] WARN Property topic is not valid (kafka.utils.VerifiableProperties)
aa
aaa
1
222

consumer:

root@Ubuntu-1:/usr/local/kafka# bin/kafka-console-consumer.sh --topic hello --zookeeper localhost:2181

于是乎,在producer的shell框中输入的内容将会共同更新到consumer中

标记删除的topic也能够行使


Kafka:kafka_2.11-0.11.0.0.tgz

3 kafka操作

1、下载zookeeper:

集群格局:

鉴于自己用kafka中寄放的zookeeper怎么布局也无力回天运维,所以筹算抛弃kafka中放置的ZK,转而和睦去下载

1、安装Zookeeper

下载路线:http://zookeeper.apache.org/releases.html

https://www.apache.org/dyn/closer.cgi/zookeeper/

拷贝文件到相应主机

(1)cp or SSH Secure File Transfer Client

(2)解压缩 tar -zvxf zookeeper-3.4.11.tar.gz

(3)mv **** /opt/zookeeper

目录:

/bin    实行目录

/conf    配置目录

/lib    依赖包

(4)修改配置文件顺带增加一下data和log目录

/conf 目录下 有示例 zoo_sample.cfg,cp 到 zoo.cfg

tickTime=三千: Zk的为主单位时间,单位ms

initLimit =10集群情势下,Follower与Leader之间创设连接时的最大心跳间隔数

syncLimit =5集群形式下,Follower与Leader之间通讯时的最大心跳间隔数

dataDir  存款和储蓄数据目录

logDir    存款和储蓄日志目录

ClientPort 端口号 默认2181

单机形式下只要求布置如上:(不鲜明initLimit和syncLimit是或不是足以不配备,但敞亮上应该能够)

集群情势下还亟需安排服务器组:

server.x = ip:2888:3888

在对应服务器的data目录下要确立myid文件,内容为“x”

2888指那个服务器与Leader之间换来消息的端口

3888指大选Leader时所用的端口

集群情势剩下的事后再补充

(5)启动zookeeper

bin目录下的 zkServer.sh start 用于运维zookeeper服务

bin/zkServer.sh start

start能够换成stop status等另外命令

bin/zkCli.sh -server用于运转一个zookeeper客商端


3.1 创建topic

[root@192-168-123-169 bin]# ./kafka-topics.sh   --create --topic test --replication-factor 1 --partitions 1 --zookeeper localhost:2181
Created topic "test".

# wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz

zookeeper

1,解压压缩包

2,步入zookeeper目录下的conf子目录, 创制zoo.cfg文本文件,内容如下:

initLimit=5    
tickTime=2000
syncLimit=2    
dataDir=/usr/local/zookeeper/data    
dataLogDir=/usr/local/zookeeper/logs    
clientPort=2181 
server.1=192.168.22.131:2888:3888  
server.2=192.168.22.132:2888:3888    
server.3=192.168.22.135:2888:3888  

四个服务器上都以一致的源委 

参数表明:

  • tickTime: zookeeper中央银行使的基本时间单位, 纳秒值.
  • dataDir: 数据目录. 能够是任意目录.
  • dataLogDir: log目录, 一样能够是随意目录. 若无安装该参数, 将应用和dataDir一样的设置.
  • clientPort: 监听client连接的端口号.

3,在配备的dataDir目录下,创立myid文本文件,内容为server.1等的”.”后的数字同样,每种服务器下的myid文件都区别等

2、安装Flume

下载路线:http://flume.apache.org/download.html

(1)基本步骤同上,解压缩,拷贝文件

(2)目录结构

/bin 实行文件目录

/conf  配置文件目录

/lib    重视目录

/tools    协助理工科程师具目录

(3)拷贝配置文件示例 flume-conf.properties.template 和 flume-env.sh.template

命名为 flume.conf 以及 flume-env.sh

flume.conf 配置 source、channel、sink等信息

flume-env.sh 配置运行消息

配置JAVA_HOME,若是用Linux自带Jdk,也足以不安顿,能够向来动用

(4)启动 Flume

bin/flume-ng agent --conf conf --conf-flie flume.conf --name agent1 -Dflume.root.logger=INFO,console

--conf 配置文件目录

--conf-file 配置文件

--name agent名

-Dflume应该是概念一个变量,日志等级?(不明显)


3.2 在topic中发送音信

[root@192-168-123-169 bin]# ./kafka-console-producer.sh --topic test --broker-list 192.168.123.169:9092
abc
ddd
aaa
ddd
whoami

生育境遇使用集群最少须求三台服务器,官方提出起码3或5台,况兼集群节点个数必得是奇数。要求java情形,jdk1.8 (自身先配备好,本文不涉及)。

kafka:

1,在server.propoties文件中改换:

澳门新萄京官方网站 13

澳门新萄京官方网站 14

澳门新萄京官方网站 15

3、安装Kafka

下载路线:http://kafka.apache.org/downloads

(1)基本步骤同上,解压缩,拷贝文件

(2)目录结构

/bin 施行文件目录

/config 配置文件目录

/lib    信任目录

/logs 日志数据目录

(3)修改配置文件

server.properties

broker.id =  0

port = 9092

listeners = PLAINTERXT:// "ip:port"

安插个人搭建的 zookeeper 

zookeeper.connect = ip:port

zookeeper.connect.timeout.ms = 6000

修改 producer.properties 以及 consumer.properties 可以运转 produce和consumer对kafka的topic进行生产和花费

也得以一向在运维时直接带参数

搭建集群时,拷贝配置文件 修改broker.id、

(4)启动

//kafka start

/bin/kafka-server-start.sh server.properties &

//kafka 消费者

bin/kafka-console-consumer.sh --zookeeper “ip”:2181 --topic topic --from-beginning

//kafka 生产者

bin/kafka-console-producer.sh --broker-list “ip”:9092 --topic topic


3.3 花费者接受消息

[root@192-168-123-169 kafka_2.11-0.9.0.0]# bin/kafka-console-consumer.sh --zookeeper  127.0.0.1:2181  --from-beginning --topic test
abc
ddd
aaa
ddd
whoami

始建目录:

启动:

启动zookeeper服务器(三台):

 bin/zkServer.sh start

启动kafka服务器(三台):

bin/kafka-server-start.sh config/server.properties

 创建topic:

root@Ubuntu-1:/usr/local/kafka# bin/kafka-topics.sh --create --topic huxing2 --zookeeper 192.168.22.131:2181,192.168.22.132:2181,192.168.22.135:2181 --replication-factor 3 --partitions 2 
Created topic "huxing2".

列出可应用的topic:

root@Ubuntu-1:/usr/local/kafka# bin/kafka-topics.sh --list --zookeeper localhost:2181
huxing2

查询某些topic的消息:

root@Ubuntu-1:/usr/local/kafka#  bin/kafka-topics.sh --describe --topic huxing2 --zookeeper localhost:2181
Topic:huxing2    PartitionCount:2    ReplicationFactor:3    Configs:
    Topic: huxing2    Partition: 0    Leader: 0    Replicas: 0,1,2    Isr: 0,1,2
    Topic: huxing2    Partition: 1    Leader: 1    Replicas: 1,2,0    Isr: 1,2,0

 

从图中得以看出来,Partition分别设有分裂的broker中,各类broker都比不上,所以broker无别本

蒙受的坑

在配备kafka的listener的时候从不用ip地址,而利用了localhost。而在Flume中用的是ip地址,由此现身Flume认不到卡夫卡的场所,不恐怕生育到卡夫卡的Topic中

除此以外,修改配置文件的时候,笔者这里能够在window系统下改了再拷贝进去,方便一点,但不标准

#mkdir  /data

#mkdir  /data/zookeeper/{data,logs}  -p

#tar xf zookeeper-3.4.10.tar.gz

#rm -rf zookeeper-3.4.10.tar.gz

修改配置文件:

创建布局文件zoo.cfg

#cat  zoo.cfg

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zookeeper/data
clientPort=2181
maxClientCnxns=100
autopurge.snapRetainCount=3
autopurge.purgeInterval=24
quorumListenOnAllIPs=true
dataLogDir=/data/zookeeper/logs
server.3=10.10.11.92:2888:3888
server.6=10.10.9.29:2888:3888
server.9=10.10.8.16:2888:3888 

创制myid,用于独一标示叁个zk节点,在开立的/data/zookeeper/data目录下边创设:

#echo 3  >  /data/zookeeper/data/myid

将安顿好的zookeeper服务整个分别copy到别的两台服务器上,并创立供给的目录。

#mkdir  /data/zookeeper/{data,logs}  -p

并在对应的data目录下开创各自的myid文件:

#echo 6  >  /data/zookeeper/data/myid

#echo 9  >  /data/zookeeper/data/myid

切换来bin目录,分别运行zk服务:

./zkServer.sh start

三台都运营成功后,开掘报错了:

2017-11-07 15:31:01,300 [myid:3] - WARN  [WorkerSender[myid=3]:QuorumCnxManager@588] - Cannot open channel to 9 at election address /10.10.8.16:3888
java.net.ConnectException: Connection refused (Connection refused)

排错:

1、疑惑是防火墙的难题,那是内网啊,所以不是防火墙;

2、端口被挤占了,lsof  -i:3888,未有出口啊,所以端口也没占用;

3、ip地址不是本机的网卡

云服务器选用虚构化的才干,监听的网卡是属于物理网关的网卡,而虚构化学工业机械内部自然没有这么些网卡。

在配备文件增多一下参数,重启服务平时:

quorumListenOnAllIPs=true

 

2、查看zk状态

#./zkServer.sh  status

3、zookeepr常用的四字节下令:

ZooKeeper四字命令
功能描述
conf 3.3.0版本引入的。打印出服务相关配置的详细信息。
cons 3.3.0版本引入的。列出所有连接到这台服务器的客户端全部连接/会话详细信息。包括"接受/发送"的包数量、会话id、操作延迟、最后的操作执行等等信息。
crst 3.3.0版本引入的。重置所有连接的连接和会话统计信息。
dump 列出那些比较重要的会话和临时节点。这个命令只能在leader节点上有用。
envi 打印出服务环境的详细信息。
reqs 列出未经处理的请求
ruok 测试服务是否处于正确状态。如果确实如此,那么服务返回"imok",否则不做任何相应。
stat 输出关于性能和连接的客户端的列表。
srst 重置服务器的统计。
srvr 3.3.0版本引入的。列出连接服务器的详细信息
wchs 3.3.0版本引入的。列出服务器watch的详细信息。
wchc 3.3.0版本引入的。通过session列出服务器watch的详细信息,它的输出是一个与watch相关的会话的列表。
wchp 3.3.0版本引入的。通过路径列出服务器watch的详细信息。它输出一个与session相关的路径。
mntr

3.4.0版本引入的。输出可用于检测集群健康状态的变量列表

 

#echo  mntr  | nc  ip  port

ip:zk服务器的IP地址; port:zk服务的端口

 

二、kafka集群

将下载好的包上传到服务器,并解压到/data目录下:

#澳门新萄京官方网站,tar xf  kafka_2.11-0.11.0.0.tgz

只须要修改server.properties文件、consumer.properties、producer.properties文件

server.properties文件根本注意八个地方:

broker.id=0       #各样broker在集群中必得是独一的,如有八个节点可以分级设置为(0、1、2)

host.name=10.10.8.16      #host.name为个服务器的IP地址,根据自个儿的情状填写

zookeeper.connect=10.10.8.16:2181,10.10.9.29:2181,10.10.11.92:2181

 

#cat server.properties

broker.id=0
delete.topic.enable=true
listeners=PLAINTEXT://10.10.89.219:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/data/kafka/kafka-logs
num.partitions=4
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=2
transaction.state.log.replication.factor=2
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=10.10.8.16:2181,10.10.9.29:2181,10.10.11.92:2181
zookeeper.connection.timeout.ms=100000
zookeeper.session.timeout.ms=50000
group.initial.rebalance.delay.ms=0

 

将配备好的劳动分别copy到别的两台服务器上边:

!!!注意修改broker.id、host.name,为各自服务器对应的。

切换到bin目录,启动kafka服务:./kafka-server-start.sh -daemon ../config/server.properties &

 

2、创建topic

#./kafka-topics.sh --create --zookeeper 10.10.11.92:2181,10.10.8.16:2181,10.10.9.29:2181 --replication-factor 2 --partitions 9 --topic userlog

参数解释:
zookeeper:zookeepr集群的地址
replication-factor:复制两份
partitions:创建9个partition
topic: topic名称

运用 describe 命令来突显 topic 详细情况

#./kafka-topics.sh --describe --zookeeper 10.10.11.92:2181,10.10.8.16:2181,10.10.9.29:2181 --topic test
Topic:test    PartitionCount:1    ReplicationFactor:2    Configs:
    Topic: test    Partition: 0    Leader: 3    Replicas: 3,2    Isr: 3,2
1) Leader 是给定分区的节点编号,每个分区的部分数据会随机指定不同的节点
2) Replicas 是该日志会保存的复制
3) Isr 表示正在同步的复制

 

 

本文由澳门新萄京官方网站发布于澳门新萄京官方网站,转载请注明出处:澳门新萄京官方网站11集群搭建,卡夫卡的单节点

关键词: