<>前言

公司的网络是隔离的,服务器网络与工作网络相互隔离,只能通过端口转发(Port Forwarding)功能中转到本地端口。
这会造成服务器的ip无法在本地直接连通。

这里记录下相关配置,便于后续查找。

<>环境描述

这里为了展现场景,直接使用docker模拟一个单节点环境。

<>1. zookeeper 搭建
docker run -d --name zookeeper --publish 22181:2181 --volume
/etc/localtime:/etc/localtime zookeeper:3.5
<>2. kafka 搭建

* 修改前 docker run -d --name kafka --publish 9092:9092 --link zookeeper --env
KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 --env
KAFKA_ADVERTISED_HOST_NAME=172.16.1.146 --env KAFKA_ADVERTISED_PORT=9092
--volume /etc/localtime:/etc/localtime wurstmeister/kafka:1.0.0
* 修改后 docker run -d --network host --name kafka --env
KAFKA_ZOOKEEPER_CONNECT=127.0.0.1:22181 --env
KAFKA_ADVERTISED_HOST_NAME=kafkahost --env KAFKA_ADVERTISED_PORT=9092 --volume
/etc/localtime:/etc/localtime wurstmeister/kafka:1.0.0
* 其中kafkahost为172.16.1.146主机的hostname。
容器内生成的/opt/kafka/config/server.properties配置部分展现
[root@kafkahost ~]# docker exec 5650801499fb cat
/opt/kafka/config/server.properties broker.id=-1 listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://kafkahost:9092 ......
着重注意listeners和advertised.listeners。
listeners需要监听所有来源。
此处配置kafkahost主要是内外网络隔离,无法联通,通过本地hosts配置进行连接。

<>3. 本地开发添加hosts(与服务器隔离的网络,通过端口中转,将远程端口中转到本地)

127.0.0.1 kafkahost

<>附录:部分命令

<>1.监听端口消息

主要用来监听消息是否到达,排查网络问题
tcpdump -i eth0 -A -s 0 'tcp port 9092 and (((ip[2:2] - ((ip[0]&0xf)<<2)) -
((tcp[12]&0xf0)>>2)) != 0)' |grep -A 10 'PLAYTIMES_SEND'
<>2.kafka服务启动
bin/kafka-server-start.sh -daemon ../config/server.properties
<>3.创建一个主题
## --replication-factor 1 #复制1份 ## --partitions #分区 bin/kafka-topics.sh
--create --zookeeper localhost:22181 --replication-factor 1 --partitions 10
--topic test
<>4.查看主题
## 查看topic的详细信息 bin/kafka-topics.sh --zookeeper 127.0.0.1:22181 --topic test
--describe # 查看topic列表 bin/kafka-topics.sh --zookeeper 127.0.0.1:22181 --list
<>5.为topic增加partition

只能增加分区,不能减少分区,请谨慎添加。
bin/kafka-topics.sh --zookeeper 127.0.0.1:22181 --alter --partitions 20
--topic test
<>6.创建指定主题的生产者
bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic test
<>7.运行一个消费者
bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test
--from-beginning
<>8.查看消费情况
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe
--group test-consumer-group

友情链接
ioDraw流程图
API参考文档
OK工具箱
云服务器优惠
阿里云优惠券
腾讯云优惠券
华为云优惠券
站点信息
问题反馈
邮箱:ixiaoyang8@qq.com
QQ群:637538335
关注微信