發表日期:2018-12 文章編輯:小燈 瀏覽次數:3014
這是一個如何配置kafka支持SSL環境的例子。
我們的目標:
Step 1:生成jks文件
#!/bin/bash# generate CA certificate openssl req -new -x509 -keyout ca.key -out ca.pem -days 365 -passout pass:test1234 \ -subj "/C=cn/O=mycomp/OU=mygroup/CN=ca"# generate server keystore keytool -keystore server.keystore.jks -alias localhost -validity 365 -keyalg RSA \ -storepass test1234 -keypass test1234 -genkey \ -dname "C=cn,O=mycomp,OU=mygroup,CN=server" # generate client keystore keytool -keystore client.keystore.jks -alias localhost -validity 365 -keyalg RSA \ -storepass test1234 -keypass test1234 -genkey \ -dname "C=cn,O=mycomp,OU=mygroup,CN=client"# import CA certificate into server truststore keytool -keystore server.truststore.jks -alias CARoot -import -noprompt \ -file ca.pem -storepass test1234 # import CA certificate into client truststore keytool -keystore client.truststore.jks -alias CARoot -import -noprompt \ -file ca.pem -storepass test1234# export server certificate keytool -keystore server.keystore.jks -alias localhost -certreq \ -file server.csr -storepass test1234 -ext san="DNS:kafka.example.com" # export client certificate keytool -keystore client.keystore.jks -alias localhost -certreq \ -file client.csr -storepass test1234 -ext san="DNS:kafka.example.com"# sign server certificate with CA certificate openssl x509 -req -CA ca.pem -CAkey ca.key -in server.csr \ -out server.pem -days 365 -CAcreateserial -passin pass:test1234 \ -extensions SAN \ -extfile <(cat /etc/pki/tls/openssl.cnf <(printf "[SAN]\nsubjectAltName=DNS:kafka.example.com")) # sign client certificate with CA certificate openssl x509 -req -CA ca.pem -CAkey ca.key -in client.csr \ -out client.pem -days 365 -CAcreateserial -passin pass:test1234 \ -extensions SAN \ -extfile <(cat /etc/pki/tls/openssl.cnf <(printf "[SAN]\nsubjectAltName=DNS:kafka.example.com"))# import CA certificate into server keystore keytool -keystore server.keystore.jks -alias CARoot -import -noprompt \ -file ca.pem -storepass test1234 # import CA certificate into client keystore keytool -keystore client.keystore.jks -alias CARoot -import -noprompt \ -file ca.pem -storepass test1234# import server certificate into server keystore keytool -keystore server.keystore.jks -alias localhost -import \ -file server.pem -storepass test1234 # import client certificate into client keystore keytool -keystore client.keystore.jks -alias localhost -import \ -file client.pem -storepass test1234
運行完之后,會生成server.keystore.jks/server.truststore.jks,client.keystore.jks/client.truststore.jks一共四個文件。
有一個地方要注意:
SAN的值給定義上了kafka.example.com,這兒實際上keytool是有bug的,實際應用中,我們可能只能定義域名,無法定義確切的主機名,所以最好的方式是在這里定義DNS的值為".example.com",但是由于keytool存在bug(設計問題),他不支持"'開頭,那么我們只能使用全名主機名了。
要解決這個問題,可以使用openssl工具來生成"*.example.com",不要直接使用keytool。
Step 2:配置zookeeper和kafka的配置文件
增加/修改zookeeper配置文件/opt/kafka/config/zookeeper.properties:
dataDir=/data clientPort=2181 maxClientCnxns=0 initLimit=5 dataLogDir=/datalog syncLimit=2 autopurge.purgeInterval=1 autopurge.snapRetainCount=3 server.1=zookeeper.example.com:2888:3888 tickTime=2000
這個文件沒啥補充的。
增加/修改kafka配置文件/opt/kafka/config/server.properties文件:
broker.id=1 zookeeper.connect=zookeeper.example.com:2181 listeners=SSL://:9093 advertised.listeners=SSL://kafka.example.com:9093 listener.security.protocol.map=SSL:SSL # security.inter.broker.protocol=ssl ssl.client.auth=required ssl.keystore.location=/work/ssl/server.keystore.jks ssl.keystore.password=test1234 ssl.key.password=test1234 ssl.truststore.location=/work/ssl/server.truststore.jks ssl.truststore.type=JKS ssl.truststore.password=test1234 ssl.keystore.type=JKS
這個文件有幾點說明:
Step 3: 配置docker-compose.yaml
這里需要把kafka達到image里面進去,構造兩個images:kafka和zookeeper都使用kafka的安裝包就行。
version: '2' networks: byfn:services: zookeeper.example.com: image: zookeeper container_name: zookeeper.example.com environment: - ZOO_MY_ID=1 - ZOO_SERVERS=server.1=zookeeper.example.com:2888:3888 volumes: - ./zookeeper.properties:/opt/kafka/config/zookeeper.properties networks: - byfnkafka.example.com: image: kafka container_name: kafka.example.com environment: volumes: - ./ssl:/ssl - ./server.properties:/opt/kafka/config/server.properties depends_on: - zookeeper.example.com networks: - byfn
Step 4: 啟動clustor
$ docker-compose up
Step 5: 客戶端訪問
配置client-ssl.properties文件
security.protocol=SSLssl.truststore.location=/ssl/client.truststore.jksssl.truststore.password=test1234 ssl.keystore.location=/ssl/client.keystore.jksssl.keystore.password=test1234 ssl.key.password=test1234
啟動producer和consumer:
# producer /opt/kafka/bin/kafka-console-producer.sh \ --broker-list kafka.example.com:9093 \ --topic test-topic \ --producer.config /ssl/client-ssl.properties# consumer /opt/kafka/bin/kafka-console-consumer.sh \ --bootstrap-server kafka1.example.com:9093 \ --topic test-topic \ --consumer.config /ssl/client-ssl.properties \ --from-beginning
Step 6: 如果是雙端口配置
即9092是PLAINTEXT訪問, 9093是SSL訪問
# server.properties listeners=PLAINTEXT://:9092,SSL://:9093 advertised.listeners=PLAINTEXT://kafka.example.com:9092,SSL://kafka.example.com:9093 listener.security.protocol.map=PLAINTEXT:PLAINTEXT,SSL:SSL
那么client端既可以訪問9092,也可以訪問9093,以producer為例:
# PLAINTEXT /opt/kafka/bin/kafka-console-producer.sh \ --broker-list kafka.example.com:9092 \ --topic test-topic \# SSL /opt/kafka/bin/kafka-console-producer.sh \ --broker-list kafka.example.com:9093 \ --topic test-topic \ --producer.config /ssl/client-ssl.properties
差別PLAINTEXT訪問9092端口,SSL訪問9093端口,并且配置上SSL證書信息。
總的來說,這個過程還是比較清楚的。
日期:2018-04 瀏覽次數:6763
日期:2017-02 瀏覽次數:3438
日期:2017-09 瀏覽次數:3659
日期:2017-12 瀏覽次數:3529
日期:2018-12 瀏覽次數:4819
日期:2016-12 瀏覽次數:4584
日期:2017-07 瀏覽次數:13647
日期:2017-12 瀏覽次數:3508
日期:2018-06 瀏覽次數:4267
日期:2018-05 瀏覽次數:4446
日期:2017-12 瀏覽次數:3558
日期:2017-06 瀏覽次數:3984
日期:2018-01 瀏覽次數:3945
日期:2016-12 瀏覽次數:3915
日期:2018-08 瀏覽次數:4428
日期:2017-12 瀏覽次數:3708
日期:2016-09 瀏覽次數:6406
日期:2018-07 瀏覽次數:3208
日期:2016-12 瀏覽次數:3232
日期:2018-10 瀏覽次數:3386
日期:2018-10 瀏覽次數:3482
日期:2018-09 瀏覽次數:3580
日期:2018-02 瀏覽次數:3600
日期:2015-05 瀏覽次數:3521
日期:2018-09 瀏覽次數:3308
日期:2018-06 瀏覽次數:3435
日期:2017-02 瀏覽次數:3873
日期:2018-02 瀏覽次數:4337
日期:2018-02 瀏覽次數:4176
日期:2016-12 瀏覽次數:3573
Copyright ? 2013-2018 Tadeng NetWork Technology Co., LTD. All Rights Reserved.