Comandos básicos para utilização do Apache Kafka

kafka_review.md

Kafka - Review

http://kafka.apache.org/

https://zookeeper.apache.org/

INICIAR O ZOOKEEPER

bin/zookeeper-server-start.sh config/zookeeper.properties

INICIAR O KAFKA

bin/kafka-server-start.sh config/server.properties

CRIAR UM TÓPICO

bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic MEU_TOPICO

LISTAR OS TÓPICOS

bin/kafka-topics.sh --list --bootstrap-server localhost:9092

CRIAR UM PRODUTOR

bin/kafka-console-producer.sh --broker-list localhost9092 --topic MEU_TOPICO

CRIAR UM CONSUMIDOR

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic MEU_TOPICO --from-beginning

DESCREVER OS TÓPICOS

bin/kafka-topics.sh --bootstrap-server localhost:9092 --describe

ALTERAR PARTIÇÃO

bin/kafka-topics.sh --alter --zookeeper localhost:2181 --topic MEU_TOPICO --partitions 3

ANALISAR O GRUPO DE CONSUMO

bin/kafka-consumer-groups.sh --all-groups --bootstrap-server localhost:9092 --describe

CRIANDO DIRETÓRIOS PARA ARMAZENAMENTO DE DADOS

No diretório raiz de instação do kafka, criar os seguintes diretórios:

mkdir data

mkdir data/zookeeper

mkdir data/kafka

vi config/server.properties

log.dirs=/caminho/completo/do/diretorio/data/kafka

vi config/zookeeper.properties

dataDir=/caminho/completo/do/diretorio/data/zookeeper