当前位置：首页 > news >正文

初试Kafka

news 来源：原创 2024/5/16 8:17:08

Kafka 是一个分布式流处理平台，通常用作消息中间件，它可以处理大规模的实时数据流。以下是从零开始使用 Kafka 作为消息中间件的基本教程：

步骤 1: 下载和安装 Kafka

访问 Apache Kafka 官方网站：Apache Kafka
下载最新的 Kafka 发行版，并解压缩到本地文件夹。

步骤 2: 启动 ZooKeeper

Kafka 使用 ZooKeeper 来协调分布式节点。在 Kafka 解压缩后的文件夹中，进入 bin 目录，执行以下命令启动 ZooKeeper：

./zookeeper-server-start.sh ../config/zookeeper.properties

步骤 3: 启动 Kafka 服务

继续在 bin 目录中执行以下命令启动 Kafka 服务：

./kafka-server-start.sh ../config/server.properties

步骤 4: 创建一个主题（Topic）

Kafka 使用主题来组织和分类消息。执行以下命令创建一个主题：

./kafka-topics.sh --create --topic my_topic --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1

这将创建一个名为 my_topic 的主题，具有一个分区和一个副本。

步骤 5: 发送消息到主题

使用 Kafka 提供的生产者工具向主题发送消息：

./kafka-console-producer.sh --topic my_topic --bootstrap-server localhost:9092

然后，您可以在控制台中输入消息并按 Enter 发送。

步骤 6: 消费消息

使用 Kafka 提供的消费者工具从主题中消费消息：

./kafka-console-consumer.sh --topic my_topic --bootstrap-server localhost:9092 --from-beginning

这将显示从主题中接收到的消息。

步骤 7: 使用编程语言连接 Kafka

除了命令行工具外，您还可以使用编程语言连接 Kafka。根据您选择的语言，可以使用 Kafka 提供的客户端库。

使用 Java 示例

// 生产者示例
import org.apache.kafka.clients.producer.*;import java.util.Properties;public class KafkaProducerExample {public static void main(String[] args) {Properties properties = new Properties();properties.put("bootstrap.servers", "localhost:9092");properties.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");properties.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");Producer<String, String> producer = new KafkaProducer<>(properties);ProducerRecord<String, String> record = new ProducerRecord<>("my_topic", "key", "Hello, Kafka!");producer.send(record);producer.close();}
}// 消费者示例
import org.apache.kafka.clients.consumer.*;import java.time.Duration;
import java.util.Collections;
import java.util.Properties;public class KafkaConsumerExample {public static void main(String[] args) {Properties properties = new Properties();properties.put("bootstrap.servers", "localhost:9092");properties.put("group.id", "my_group");properties.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");properties.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");Consumer<String, String> consumer = new KafkaConsumer<>(properties);consumer.subscribe(Collections.singletonList("my_topic"));while (true) {ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));for (ConsumerRecord<String, String> record : records) {System.out.printf("Consumed record with key %s and value %s%n", record.key(), record.value());}}}
}