使用 Spring Boot 和 Kafka Streams 进行实时数据处理

Spring Boot 和 Apache Kafka Streams 是两个强大的工具，它们使开发人员能够创建可靠且可扩展的实时数据处理应用程序。在这篇文章中，我们将了解 Spring Boot 和 Kafka Streams 如何协同工作，如何利用流处理来发挥应用程序的优势。还将探索交互式查询，这是一个相对较新且有趣的功能，为实时数据分析提供了新的机会。

安装Kafka

Kafka可以从官方网站https://kafka.apache.org/downloads下载。一旦 Kafka 启动并运行，就创建一个主题。

创建Spring Boot项目

创建一个新的 Spring Boot 项目，并且引入“Spring Web”和“Spring for Apache Kafka”两个依赖项。

@SpringBootApplication
public class KafkaStreamsDemoApplication {
    public static void main(String[] args) {
        SpringApplication.run(KafkaStreamsDemoApplication.class, args);
    }
}

配置Kafka

接下来，在应用程序的 application.properties 文件中配置 Kafka 创建的主题和代理地址。

spring.kafka.bootstrap-servers=localhost:9092
spring.kafka.consumer.group-id=my-group
spring.kafka.consumer.auto-offset-reset=earliest

创建 Kafka 流处理器

下一步是构建一个 Kafka Streams 处理器，从“my-topic”读取消息并处理，然后将结果输出到另一个主题。使用 KStream API 来处理逻辑，如下：

@Bean
public Function process() {
    return input -> input
            .mapValues(value -> value.toUpperCase())
            .to("output-topic");
}

交互式查询

交互式查询是 Kafka Streams 的创新新功能之一。借助此功能，可以立即查询 Kafka Streams 应用程序的状态存储。让我们看看如何使用交互式查询检索存储在状态存储中的大写消息的数量。

@Autowiredprivate 
InteractiveQueryService interactiveQueryService;

@GetMapping("/messageCount")
public long getMessageCount() {
  ReadOnlyKeyValueStore store = interactiveQueryService.getQueryableStore("message-count-store", QueryableStoreTypes.keyValueStore());   
  return store.get("uppercase-message-count");
}

在此代码中，我们使用 InteractiveQueryService 来获取“message-count-store”的状态存储的句柄，然以查询该存储来获取大写消息的计数。

发送数据到Kafka

在实际应用程序中，数据将从多个源发送到 Kafka。在本示例中，我们将使用一个简单的 Kafka 生产者来与“my-topic”进行通信。

@Autowired
private KafkaTemplate kafkaTemplate;

public void produceMessage(String message) {
    kafkaTemplate.send("my-topic", message);
}

使用处理后的数据

使用 Kafka 消费者最终从“output-topic”接收编辑后的数据，如下：

@KafkaListener(topics = "output-topic", groupId = "my-group")
public void consume(String message) {
    System.out.println("Received: " + message);
}

总结

在本文中，我们了解了如何使用 Spring Boot 和 Kafka Streams 创建用于实时数据处理的应用程序，并且引入了交互式查询这一有趣的新功能。借助交互式查询，可以通过处理实时数据以及实时查询 Kafka Streams 应用程序的状态来创建交互式动态应用程序。