今天配置的是一个2.5.0的一个kafka集群，新的版本将废弃zookeeper，今天不讨论新版本有一个私有的云环境，业务需求希望通过公网向kafka发送数据，使用SCRAM-SH…
我是 javapub，一名 Markdown 程序员从👨💻，八股文种子选手。 《面试1v1》 连载中... 面试官： 嗨，欢迎来到我们的面试！今天我们要聊一聊Kafka基础。你对…
1、引言 在大数据时代，实时数据处理和流式数据分析变得越来越重要。为了应对大规模数据的高吞吐量和低延迟处理需求，出现了各种分布式流处理平台。其中，Apache Kafka作为一种高…
消息中间件如何选型 RabbitMQ erlang开发，对消息堆积的支持并不好，当大量消息积压的时候，会导致 RabbitMQ 的性能急剧下降。每秒钟可以处理几万到十几万条消息。 …
背景 线上kafka集群，3台机器，3个broker；其中某台机器因为硬件故障，需要停机维修；停机意味这跑在机器上的服务会停止。所以本次做kafka迁移的目标 是机器可以停止但依赖…
Apache Kafka 是一款流行的分布式数据流平台，它已经广泛地被诸如 New Relic（数据智能平台）、Uber、Square（移动支付公司）等大型公司用来构建可扩展的、高…
现实业务中，Kafka经常会遇到的一个集成场景就是，从数据库获取数据，因为关系数据库是一个非常丰富的事件源。数据库中的现有数据以及对该数据的任何更改都可以流式传输到Kafka主题中…
Kafka 是高吞吐低延迟的高并发、高性能的消息中间件，在大数据领域有极为广泛的运用。配置良好的 Kafka 集群甚至可以做到每秒几十万、上百万的超高并发写入。Kafka 的一些架…
大数据传输都会想到 Kafka，Kafka 号称大数据的杀手锏，在业界有很多成熟的应用场景并且被主流公司认可。这款为大数据而生的消息中间件，以其百万级TPS的吞吐量名声大噪，迅速成…
Kafka 是消息队列中间件的代表产品，它与RocketMQ和RabbitMQ最大的区别在于：在某些场景，可以弃用Flink、Spark这样的计算引擎，借助Kafka Stream…
来源丨华仔聊技术（ID：gh_97b8de4b5b34）聊聊 Kafka 是如何封装 Selector 多路复用器的，本系列总共分为3篇，今天是中篇，主要剖析4、5两个问题：针对 …
引言在探究 Kafka 核心知识之前，我们先思考一个问题：什么场景会促使我们使用 Kafka? 说到这里，我们头脑中或多或少会蹦出异步解耦和削峰填谷等字样，是的，这就是 Kafk…
前提：搭建好了helm和tiller这两个软件，这里将使用helm来安装zookeeper和kafka(主要是kafka要依赖zookeeper)。 大纲： 一、tiller搭建的…
针对于Kafka集群监控，目前有多种监控源Kafka Exporter以及Jmx Exporter。想要完整的监控Kafka最好的情况下是把这两个metric都添加进行监控 Kaf…
消息队列 Kafka 是一个分布式的、高吞吐量、高可扩展性消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等，是大数据生态中不可或缺的产品之一。Apach…
1. Logstash 的基本原理Logstash 是一个用于数据传输和处理的组件。通过插件的组合，Logstash 可以满足各种日志采集的场景：logstash->elas…
