kafka

深入浅出Kafka:高可用、顺序消费及幂等性

在我们旅行于数据海洋的途中,如果把 Kafka 比作是一艘承载无数信息航行的快船,前文《Kafka实战漫谈:大数据领域的不败王者》已经讲述了如何搭建起这艘快船,让它在起风的早晨开始…

7k Star,一款开源的 Kafka 管理平台,功能齐全、页面美观!

1 特征2 入门快速启动(演示运行)持久安装设置 git3 配置向导动态应用程序配置4 数据脱敏主题数据脱敏5 自定义可插拔 serde 注册传送门Apache Kafka UI …

AutoMQ 社区双周精选第二期(11.2012.01)

本期概要 在开源的第二个双周里,作为一个成长中的开源项目,AutoMQ做了很多的优化和重构,以下是相关重点动态的总结。 AutoMQ Kafka:写链路耗时优化、快慢读隔离、Spo…

不要让Apache Kafka成为你的数据库

作者丨Andrew Mills编译丨诺亚关于Kafka到底能否被认为是数据库的讨论由来已久。支持方认为,Kafka不应该仅仅是一个消息队列,其工作机制涉及到海量数据的存储与处理,根…

消息队列备选架构选择,你选择哪个?

备选架构1 - 开源方案评估kafka:人力成本:测试代表倾向于引入 Kafka,因为 Kafka 比较成熟,无须太多测试投入。中间件团队部分研发人员也支持使用 Kafka,因为使…

带你吃透Kafka的可靠性设计

作者 | 蔡柱梁审校 | 重楼目录前言可靠性分析副本设计leader选举机制日志同步机制1 前言本文里面涉及到较多基础概念,如果忘记了,那么可以去看下《一文带你快速入门kafka》…

Kafka两种集群详解和搭建教程

Kafka是一个能够支持高并发以及流式消息处理的消息中间件,并且Kafka天生就是支持集群的,今天就主要来介绍一下如何搭建Kafka集群。 Kafka目前支持使用Zookeeper…

为什么 Kafka 的吞吐量那么高?

在众多的消息中间件中,Kafka 的性能和吞吐量绝对是顶尖级别的,那么问题来了, Kafka 是如何做到高吞吐的。在性能优化方面,它使用了哪些技巧呢?下面我们就来分析一下。以'批'…

我们一起聊聊 B 站 Kafka 探索与实践

1.背景Kafka 是我们公司各个部门的重要数据中间件,主要用于上报、暂存和分发各种数据。我们不仅支持大数据场景,同时也保障在线场景的稳定性。我们拥有1000+台Kafka机器,组…

Kafka 在分布式系统中的七大应用场景

Kafka 介绍Kafka 是一个开源的分布式流式平台,它可以处理大量的实时数据,并提供高吞吐量,低延迟,高可靠性和高可扩展性。Kafka 的核心组件包括生产者(Producer)…

如何确定Apache Kafka的大小和规模

作者丨Andrew Mills编译丨云昭调整或扩展Kafka以获得最佳成本和性能的第一步是了解数据流平台如何使用资源。这里给一些实用的建议。实现Apache Kafka的团队,或者…

使用Java与Apache Kafka构建可靠的消息系统

Apache Kafka 是一个分布式流处理平台,也是一种高性能、可扩展的消息系统。它在处理海量数据时表现出色,而且易于使用和部署。Apache Kafka 是一种分布式发布-订阅…

阅读:Kafka a Distributed Messaging System for Log Processing

本篇论文发表于2011年,应该是 Kafka 在 Linkedin 内部应用不久便发布的(可以从论文中的描述得知,可能更接近0.7版本),所以对于 Kafka 的架构设计及部分功能…

Mac及Linux环境下配置Kafka

准备Kafka 下载Kafka 💡这里以Kafka 3.5.0为例。Kafka的运行依赖Zookeeper,但由于现在的Kafka版本都内置了Zookeeper,因此无需额外配置。…

深入探究Kafka ISR机制与Spring Cloud应用实践

Apache Kafka广泛应用于处理实时数据流,其中ISR(In-Sync Replicas)机制起到关键作用,确保数据可靠性和系统高可用性。本文将深入探讨ISR机制,对其原理和…

使用 Spring Boot 和 Kafka Streams 进行实时数据处理

Spring Boot 和 Apache Kafka Streams 是两个强大的工具,它们使开发人员能够创建可靠且可扩展的实时数据处理应用程序。在这篇文章中,我们将了解 Spri…

工具使用集|Kafka:官方文档简明解读(续)

前言 kafka 官方文档浅读,好吃力。已经有大半个月没有更新了,记录一下kafak相关的内容。 konwlage Kafka不是一个传统的消息传递系统,而更类似于一个持久性的分布…

Kafka KRaft线上集群部署实战(broker、controller分离部署)

这里是weihubeats,觉得文章不错可以关注公众号小奏技术,文章首发。拒绝营销号,拒绝标题党 kafka版本 kafka_2.13-3.5.0 背景 继之前Linux Kafk…

Java Kafka基本操作

安装zookeeper 下载镜像:docker pull zookeeper:3.4.14 创建容器:docker run -d --name zookeeper -p 2181:…

kafka:org.apache.kafka.common.network.InvalidReceiveException

背景 今日练习kafka相关操作,但是却爆出了Failed to create new KafkaAdminClient的错误 控制台看不出什么,于是我又看了下docker中kaf…

加载更多