最近做了几个实时数据开发需求，也不可避免地在使用Flink的过程中遇到了一些问题，比如数据倾斜导致的反压、interval join、开窗导致的水位线失效等问题，通过思考并解决这些…
Flink 连接 Kafka 前的准备在使用 Apache Flink 连接 Apache Kafka 之前，需要完成以下准备工作。具体步骤如下：从 Maven 官方库获取相关的 …
前言：一般情况下，CDC 技术主要面向数据库的变更，用于捕获数据库中数据变更的技术。而 Flink CDC+ OceanBase 全增量一体化数据集成方案是将传统的数据库 CDC …
作者：伍翀，阿里云Flink SQL负责人，Apache Flink PMC Member & Committer许多数据领域的从业者对Apache Flink并不陌生，其…
测试背景应公司要求，需要将TiDB数据库替换成OceanBase数据库，替换过程需要业务影响比较小，这就要求TiDB的数据可以实时同步到OceanBase数据库。经过对各类数据同步…
TIDB部署（阿里云ECS） 1、系统配置 TIDB官方建议使用CentOS7.3及以上版本： Linux 操作系统 版本 Red Hat Enterprise Linux 7.3…
spark streaming 和 flink 都是流处理框架，具有不同的特性：编程模型：spark streaming 基于 spark rdd 模型，而 flink 拥有自己的…
作者：潘伟龙（豁朗） 背景 日志服务 SLS 是云原生观测与分析平台，为 Log、Metric、Trace 等数据提供大规模、低成本、实时的平台化服务，基于日志服务的便捷的数据接入…
一、前言flink任务在执行过程中，一个流（stream）包含一个或多个分区（Stream partition）。TaskManager中的一个slot的subtask就是一个st…
记一次Flink CDC引起的MySQL元数据锁事故，总结经验教训。后续在编写Flink CDC任务时，要处理好异常，避免产生长时间的元数据锁。同时出现生产问题时要及时排查，不能抱…
记一次Flink CDC引起的Mysql元数据锁事故，总结经验教训。后续在编写Flink CDC任务时，要处理好异常，避免产生长时间的元数据锁。同时出现生产问题时要及时排查，不能抱…
一、运行时架构上一篇我们可以看到Flink的核心组件的Deploy层，该层主要涉及了Flink的部署模式，Flink支持多种部署模式：本地、集群（Standalone/YARN）、…
本文整理自火山引擎云原生计算研发工程师王正和闵中元在本次 CommunityOverCode Asia 2023 数据湖专场中的《基于 Flink 构建实时数据湖的实践》主题演讲。…
1.前置知识ODPS（Open Data Platform and Service）是阿里云自研的一体化大数据计算平台和数据仓库产品，在集团内部离线作为离线数据处理和存储的产品。离…
Apache Flink 是一个开源的流处理框架，它提供高效、准确、容错的数据流处理机制。在 Flink 中，可以通过将数据流写入 MySQL 数据库来进行数据存储和分析。但是，F…
在某客户日志数据迁移到火山引擎使用 ELK 生态的案例中，由于客户反馈之前 Logstash 经常发生数据丢失和收集性能较差的使用痛点，我们尝试使用 Flink 替代了传统的 Lo…
Apache Flink PMC 已正式发布 Apache Flink 1.18.0 版本。与往常一样，这是一个充实的版本，包含了广泛的改进和新功能。总共有 174 人为此版本做出…
概述 Flink中的DataSource（数据源）用于定义数据输入的来源。数据源是Flink作业的起点，它可以从各种数据来源获取数据，例如文件系统、消息队列、数据库等。 将数据源添…
Flink on k8s容器日志生成原理及与Yarn部署时的日志生成模式对比 最近需要将flink由原先部署到Yarn集群切换到kubernetes集群，在切换之后需要熟悉flin…
摘要：本文整理自阿里云计算平台事业部，实时计算&托管生态 SRE 团队的许雷力（阿里云技术专家）和张韦杰（阿里云开发工程师），在 Flink Forward Asia 20…
