整合Mysql MGR 8.0.20 + FlinkCDC1.7 + Doris2.0.2

数据运维 2023-12-06 爱可生开源社区 手机阅读

大家好，本篇是上一篇Doris 基础安装的延续篇。

我们把公司内现有的技术架构做一个整合： 业务系统纯OLTP（mysql MGR 8.0.20） + Binlog日志流处理（flinkCDC connector） + 新型数仓平台(Doris 2.0.2)

关于Doris的安装可以参考： https://www.modb.pro/db/1729406010585587712

关于源端mysql MGR 3节点的安装，这里不做过多介绍，国内的mysql生态应该是全球第一的。

我们先访问一下Flink CDC connector的主页： https://ververica.github.io/flink-cdc-connectors/release-2.4/content/about.html

我们可以看到Flink CDC 起到了 sourceDB 和 TargetDB 之间的桥梁作用。

在安装之前我们需要注意JDK的版本和flink 之间的兼容性。(从flink1.15版本开始需要JDK11版本)

https://nightlies.apache.org/flink/flink-docs-master/zh/release-notes/flink-1.15/

Flink 1.7.2 下载：

我们从官网上下载一个1.7.2的版本： https://flink.apache.org/downloads/

wget https://dlcdn.apache.org/flink/flink-1.17.2/flink-1.17.2-bin-scala_2.12.tgz