flink

Flink开发环境搭建与提交运行Flink应用程序

Flink 概述 Apache Flink 是一个框架和分布式处理引擎,用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行,并能以内存速度和任意规…

Flink的部署模式:Local本地模式、Standalone模式、Flink On Yarn模式

Flink部署、执行模式 Flink的部署模式 本地模式、Standalone模式和FlinkonYARN模式是Flink的三种常见部署模式。 1.Local本地模式: 在本地模式…

搭建Flink集群、集群HA高可用以及配置历史服务器

Flink集群搭建 集群规划 节点node01node02node03角色JobManager TaskManagerTaskManagerTaskManager 下载并解压安装包…

使用java写一个对接flink的例子

​ Maven依赖: org.apache.flink flink-java ${flink.version} org.apache.flink flink-streaming-j…

基于 Flink CDC 高效构建入湖通道

本文整理自阿里云 Flink 数据通道负责人、Flink CDC 开源社区负责人, Apache Flink PMC Member & Committer 徐榜江(雪尽),…

五分钟了解Flink状态管理

什么叫做Flink的有状态计算呢?说白了就是将之前的中间结果暂时存储起来,等待后续的事件数据过来后,可以使用之前的中间结果继续计算。本文主要介绍Flink状态计算和管理、代码示例。…

深入解读 MongoDB CDC 的设计与实现

作者:千浪@阿里云研发工程师 MongoDB CDC 概述 MongoDB 是当下流行的一个基于文档的非关系性数据库。MongoDB CDC [1] 是 Flink CDC 社区 …

第3章 Flink的运行架构

3.1、Flink的运行架构 3.1.1、Flink 基本组件栈 一个计算框架只有上层有了具体的应用,并能很好的发挥计算框架本身的优势,那么这个计算框架才能吸引更多的资源,才会更快…

Flink 使用之 MySQL CDC

一、CDC 简介CDC 即 Change Data Capture变更数据捕获,为Flink 1.11中一个新增功能。我们可以通过 CDC 得知数据源表的更新内容(包含Insert…

记一次flinkcdc sqlservericeberg 数据重复问题排查过程

背景 flink cdc 1.0 版本早期,还未支持sqlserver ,oracle数据源。基于业务场景需要,对flink cdc项目进行二次开发,增加 sql server 作…

Flink小白入门,如何实时统计用户的交易金额?

前言 大家还记得双11得时候,会有一个大屏实时刷新显示交易金额,这究竟是怎么实时统计计算的呢?Apache Flink是一个开源、流行的大数据框架和分布式处理引擎,特别是针对流式数…

基于Flink如何实现解决数据库分库分表任务拆分

Flink 是一个分布式流处理引擎,可以实现数据库分库分表任务拆分。Flink的分布式处理框架可以实现实时的流处理,同时还支持批处理,可以提供一站式的解决方案,从而使得数据库分库分…

10分钟入门Flink安装

本文介绍Flink的安装步骤,主要是Flink的独立部署模式,它不依赖其他平台。文中内容分为4块:前置准备、Flink本地模式搭建、Flink Standalone搭建、Flink…

10分钟入门Flink架构和原理

相信你读完上一节的《10分钟入门Flink--了解Flink》对Flink已经有初步了解了。这是继第一节之后的Flink入门系列的第二篇,本篇主要内容是是:了解Flink运行模式、…

货拉拉基于 Flink 计算引擎的应用与优化实践

摘要:本文整理自货拉拉实时研发平台负责人王世涛,在Flink Forward Asia 2022 平台建设专场的分享。本篇内容主要分为六个部分: Flink 在货拉拉的使用现状 F…

如何在 Ubuntu 20.04 LTS 上安装 Apache Flink

Apache Flink 是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。Flink 旨在运行在所有常见的集群环境中,以内存速度和任何规模执行计算。Apache …

Flink 遇见 Apache Celeborn:统一的数据 Shuffle 服务

作者| 熊佳树( 履霜) 我们非常高兴的宣布 Apache Celeborn(Inclubating)[1] 正式支持 Flink,Celeborn 于去年 12 月份正式进入 A…

Flink CDC & MongoDB 联合实时数仓的探索实践

摘要:本文整理自 XTransfer 技术专家, Flink CDC Maintainer 孙家宝,在 Flink Forward Asia 2022 数据集成专场的分享。本篇内容…

记一次 Flink 引发的 Metaspace OOM

项目中有一个需求,将结构化数据采集到 Elasticsearch 和 Nebula Graph 中。由于已经有其他项目完成了相关的 Flink Sink 组件,但该项目不想单独部署…

Flink 在新能源场站运维的应用

摘要:本文整理自中南电力设计院工程师、注册测绘师姚远,在 Flink Forward Asia 2022 行业案例专场的分享。本篇内容主要分为四个部分: 建设背景 技术架构 应用落…

加载更多