flink1.4.2发布 (flink最新稳定版)

Flink是一个开源的分布式流处理框架,适用于大规模数据的实时处理和批量处理。凭借批流统一、性能卓越、规模计算、生态兼容、高容错等特点,Flink已然成为大数据领域的当红炸子鸡,被国内外众多大厂所采用,如今掌握Flink的人才炙手可热。

本套教程基于Flink新版1.17.0进行讲解,共分四大篇章:基础篇、核心篇、高阶篇、SQL篇。内容详实,由浅入深,层层递进,涵盖Flink基本概念和核心组件的详细介绍,包括流处理、窗口操作、状态管理、容错机制、连接器、SQL等。

还是一贯的风格,保姆式讲解,败家式赠送。教程采用动画讲解重难点,通过大量实战案例演示,带你掌握如何使用Flink构建可靠高效的数据处理应用,从而快速解决面对海量数据的挑战。无论你是从事数据工程、数据分析还是数据科学方向,这套教程都将是你实现数据处理目标的有力助手!

尚硅谷flink笔记,尚硅谷flink

教程目录

01.教程简介

02.Flink概述_Flink是什么

03.Flink概述_Flink发展历史&特点

04.Flink概述_与SparkStreaming的区别&应用场景&分层API

05.Flink快速上手_创建Maven工程&导入依赖

06.Flink快速上手_批处理实现WordCount

07.Flink快速上手_流处理实现WordCount_编码

08.Flink快速上手_流处理实现WordCount_演示&对比

09.Flink快速上手_流处理实现WordCount_*界无**流_编码

10.Flink快速上手_流处理实现WordCount_*界无**流_演示&对比

11.Flink部署_集群角色

12.Flink部署_集群搭建_集群启动

13.Flink部署_集群搭建_WebUI提交作业

14.Flink部署_集群搭建_命令行提交作业

15.Flink部署_部署模式介绍

16.Flink部署_Standalone运行模式

17.Flink部署_YARN运行模式_环境准备

18.Flink部署_YARN运行模式_会话模式

19.Flink部署_YARN运行模式_会话模式的停止

20.Flink部署_YARN运行模式_单作业模式

21.Flink部署_YARN运行模式_应用模式

22.Flink部署_历史服务器

23.Flink运行时架构_系统架构

24.Flink运行时架构_核心概念_并行度

25.Flink运行时架构_核心概念_并行度设置&优先级

26.Flink运行时架构_核心概念_算子链

27.Flink运行时架构_核心概念_算子链演示

28.Flink运行时架构_核心概念_任务槽

29.Flink运行时架构_核心概念_任务槽的共享组

30.Flink运行时架构_核心概念_slot与并行度的关系&演示

31.Flink运行时架构_提交流程_Standalone会话模式&四张图

32.Flink运行时架构_提交流程_Yarn应用模式

33.DataStreamAPI_执行环境

34.DataStreamAPI_源算子_准备工作

35.DataStreamAPI_源算子_集合&文件&socket

36.DataStreamAPI_源算子_从Kafka读取

37.DataStreamAPI_源算子_数据生成器

38.DataStreamAPI_Flink支持的数据类型

39.DataStreamAPI_基本转换算子_map

40.DataStreamAPI_基本转换算子_filter&flatmap

41.DataStreamAPI_聚合算子_keyby

42.DataStreamAPI_聚合算子_简单聚合算子

43.DataStreamAPI_聚合算子_规约聚合reduce

44.DataStreamAPI_用户自定义函数

45.DataStreamAPI_分区算子&分区器

46.DataStreamAPI_分区算子_自定义分区

47.DataStreamAPI_分流_使用FIlter简单实现

48.DataStreamAPI_分流_使用侧输出流

49.DataStreamAPI_合流_union

50.DataStreamAPI_合流_connect

51.DataSrreamAPI_合流_connect案例

52.DataStreamAPI_合流_connect案例_编码演示

53.DataStreamAPI_输出算子_支持的外部系统

54.DataStreamAPI_输出算子_File

55.DataStreamAPI_输出算子_写Kafka编码

56.DataStreamAPI_输出算子_精准一次写Kafka演示

57.DataStreamAPI_输出算子_写Kakfa_自定义序列化器

58.DataStreamAPI_输出算子_JDBC连接器的依赖问题

59.DataStreamAPI_输出算子_写入MySQL

60.DataStreamAPI_输出算子_自定义的方式

61.窗口_概念

62.窗口_分类

63.窗口_窗口API概览

64.窗口_窗口分配器

65.窗口_窗口函数_增量聚合Reduce

66.窗口_窗口函数_增量聚合Aggregate

67.窗口_窗口函数_全窗口函数

68.窗口_窗口函数_增量聚合结合全窗口函数使用

69.窗口_时间窗口_三种窗口效果演示

70.窗口_计数窗口_两种窗口效果演示

71.窗口_其他API_触发器和移除器

72.窗口_原理简析_划分&触发时机&生命周期

73.Flink中的时间_时间语义

74.水位线_对水位线的理解

75.水位线_水位线和窗口的工作原理

76.水位线_生成水位线原则&策略

77.水位线_内置水位线_有序流设置水位线演示

78.水位线_内置水位线_乱序流设置水位线演示

79.水位线_内置水位线_生成原理

80.水位线_自定义_周期性水位线生成器

81.水位线_自定义_断点式水位线生成器&从数据源生成watermark

82.水位线_水位线的传递

83.水位线_水位线设置空闲等待

84.水位线_迟到数据处理_窗口允许迟到

85.水位线_迟到数据处理_侧输出流

86.水位线_迟到数据处理_总结

87.基于时间的双流联结_Window Join

88.基于时间的双流联结_Interval Join

89.基于时间的双流联结_Interval Join_迟到数据的处理&总结

90.处理函数_基本处理函数简介

91.处理函数_定时器_API介绍&事件时间演示

92.处理函数_定时器_处理时间演示

93.处理函数_定时器_获取当前watermark&总结

94.处理函数_TopN练习_使用ProcessAllWindowFunction实现

95.处理函数_TopN练习_使用KeyedProcessFunction实现_思路

96.处理函数_TopN练习_使用KeyedProcessFunction实现_编码

97.处理函数_TopN练习_使用KeyedProcessFunction实现_演示&总结

98.处理函数_侧输出流

99.状态管理_Flink中的状态概述和分类

100.状态管理_按键分区状态_值状态

101.状态管理_按键分区状态_列表状态

102.状态管理_按键分区状态_Map状态

103.状态管理_按键分区状态_规约状态

104.状态管理_按键分区状态_聚合状态

105.状态管理_按键分区状态_状态生存时间TTL

106.状态管理_算子状态_列表状态&联合列表状态

107.状态管理_算子状态_广播状态

108.状态管理_状态后端

109.容错机制_检查点_检查点的保存

110.容错机制_检查点_从检查点恢复状态

111.容错机制_检查点_检查点算法_检查点分界线

112.容错机制_检查点_检查点算法_Barrier对齐的精准一次

113.容错机制_检查点_检查点算法_Barrier对齐的至少一次&区别

114.容错机制_检查点_检查点算法_非Barrier对齐的精准一次

115.容错机制_检查点_检查点算法_总结梳理

116.容错机制_检查点_检查点配置_常用配置

117.容错机制_检查点_检查点配置_常用配置演示

118.容错机制_检查点_检查点配置_启用非对齐检查点

119.容错机制_检查点_通用增量检查点(Changelog)&最终检查点

120.容错机制_检查点_保存点介绍

121.容错机制_保存点_打包注意事项&依赖冲突解决

122.容错机制_保存点_触发保存点和恢复作业&切换状态后端

123.容错机制_保存点_从保存的checkpoint恢复作业

124.容错机制_状态一致性

125.容错机制_端到端精确一次_总体要求

126.容错机制_端到端精确一次_输入端保证&输出端保证

127.容错机制_端到端精确一次_输出端保证_事务_两阶段提交

128.容错机制_Flink与kafka的精确一次_全流程总结

129.容错机制_Flink与Kafka的精确一次_编码演示

130.容错机制_Flink与Kafka的精确一次_下游消费者的隔离级别

131.FlinkSQL_sql-client准备

132.FlinkSQL_流处理中的表_动态表和持续查询

133.FlinkSQL_流处理中的表_流转动态表&持续查询类型

134.FlinkSQL_流处理中的表_将动态表转换为流

135.FlinkSQL_时间属性

136.FlinkSQL_DDL_数据库

137.FlinkSQL_DDL_建表语法

138.FlinkSQL_DDL_建表&其他表操作

139.FlinkSQL_查询_准备表&显示模式演示

140.FlinkSQL_查询_简单的查询

141.FlinkSQL_查询_分组聚合案例&watermark写法

142.FlinkSQL_查询_分组聚合_多维分析

143.FlinkSQL_查询_分组窗口聚合

144.FlinkSQL_查询_窗口表值函数(TVF)聚合

145.FlinkSQL_查询_Over聚合

146.FlinkSQL_查询_特殊语法_TopN

147.FlinkSQL_查询_特殊语法_Deduplication去重

148.FlinkSQL_查询_Join查询_regular join

149.FlinkSQL_查询_Join查询_interval join

150.FlinkSQL_查询_Join查询_Lookup Join

151.FlinkSQL_查询_Order By与limit&SQL Hints

152.FlinkSQL_查询_集合操作

153.FlinkSQL_查询_系统函数

154.FlinkSQL_查询_Module操作

155.FlinkSQL_Connector_Kafka_使用介绍

156.FlinkSQL_Connector_Kafka_读写演示

157.FlinkSQL_Connector_Kafka_Upsert演示

158.FlinkSQL_Connector_File_演示&依赖问题解决

159.FlinkSQL_Connector_JDBC_MySQL&jar包版本问题

160.FlinkSQL_sql-client中使用savepoint&reset的bug

161.FlinkSQL_Catalog_简介&类型

162.FlinkSQL_Catalog_JdbcCatalog

163.FlinkSQL_Catalog_HiveCatalog

164.FlinkSQL_代码中使用FlinkSQL和TableAPI

165.FlinkSQL_表和流的转换

166.FlinkSQL_自定义函数_标量函数

167.FlinkSQL_自定义函数_表函数

168.FlinkSQL_自定义函数_聚合函数

169.FlinkSQL_自定义函数_表聚合函数