|
2023年12月9日，FlinkForwardAsia2023（以下简称FFA）在北京圆满结束。70+演讲议题、30+一线大厂技术与实践分享，以及座无虚席的现场，无一不昭示着重回线下的FFA的行业号召力。 借用ApacheFlink中文社区发起人、ApachePaimonPPMCMember、阿里云智能开源大数据平台负责人王峰的话来说：“经过近十年的发展，Flink已然成为了流式计算的事实标准。” 当然，对于社区开发者而言，这次大会上带来的流计算的新趋势、新实践与新进展或许才是关注的重点。 Flink两大版本更新，深入场景、精益求精 过去十年，随着大数据、物联网和实时分析等需求的日益增长，传统的批量处理和静态分析方法无法满足新型数据处理场景下的高效、实时的要求，流计算的概念由此出现。流计算具有实时性强、处理实时数据流等能力，使得系统能够更加及时地响应和分析从大规模设备、传感器以及其他数据源产生的数据。ApacheFlink开始崭露头角，并且凭借其出色的性能和灵活性在全球范围内赢得了众多企业和开发者的青睐。 发布会上，王峰表示：“Flink作为开源大数据领域的一棵常青树，一直保持着快速的发展，根本原因是我们在核心技术领域的不断演进。2023年我们同样取得了一些新的进展，依然保持一年两个大版本的发布，包括Flink1.17和1.18，也产生了很多新的贡献者。” “在核心的流处理领域内，整体总结就是精益求精。”王峰提到。事实上，从技术层面来看，当前Flink已经成为了全球流计算领域的标杆，所以2023年Flink把版本更新的重点放到了深入场景、持续打磨上。比如持续完善Flink在批处理模式下的性能问题、功能完善性问题等，让Flink成为一款对有限数据集和无限数据集都能统一处理的计算引擎。 具体来说，在用户最关注且使用最多的开发语言——FlinkSQL方面，Flink团队进行了数百项调整或优化。比如，今年社区推出了一项新的功能特性——PlanAdvice，它可以帮助用户智能检查流式SQL。PlanAdvice会在用户编写完流式SQL后，自动检查SQL可能存在的问题或风险，并第一时间给出提示和可行的建议。目前这项功能受到了用户的热烈欢迎。 在StreamingRuntime也就是真正的Streaming核心架构上，今年同样做出了较大的升级。“Flink最大的特点是面向状态计算，自带状态存储和状态访问能力，因此状态管理、State管理、Checkpoint、快照管理等都是Flink非常核心的部分，也是用户有很强诉求的部分。虽然Flink定期会做全局一致性快照，但用户希望快照频率越快越好，且代价越小越好，可行的思路是让系统在出现容错的时候，尽量少的数据回放，比如做到秒级的Checkpoint。”王峰表示。经过一年的努力，通用的增量Checkpoint能力在Flink1.17和1.18成功落地，并且达到了一个完全生产可用的状态。
|
