当前位置: 首页 > news >正文

Dinky,让 Flink SQL 纵享丝滑

大家好,我是脚丫先生

流批一体,越来越流行了,牛逼一体

之前用java封装flink-sql-client提交脚本文件,很是摩擦。

不过,在研发流批一体平台的时候发现了Dinky,终于丝滑了。

今天就给小伙伴们推荐下低调但实力强大的Dinky!功能强大,解放自己

Dinky

基于 Apache Flink 二次开发,无侵入,开箱即用实时即未来,批流为一体。

用好Dinky,无限丝滑。

官方网站

官方有着详细的使用教程,并且已经开源了。

最重要的是可以加入交流群,随时问作者(比较耐心的一个大佬)。

Dinky平台

搭建Dinky,跟着官方搭建教程一步一操作,比较简单。

作为FlinSQL实时计算平台,其核心功能:

  • 支持 Flink 原生语法、连接器、UDF 等: 几乎零成本将 Flink 作业迁移至 Dinky。
  • 增强 FlinkSQL 语法: 表值聚合函数、全局变量、CDC多源合并、执行环境、语句合并、共享会话等。
    支持 Flink 多版本: 支持作为多版本 FlinkSQL Server 的能力以及 OpenApi。
  • 支持外部数据源的 DB SQL 操作: 如 ClickHouse、Doris、Hive、Mysql、Oracle、Phoenix、PostgreSql、SqlServer 等。
  • 支持实时任务运维: 作业上线下线、作业信息、集群信息、作业快照、异常信息、作业日志、数据地图、即席查询、历史版本、报警记录等。

更多的功能,小伙伴们去官网一目了然。

Dinky二次开发感受

源码

下载源码直接导入idea即可,和普通的导入工程没差别。

用java开发的Dinky,非常友好,这么卷的java,现在谁不会。

  • 用Dinky做流批平台时候,以它作为后端,只需要根据需求,重新开发前端即可。

看源码的日子,总是很累的。(看别人的代码脑壳痛)

必须看懂,因为Flink实在很流行

不过最大的感受就是,学会了关于Flink的很多知识,看明白了作者如何封装的。

单纯的看源码总是很累的,只有在实际工作中,需要去改造功能,在去看源码,效率很高,也不枯燥。

自研平台

目前正在进行离线模块的开发,调度有点难顶。

之前打算用熟悉的Airflow,但是发现小海豚挺流行的,自己也想学习学习,就安排上了。

平台中实时流模块,在之后打算集成Dinky源码,让平台的功能更加完善和强大。

祝各位终有所成,收获满满!

相关文章:

  • Docker | docker容器导出以及常见问题的处理
  • 【node进阶】深度解析之Express框架入门
  • 【重温Linux】一、Ubuntu系统一些常识性的东西(这节持续更新)
  • mysql group_concat 与 union 联合查询漏洞,数据列最大长度为341
  • ISO27001认证需要准备什么资料?
  • 腾讯研究成果登 Nature 子刊:scBERT 攻克单细胞测序数据分析痛点
  • Vue2和Vue3的区别——实例创建、响应式数据代理、v-for和v-if优先级、生命周期
  • 跑步装备推荐:2022年跑步装备选购清单
  • 【云原生之Docker实战】使用Docker部署Pichome个人相册系统
  • Docker部署go项目
  • 软件测试秋招技术面试(面经)
  • CSS进阶篇——伪类 (pseudo classes)
  • 【面试题】面试官: Vue如何实现权限管理?
  • Linux常用操作汇总:内容有点杂,但很实用
  • 机器学习基础:统计量与抽样分布
  • 002-读书笔记-JavaScript高级程序设计 在HTML中使用JavaScript
  • Android 初级面试者拾遗(前台界面篇)之 Activity 和 Fragment
  • docker python 配置
  • eclipse(luna)创建web工程
  • Flannel解读
  • Idea+maven+scala构建包并在spark on yarn 运行
  • LeetCode算法系列_0891_子序列宽度之和
  • mac修复ab及siege安装
  • Phpstorm怎样批量删除空行?
  • Python 基础起步 (十) 什么叫函数?
  • Python学习笔记 字符串拼接
  • REST架构的思考
  • WebSocket使用
  • 阿里中间件开源组件:Sentinel 0.2.0正式发布
  • 个人博客开发系列:评论功能之GitHub账号OAuth授权
  • 如何解决微信端直接跳WAP端
  • 实习面试笔记
  • 数据结构java版之冒泡排序及优化
  • 新海诚画集[秒速5センチメートル:樱花抄·春]
  • # Panda3d 碰撞检测系统介绍
  • #我与Java虚拟机的故事#连载16:打开Java世界大门的钥匙
  • (3)(3.2) MAVLink2数据包签名(安全)
  • (Arcgis)Python编程批量将HDF5文件转换为TIFF格式并应用地理转换和投影信息
  • (笔记)Kotlin——Android封装ViewBinding之二 优化
  • (附源码)springboot学生选课系统 毕业设计 612555
  • (论文阅读22/100)Learning a Deep Compact Image Representation for Visual Tracking
  • (完整代码)R语言中利用SVM-RFE机器学习算法筛选关键因子
  • (一)基于IDEA的JAVA基础10
  • (原創) 物件導向與老子思想 (OO)
  • *1 计算机基础和操作系统基础及几大协议
  • .java 指数平滑_转载:二次指数平滑法求预测值的Java代码
  • .NET 服务 ServiceController
  • .sys文件乱码_python vscode输出乱码
  • @Repository 注解
  • @WebServiceClient注解,wsdlLocation 可配置
  • [ element-ui:table ] 设置table中某些行数据禁止被选中,通过selectable 定义方法解决
  • [ 英语 ] 马斯克抱水槽“入主”推特总部中那句 Let that sink in 到底是什么梗?
  • [20171106]配置客户端连接注意.txt
  • [AI]文心一言出圈的同时,NLP处理下的ChatGPT-4.5最新资讯
  • [Android]通过PhoneLookup读取所有电话号码