当前位置: 首页 > news >正文

「ETL趋势」FDL数据开发支持版本管理、实时管道支持多对一、数据源新增支持神通

FineDataLink作为一款市场上的顶尖ETL工具,集实时数据同步、ELT/ETL数据处理、数据服务和系统管理于一体的数据集成工具,进行了新的维护迭代。本文把FDL4.1.8最新功能作了介绍方便大家对比:(产品更新详情:4.1.8最新功能体验)

更新功能数据源

神通数据库支持定时读写、管道实时写入和数据服务

定时任务和数据服务适配更高版本lmpala

数据开发

数据开发支持版本管理和版本比对

支持直接向FineBl的公共数据中建表和写入数据

定时任务支持全局动态参数

数据管道管道任务支持多对一同步

一、数据源

1、神通数据库支持定时读写、管道实时写入和数据服务

神通数据库(Shentong Database)是国产高性能关系数据库,支持SQL查询和事务处理,具有高可用性、高安全性和高扩展性,适用于数据仓库、实时处理和大规模并行处理。

从4.1.8版本起,数据开发任务、实时数据管道和数据服务支持神通数据库,从而满足企业的数据集成、治理和分享需求。

数据连接-神通数据库

💠详情:配置神通数据源

2、定时任务和数据服务适配更高版本Impala

Impala是一个分布式、大规模并行处理(MPP)的查询引擎,提供对HDFS和HBase数据的高性能、低延迟的交互式SQL查询功能。它利用内存进行计算,兼顾数据仓库、实时处理、批处理和高并发等优点。

在FineDataLink4.1.8及以上版本中,Impala数据源在4.0.1版本支持2.X版本的基础上,新增支持Impala 3.4、Impala 4.1。

数据连接-Impala配置

💠详情:

二、数据开发

1、数据开发支持版本管理和版本比对

在FDL4.1.8及以上版本中对于定时任务可以进行版本节点信息、任务参数、任务控制的详情查看、版本对比以及回滚。

版本管理

版本比对:各个版本之间、开发环境的任务在发布时可以和生产环境内容进行版本比对,比对内容包括:参数列表、任务控制、画布节点,帮助快速定位版本差异,进行任务调试。

版本比对

💠详情:定时任务版本管理

2、支持直接向FineBI的公共数据中建表和写入数据

在FineDataLink 4.1.8及以后的版本中,经过数据开发ETL处理后的结果,可直接对接FineBI公共数据集自动建表和写入数据,当数据开发的任务调度执行时,触发公共数据集的数据自动更新。

数据开发-输出FineBI公共数据集

💠详情:数据集输出

3、定时任务支持全局动态参数

在数据开发过程中,会存在部分参数例如时间或者是API的token需要被多个任务多次引用的场景,同时当参数发生变化时需要全局同步变化。

在FineDataLink 4.1.8及以上版本中支持全局赋值参数配置,动态参数可来源于数据表、API、文件等。

全局赋值参数配置

💠详情:全局参数-赋值参数

三、数据管道

1、管道任务支持多对一同步

在数据集成时,把相同格式的多个表的数据实时同步到数仓的ODS的一张表中,是数仓搭建的常见场景。在FineDataLink 4.1.8及以上版本中,支持对同一个数据连接下同种、不同模式下的数据表,直接进行合并同步到同一个目标表里,简化了多表实时同步的操作。

数据管道多对一同步分组表检测

💠详情:配置管道任务-选择数据来源

💠产品更新详情:4.1.8更新日志

FineDataLink是一款集实时数据同步、ELT/ETL数据处理、数据服务和系统管理于一体的数据集成工具,可在Windows或Linux环境上单机/集群部署,全程基于B/S浏览器端进行任务开发和任务运维,更多精彩功能,邀您体验,希望能帮您解决企业中数据从任意终端到任意终端的处理和传输问题,让流动的数据更有价值!

更新详情:4.1.8更新日志

功能体验链接

技术文档参考:FineDataLink文档

相关文章:

  • element-plus Transfer 穿梭框半成品
  • 10年铲屎官亲自体验后,告诉你好用的空气净化器排名
  • Kotlin基础——异步和并发
  • Hadoop集群误删数据紧急恢复详细步骤
  • 从云原生视角看 AI 原生应用架构的实践
  • 爬虫cookie是什么意思
  • 助力游戏实现应用内运营闭环,融云游戏社交方案升级!
  • 【信息系统项目管理师知识点速记】组织通用管理:流程管理
  • kerberos HA高可用部署方案详解
  • 【鸿蒙学习笔记】页面和自定义组件生命周期
  • 使用Swoole开发高性能的Web爬虫
  • docker-compose搭建prometheus、grafana
  • React@16.x(43)路由v5.x(8)常见应用场景(5)- 滚动条复位
  • 0702_ARM6
  • 中国民间网络外交组织(CCND)
  • axios请求、和返回数据拦截,统一请求报错提示_012
  • JavaScript设计模式与开发实践系列之策略模式
  • Java读取Properties文件的六种方法
  • JDK9: 集成 Jshell 和 Maven 项目.
  • nginx 配置多 域名 + 多 https
  • TypeScript实现数据结构(一)栈,队列,链表
  • vue+element后台管理系统,从后端获取路由表,并正常渲染
  • 关于使用markdown的方法(引自CSDN教程)
  • 今年的LC3大会没了?
  • 让你成为前端,后端或全栈开发程序员的进阶指南,一门学到老的技术
  • 删除表内多余的重复数据
  • 使用Gradle第一次构建Java程序
  • 使用阿里云发布分布式网站,开发时候应该注意什么?
  • 网络应用优化——时延与带宽
  • 学习笔记DL002:AI、机器学习、表示学习、深度学习,第一次大衰退
  • - 语言经验 - 《c++的高性能内存管理库tcmalloc和jemalloc》
  • 原生Ajax
  • 我们雇佣了一只大猴子...
  • 昨天1024程序员节,我故意写了个死循环~
  • ​MySQL主从复制一致性检测
  • ![CDATA[ ]] 是什么东东
  • #define MODIFY_REG(REG, CLEARMASK, SETMASK)
  • (06)Hive——正则表达式
  • (4)STL算法之比较
  • (bean配置类的注解开发)学习Spring的第十三天
  • (附源码)springboot 智能停车场系统 毕业设计065415
  • (十五)Flask覆写wsgi_app函数实现自定义中间件
  • (一)使用IDEA创建Maven项目和Maven使用入门(配图详解)
  • (转)关于pipe()的详细解析
  • (转)四层和七层负载均衡的区别
  • (转载)(官方)UE4--图像编程----着色器开发
  • . ./ bash dash source 这五种执行shell脚本方式 区别
  • .NET 5.0正式发布,有什么功能特性(翻译)
  • .net core 6 集成和使用 mongodb
  • .NET Windows:删除文件夹后立即判断,有可能依然存在
  • [ 第一章] JavaScript 简史
  • [240607] Jina AI 发布多模态嵌入模型 | PHP 曝新漏洞 | TypeScript 5.5 RC 发布公告
  • [AIGC] Java List接口详解
  • [AIGC] SpringBoot的自动配置解析
  • [Angular] 笔记 9:list/detail 页面以及@Output