智远科技
0431-84331044
jlzhiyuan#163.com

DATACANAL产品介绍

所属栏目:DATACANAL | 作者:智远科技
一、产品简介
1.1什么是Datacanal
Datacanal是一个分布式、易扩展、可视化任务调度平台,提供图形任务编排、定时调度和分布式批量处理等功能。可以在Web系统中编排流程,用流程方式进行任务调度和数据传递。通过定时调度或API调用任务的方式进行任务处理和数据传递。分布式编程模型可以将大量数据分发到多台机器上并行执行。其致力于解决数据处理流程中错综复杂的逻辑关系和处理技术,使调度系统在数据处理流程中开箱即用。同时Datacanal也是数据迁移同步工具,帮助企业快速构建高质量、高可用、高灵动的数据流通通道。


1.2适用场景
数据迁移:将指定数据源的数据完整无损的或按条件传输到目标数据源中,支持多种数据源,具备数据转换、数据校验、速度控制、合理切分、并行写入、数据条件过滤等特点,满足业务数据平滑切换需求。
集群运维:集群内节点同时执行运维命令,如清理集群日志、上报机器状态等,满足运维需要。
分布计算:分布式处理,如计算大量数据,单机执行耗时非常长,可以使用MapReduce处理器完成任务的分发处理,调动整个集群加速计算。
业务异构:有N个现已正式运行的业务系统,数据库不统一,需要把各个业务系统的某些业务数据进行整合,处理后结果传输到一个或某几个业务系统上,也可对外开放接口提供融合业务数据服务。
逻辑处理:某些业务需求或数据处理可能会随时发生变化的业务逻辑在线编排。

1.3产品功能
可视化任务编排:把"任务"做为最小单位按照业务需要进行编排,任务之间有先后顺序,任务的流转执行有业务判断分支循环等,每个“任务”输入数据是前一个环节的输出数据,数据在各个任务中流转。编排之后能形成一个基于任务单元的自动化处理模型。
丰富任务环节:具有多种任务环节,例如脚本、shell、kettle、sql脚本等,每类任务的功能不同。
分布式计算:可以将大量数据分发到各个worker上分布处理,然后合并。
定时调度:根据中文或cron表达式进行设置某个模型的调度规则。

1.4产品优势
简单易用:可以通过非常简单的可视化界面拖拽操作构建数据处理流程。通过API与第三方系统集成。实时监视运行状态。
性能强劲:分布式任务处理,发挥多台计算机合作性能。
高可靠性:去中心化多Master多Worker服务,可随时横向扩展。
开放平等:对于数据源的支持,秉承中立的原则,让用户自由选择、搭配风险。不强绑定任何数据产品、平台、体系,平等支持各中数据环境。
逐步全面:开发团队逐步添加各种计算节点,丰富功能,提高完整性,使其更加全面。

二、技术特性

2.1产品技术架构




三、Datacanal简单使用事例


最新信息

微信扫码联系我

微信扫码联系我

全国统一客服电话 0431-84331044
地址 吉林省长春市高新区修正服务外包大厦1307室
邮箱 jlzhiyuan#163.com