【金猿产品展】CKettle——通用组态式大数据交换平台
重庆通信建设产品
大数据产业创新服务媒体
——聚焦数据 · 改变商业
CKettle是一款跨平台、高效、稳定且易扩展的数据交换平台,由中国通服工业互联网(大数据)研究院在Kettle社区版的基础上二次开发而来,是一套国产化、代码可控的数据ETL方案,丰富的插件支持主动采集数据库、互联网、文件等各种来源的数据,也可通过发布Rest接口实时被动收集数据,支持丰富的数据清洗转换方式和各种格式的数据输出,插件商店支持在线搜索、查看、安装与卸载,提供了流程式界面设计器,轻松方便的实现数据交换过程的定制。围绕CKettle,团队还打造了其专属的全方位交流学习生态圈,拥有专职技术人员提供专业支持,具备论坛、Q群多渠道实时交流,具备文档或视频多方式生动教学。
上线短短几月CKettle已通过了统信UOS、华为鲲鹏桌面云V8、中科方德高可信服务器操作系统V4.0及方德桌面操作系统V3.1等多方兼容性认证,在国产化的道路上稳步前进,未来可期。
面向人群:对数据清洗、数据转换等数据处理操作有需求的个人或政企用户。
应用场景:个人用户可应用CKettle作为ETL工具辅助工作生活中的数据处理,帮助提升工作效率;政企用户可依靠CKettle的定制开发搭建专属数据处理平台,提升全企工作效率,推动企业高速发展。
CKettle拥有丰富的插件,提供Cassandra、ElasticSearch等新兴大数据库插件,提供邮件收发,SSH远程控制,日志读写,数据流阻塞、追加、中止,数据仓库,各类数据库批量加载等基础插件,支持主动采集数据库、互联网、文件等各种来源的数据,支持通过发布Rest接口实时被动收集数据,支持丰富的数据清洗转换方式和各种格式的数据输出;拥有插件商店版块,支持在线搜索、查看、安装与卸载,提供了流程式界面设计器,轻松方便的实现数据交换过程的定制。
新增重点工具CKettle-Hotpot,实现了对CKettle的调度与监控,通过节点管理、资源库管理、任务调度、运行监控四大模块,结合Web图形界面,改善了对服务器节点、Carte节点的管理,扩展了文件资源库的功能,开发了强大灵活的定时控制任务调度功能,同时以仪表盘展现形式保障了对各种节点及任务的运行监控,具备任务执行过程的在线分析功能。
CKettle产品以Kettle8.0为基础二次开发而来,针对Kettle进行了汉化和功能增加等,更适用于国内政企的数据处理场景。相较开源Kettle而言,CKettle更快、更小、更准,通过细节的功能打磨使得更便于国内政企使用,同时提供开源软件不具备的专业维护环境,打造了全方位的交流学习生态圈,提供专业技术人员通过文档、视频、实时答疑等方式帮助用户学习了解CKettle以及提供更针对性的定制化开发功能。
对比目前目前国内已面世的几款ETL工具,例如HaoheDI, DataPipeline, 金蝶AETL等,他们均未做与国产系统的适配兼容性,也未面向互联网用户开发和推广,而CKettle在上线不足四个月的时间内就已经通过了统信UOS、华为鲲鹏桌面云V8、中科方德高可信服务器操作系统V4.0及方德桌面操作系统V3.1等多方兼容性认证,完成了与国内几大重要系统的适配兼容,未来可以依靠这些国产服务器或操作桌面系统完成更灵活、便捷的数据ETL方案开发。
2020年度重要代表性客户名称:重庆市经济和信息化委员会。CKettle通用组态式大数据交换平台联合公司通服数聚大数据平台,完成了重庆市经济和信息化委员会牵头的重庆市工业经济大数据平台建设,成功助力重庆工业经济的高质量发展。该项目也经历了中央巡视组、重庆市副市长、全市经信体系、发改委等多层级领导莅临视察,获得一致好评。
在同重要政企合作的同时,CKettle也全面面向互联网用户进行了开放,CKettle 2.0版本经过平台化和国产化的一系列改进完善后,结合互联网上的初步推广,到目前为止(2020年11月30日)平台已经有约766位用户注册、工具下载次数共计13953次,日均访问量约有1000次,社区与技术交流群活跃度表现较好。
CKettle的面世,为国内政企用户提供了更易到达和维护的、符合国内生产环境的数据ETL处理方案,同时面向互联网个人用户提供了学习运用ETL工具到生活生产中的机会,有利于所有CKettle用户提升对数据的处理效率从而提升政企或个人的经济价值,十分有利于推动我国社会数字经济的发展。