大数据图形化作业调度软件

754 2022-04-28 13:52

主要功能

______

       大数据图形化作业调度软件的设计思想是将多个应用系统所涉及的所有作业,看作一个集合,设定各个作业间的依存关系,优先级别等信息。ETL调度系统将会根据这些设定,在设定的最大线程数下,分开不同的批处理阶段(将类似的作业归总一起就形成了批处理阶段)并发轮询处理各个阶段下的所有作业,实现了充分利用线程资源,从而加快总体ETL处理时间。结合图形化技术, 系统还提供了作业与文件的上下游关系图谱,让作业与文件的依赖关系以及日常管理更加人性化。

 

技术特点

_____

 

  • 适配传统数据仓库与大数据分布式场景
  • 文件入库服务与作业调度服务解耦,令文件入库不再依赖批处理切日,提高源文件管理效能并发控制下放到作业组粒度令并发更加灵活
  • 图形化界面与上下游关系图谱增加作业依存关系可读性
  • 支持多种沟通协议,适应多种场景,使数据沟通更安全

 

全部评论

·