图形化作业调度管理软件

I 产品背景

        图形化作业调度管理软件针对传统数据仓库与新兴分布式平台两类场景, 提供了离线作业批处理与源文件的综合管控功能; 并且通过模块化的设计, 可以针对不同客户方的具体情况自定义底层接口, 几乎可以适应绝大多数场景下的作业与文件统一管理需求。

I 产品内容

       图形化作业调度管理软件的设计思想是将多个应用系统所涉及的所有作业,看作一个集合,设定各个作业间的依存关系,优先级别等信息。调度系统将会根据这些设定,在设定的最大线程数下,分开不同的批处理阶段(将类似的作业归总一起就形成了批处理阶段)并发轮询处理各个阶段下的所有作业,实现了充分利用线程资源,从而加快总体ETL处理时间。结合图形化技术, 系统还提供了作业与文件的上下游关系图谱,让作业与文件的依赖关系以及日常管理更加人性化; 同时, 由于支持多种C/S沟通协议(SSH/HTTP), 可以适应更多的生产环境.。

作业调度设计界面

I 产品功能

  • 适配传统数据仓库与大数据分布式场景
    • 指定范围内的所有作业均由一个统一的接口处理
    • 相关功能接口如: 文件等待、数据装载、应用加工可以分别指定不同接口程序并且支持逻辑自定义
    • 调度相关日常操作全面图形化,表格化与参数化
    • 提供文件入库7x24服务;文件入库与作业批处理服务, 两者是松耦合关系
    • 通过设定作业间的依存关系, 调度系统能自动识别每个作业的运行条件并判断该条件是否符合.这也是调度系统进行作业调度最终原则
    • 设定依存关系, 数据文件先到先跑,后到后跑,充分利用时间窗口
    • 设定的作业间依赖关系,作业失败可以定义是否影响后续作业运行
    • 每个作业都归属一个作业阶段
    • 同一批处理阶段内, 并发调度多个作业以充分利用操作系统的资源
    • 针对大数据环境下的批处理作业优化了日志采集与显示
  • 简明的图形化关系说明和人性化参数填充降低了调度操作的复杂性
    • 提供作业/文件上下游关系图谱功能; 让依存关系的展示更人性化
    • 作业/文件的变更会提醒下游作业的影响,确认操作
    • 界面提供多种调度日常操作入口: 调度服务启停; 作业暂停与恢复; 作业重置等等
    • 界面同时也提供调度系统参数表的维护功能(仅开放给管理员)
  • 客户端与服务器的通讯更加安全
    • 客户端与调度服务器之间的沟通同时支持SSH/HTTP协议, 可以适应更多的生产场景;譬如: 避免暴露SSH端口造成高风险操作

I 产品特性

  • 适配传统数据仓库与大数据分布式场景
  • 文件入库服务与作业调度服务解耦令文件入库不再依赖批处理切日,极大提高源文件管理效能
  • 并发控制下放到作业组粒度令并发更加灵活
  • 图形化操作界面特别是作业和文件均提供上下游关系图谱,极大简化上下游依存关系的复杂性
  • 客户端与调度服务器之间支持多种沟通协议可适应更多的生产场景,同时也让数据沟通更安全

 

数据业务化软件


产品拥有快速且持续的数据集成能力,灵活的数据试错能力,数据分析与桌面计算能力,强大的数据检验能力,具有安全、开放与高度可定制性。