简介#

作业调度的两个主要功能:A. 把任务根据依赖关系依次执⾏。B. 定时执⾏。主要包含三级资源概念: Workspace(作业空间),Job(作业)与Task(任务)。⼀个Workspace可以有多个Job,这些Job可 以以多层级的Folder⽴体化组织起来,⼀个Job包含多个Task。 Task(任务)是最⼩的执⾏单位,每个任务都是独⽴可执⾏的,⽬前⽀持的任务类型有脚本任务 (shell、python、SQL),数据同步任务,AI相关任务。Job(作业)是最基本的组织单位及执⾏单 位,Job包含了若⼲Task以及它们之间的依赖,⼀个Job的每次执⾏都会形成⼀个Job的实例,当然Task 也⼀样。

作业调度平台还扩展⽀持⽂本的⼀些管理编辑操作。我们将⽤户的⽂本也视作⼀种资源,这种资源也可 以融合进上述的⽴体资源体系并被管理起来。管理起来的⽂本可以被随时在线编辑,适时保存历史版本 版本。

image

概念及约束#

Job Workspace(作业空间),Job(作业)与Task(任务)是作业调度的所有组织运⾏所依 托的基本概念。使⽤时需要遵循⼀些基本约束: ⼀个Job只能属于⼀个作业空间,同⼀个Job内不能有同名Task,同⼀个Job的Task根据依 赖必须组成⼀个或者多个有向⽆环图(DAG)。

Job, Task实例是每次执⾏产⽣的具体对象。Job的每⼀次执⾏,都会⽣成⼀个Job实例,⼀个Job实例包含若⼲task实例。

限制与最佳实践#

如果以画布的形式编辑作业,当画布中(作业或者任务组)的任务数过多的时候(超过100个),渲染会比较慢,编辑任务也不方便,这种情况下,最佳实践是:灵活使用任务组与作业引用 这两个功能,两者都可以把一个拥有很多任务的作业根据业务逻辑,划分为一个一个独立的模块(任务组或者作业),每一个模块在父作业中都是以一个节点的形式存在 这样即可清晰的梳理业务的逻辑(模块化编程),也可以减轻画布的渲染压力。 当然,您也可以用任务列表的模式去编辑作业与任务。

前端UI对浏览器的版本有如下限制:

浏览器

建议版本

最低版本

Chrome

>100

61

Edge

>100

79

Firefox

>100

60

Safari

>14

11

Opera

>70

48

IE

不支持

不支持