Last updated 1 month ago
Recurve 的 数据管道(Data pipeline) 模块让您能够高效编排数据工作流。您无需手动运行模型来获取结果,而是可以通过定义管道来自动化整个数据转换过程。你可以基于数据管道创建定期运行的调度任务、查看模型之间的依赖关系,并实时监控任务运行的状态。
在 Recurve 中,数据管道是另一种资产类型,可以包含多个模型。创建数据管道时,Recurve 会自动通过数据血缘推导查询模型之间的关系,并以 DAG(有向无环图)的形式进行可视化。
数据管道 模块当前支持以下功能:
建模管道:从数据模型创建管道。
任务:配置数据流任务,并安排从数据管道中运行。