5. 创建数据管道和调度任务
Last updated
Last updated
在将模型创建和优化完成后,可以创建一个数据管道,并创建任务来调度工作流的执行。这确保了每次运行时转换的可复现性和可靠性。
在从模型创建管道之前,您需要先发布模型。打开每个模型,并按照以下步骤操作:
在右上角,点击 发布/ Publish。
填写版本号和描述。
对于第一次发布,我们将保持默认设置。
点击发布/ Publish。
数据模型现在已准备好,可以继续创建数据建模管道。
请按照以下步骤操作:
切换到 数据管道/Pipelines 标签页。
点击 + 图标,选择 创建建模管道/Creating modeling pipeline。
为您的数据管道提供名称。
选择该数据管道应包含的数据模型。
此处,我们添加在前一步设置的三个模型。
点击确认/ Confirm。
新建的建模管道将被添加到 模型/ Models 文件夹下,并在 DAG 视图中展示。
点击发布/ Publish。
数据管道创建并发布后,您可以创建任务来调度执行时间。请按照以下步骤操作:
打开您创建的数据管道。
切换到 调度/Jobs 标签页,点击 创建调度/Create a job。
填写任务配置。
填写名称、选择目标环境,并自定义关联的模型变量。
由于我们已经通过控制台执行并验证了模型,现在可以选择 生产环境 来在生产数据库上运行数据清洗流程。
点击创建/ Create。
新任务将显示在 调度/Jobs 部分,Recurve 将在预定时间执行该任务。
您可以在 数据管道健康 中查看任务的执行状态和进度。
恭喜!您已经完成了使用 Recurve 构建数据工作流的过程。
下一步,您可以详细探索每个功能和模块: