SelectDB(Doris)

• 数据获取（Dump）：✅ 已支持

• 数据加载（Load）： ✅ 已支持

从 SelectDB(Doris) 获取数据

1. 创建一个高级管道（Advanced pipeline）

2. 点击“添加节点”，选择“Transfer Operator”

3. 在右侧表单中，Dump 部分 “Task Type” 选择 “DBAPIDumpTask”

4. 从已添加的项目连接源中选择 SelectDB(Doris) 数据源

更多配置项详见 从数据库获取数据

将数据加载到 SelectDB(Doris)

在“Transfer Operator”的表单中，Load 部分 “Task Type” 选择 “DorisLoadTask”. 系统内部使用 Doris 的 Stream Load 进行高效导入。

配置项如下：

Doris 连接

• 从项目已添加的连接源中选择 Doris/SelectDB 类型的目标数据库

• 需要先在【项目设置-数据连接源】中添加数据库，详见 项目连接管理

目标表

• 目标表名称

建表 SQL

• 目标表建表语句，若该表已存在可以不写建表语句

• 参考 Doris 的建表语句语法

加载模式

• OVERWRITE：

  • 覆盖模式，新的数据会将目标表的数据覆盖掉

• MERGE：

  • 合并模式，会根据主键字段将新数据与目标表数据进行合并

  • 主键：当选择 MERGE 模式时，需填写主键字段，用于数据去重。可填写一个或多个字段名，通常是主键或唯一键

• APPEND：

  • 追加模式，新数据会完整的插入到目标表中

启用严格模式

• 如果选择开启，则在加载数据之前，会验证数据是否匹配目标表结构。如果验证失败，则抛出错误。