Kafka-upsert 任务创建指南#

本章节介绍如何创建抽取 Kafka 数据，按照 CSV/JSON 格式解析后 upsert 到 OushuDB 的任务。

前提#

  1. 已添加 Kafka 数据源，保证数据源的连通性。

  2. 已添加 OushuDB 数据源，保证数据源的连通性，访问用户有必要权限。

任务创建流程#

  1. 创建元数据
    在数据源模块编辑已添加的 Kafka 数据源，添加元数据。元数据的创建和管理，详情请见数据源使用手册中的“元数据管理”章节

    image

  2. 选择数据源
    接着选择模式，这里我们选择 upsert 模式 测试连接通过后进入到下一步选择处理对象

    image

  3. 选择处理对象
    这里每个 topic 对应一个元数据，选中 topic 后需要选择不同类型的元数据，这里支持 JSON 和 CSV 类型的元数据。

    img.png 值得注意的是：对于 CSV 元数据，需要填写分隔符

  4. 选择数据目标
    选择一个 OushuDB 数据目标。

    image

  5. 配置列映射
    在这里，您可以指定某个元数据对应的表要导入到某张目标表，是否是已有表/自动建表等，如果是自动建表需要手动配置主键。 点击“列映射”可以配置源表到目标表的列对应关系、名称、主键、类型等。 详情请见使用指南中的“创建任务-列映射”章节。

至此，一个从 Kafka 抽取，按照 CSV/JSON 格式解析后，upsert 导入到 OushuDB 的数据集成任务就创建完成了。

返回 使用指南#