Skip to content

Latest commit

 

History

History
126 lines (81 loc) · 2.07 KB

dorisbatch-sink.md

File metadata and controls

126 lines (81 loc) · 2.07 KB
Raw

Doris batch Sink

一、介绍

Doris batch Sink插件支持向Doris数据库写入数据

二、支持版本

Doris 0.14.x

三、插件名称

Sync dorisbatchsink、dorisbatchwriter
SQL

四、插件参数

1.Sync

  • feNodes
    • 描述：连接Doris的Fe Nodes 地址
    • 必选：是
    • 字段类型：List
      • 示例：
"feNodes": ["127.0.0.1:8030"]
  • 默认值：无

  • table
    • 描述：目的表的表名称。目前只支持配置单个表，后续会支持多表
    • 必选：是
    • 字段类型：List
    • 默认值：无

  • database
    • 描述：写入Doris的库名
    • 必选：是
    • 字段类型：String
    • 默认值：无

  • username
    • 描述：数据源的用户名
    • 必选：是
    • 字段类型：String
    • 默认值：无

  • password
    • 描述：数据源指定用户名的密码
    • 必选：是
    • 字段类型：String
    • 默认值：无

  • column
    • 描述：目的表需要写入数据的字段,字段之间用英文逗号分隔。例如: "column": ["id","name","age"]
    • 必选：是
    • 字段类型：List
    • 默认值：无

  • fieldDelimiter
    • 描述：写入Doris数值的字段分隔符
    • 必选：否
    • 字段类型：String
    • 默认值：\t

  • lineDelimiter
    • 描述：写入Doris数值的行分隔符
    • 必选：否
    • 字段类型：String
    • 默认值：\n

  • loadProperties
    • 描述：针对Doris写入任务的系统参数，主要是针对Doris的特定配置
    • 必选：否
    • 字段类型：Object
    • 默认值：无

  • batchSize
    • 描述：批量写入Doris的数据量大小
    • 必选：否
    • 字段类型：int
    • 默认值：1000

2.SQL

五、数据类型

支持 BOOLEAN、TINYINT、SMALLINT、INT、BIGINT、LARGEINT、FLOAT、DOUBLE、DECIMAL、DATE、DATETIME、CHAR、VARCHAR、STRING

六、脚本示例

见项目内**chunjun-examples**文件夹。