Doris 数据的导入导出（学习笔记）

• Doris 数据的导入导出（学习笔记）
  • 使用 Insert 方式同步数据
  • 导入本地数据
  • curl的一些可配置的参数

使用 Insert 方式同步数据

用户可以通过 MySQL 协议，使用 INSERT 语句进行数据导入。
INSERT 语句的使用方式和 MySQL 等数据库中 INSERT 语句的使用方式类似。 INSERT 语句支持以下两种语法：

* INSERT INTO table SELECT ...
* INSERT INTO table VALUES(...)

对于 Doris 来说，一个 INSERT 命令就是一个完整的导入事务。
因此不论是导入一条数据，还是多条数据，我们都不建议在生产环境使用这种方式进行数据导入。高频次的 INSERT 操作会导致在存储层产生大量的小文件，会严重影响系统性能。
该方式仅用于线下简单测试或低频少量的操作。
或者可以使用以下方式进行批量的插入操作：

INSERT INTO example_tbl VALUES
(1000, "baidu1", 3.25)
(2000, "baidu2", 4.25)
(3000, "baidu3", 5.25);

导入本地数据

Stream Load 用于将本地文件导入到doris中。Stream Load 是通过 HTTP 协议与 Doris 进行连接交互的。
该方式中涉及 HOST:PORT 都是对应的HTTP 协议端口。
BE 的 HTTP 协议端口，默认为 8040。
FE 的 HTTP 协议端口，默认为 8030。

但须保证客户端所在机器网络能够联通FE, BE 所在机器。
基本原理：

drop table if exists load_local_file_test;
CREATE TABLE IF NOT EXISTS test.load_local_file_test
(
    id INT,
    name VARCHAR(50),
    age TINYINT
)
unique key(id)
DISTRIBUTED BY HASH(id) BUCKETS 3
PROPERTIES
(
    "replication_num" = "1"
);

创建一个loadfile.txt的记事本文件，写入如下数据：

1,zss,28
2,lss,28
3,ww,88

导入数据
执行 curl 命令导入本地文件：

# 语法示例
 curl \
 -u user:passwd \  # 账号密码
 -H "label:load_local_file_test" \  # 本次任务的唯一标识
 -T 文件地址 \
 http://主机名:端口号/api/库名/表名/_stream_load
curl -u root: -H "label:load_local_file" -H "column_separator:," -T "C:\Users\bob.he\OneDrive - Oerlikon Group\Desktop\project\Doris\loadfile.txt" http://127.0.0.1:8040/api/test/load_local_file_test/_stream_load

curl的一些可配置的参数

这里我们做个简单的示范，首先创建一个json.txt的json数据，数据如下：

{"id":1,"name":"zs","age":18}
{"id":2,"name":"lisi","age":18}
{"id":3,"name":"ww","age":18}
{"id":4,"name":"zl","age":18}
{"id":5,"name":"tq","age":18}

然后我们举个例子，使用 root 用户和空密码，将本地 JSON 文件（json.txt）导入到 Doris 数据库中，设置了任务标签为 load_local_file_json_20221126，列名为 id、name、age，允许最多 10% 的数据被过滤，超时时间为 1000 秒，只导入 id 大于 1 的数据，数据格式为 JSON，逐行读取 JSON 文件，并在导入时删除旧数据。

curl -u root: -H "label:load_local_file_json_20221126" -H "columns:id,name,age" -H "max_filter_ratio:0.1" -H "timeout:1000" -H "where:id>1" -H "format:json" -H "read_json_by_line:true" -H "merge_type:delete" -T "C:\Users\bob.he\OneDrive - Oerlikon Group\Desktop\project\Doris\json.txt" http://127.0.0.1:8040/api/test/load_local_file_test/_stream_load

我们发现只有1条数据了，原因是我们导入的数据id大于1的数据，所以id为1的在原来的数据中不受影响。
但是在2和3本身就存在数据了所以由于冲突直接删除数据，4和5数据并没有添加。
如果我们希望添加就直接将merge_type改成append，当冲突时会进行追加的，然后将label改成改一下：

curl -u root: -H "label:load_local_file_json_20221128" -H "columns:id,name,age" -H "max_filter_ratio:0.1" -H "timeout:1000" -H "where:id>1" -H "format:json" -H "read_json_by_line:true" -H "merge_type:append" -T "C:\Users\bob.he\OneDrive - Oerlikon Group\Desktop\project\Doris\json.txt" http://127.0.0.1:8040/api/test/load_local_file_test/_stream_load

{"id":1,"name":"zs","age":18}
{"id":2,"name":"lisi","age":18}
{"id":3,"name":"ww","age":19}
{"id":4,"name":"zl","age":19}
{"id":5,"name":"tq","age":19}

然后我们使用MERGE的类型，并且当冲突时删除id=3的数据。
执行命令如下：

curl -u root: -H "label:load_local_file_json_20221129" -H "columns:id,name,age" -H "max_filter_ratio:0.1" -H "timeout:1000" -H "where:id>1" -H "format:json" -H "read_json_by_line:true" -H "merge_type:MERGE"  -H "delete:id=3" -T "C:\Users\bob.he\OneDrive - Oerlikon Group\Desktop\project\Doris\json.txt" http://127.0.0.1:8040/api/test/load_local_file_test/_stream_load