如何将 gz 文件通过 local data 导入 OceanBase？

在很多"传统领域"，数据的传输是基于 csv，并且，为了方便，属于同一张表的多个 csv 文件还是打包成 gz 文件进行传输。

当 gz 文件从上游传输到下游后，需要将 gz 中的 csv 数据导入数据库，最直接的方法是：

1. 在客户机解压 gz

2. 编写 local data local infile 命令将解压后的文件按照通配符全部载入服务机上的数据库里

这种方法有一个弊端：解压 gz 文件，既耗费时间，也耗费存储空间。

有没有办法把 gz 文件直接导入到 OceanBase 中呢？我们有两种思路：

方法一、让 OceanBase 识别 gz 文件，支持类似下面的命令：

load data local infile '/home/xiaochu.yh/foo.gz' INTO table test.t1 fields terminated by '|';

这个方案在 OceanBase v4.3.3 中支持

方法二、使用 zcat 动态解压至 Unix 管道，并通过 /dev/stdin直接导入数据到 OceanBase：

zcat  foo.gz | mysql  -h127.1 -P2828 -u myuser -pmypass -Dtest -e "load data local infile '/dev/stdin' INTO table test.t1 fields terminated by '|';"

下面的例子中演示了这种方法。将 1.txt 和 2.txt 打包成 foo.gz，然后导入到数据库 test.t1 表中，效果如下：

[xiaochu.yh]cat 1.txt
1|1
1|1
1|1


[xiaochu.yh]cat 2.txt
2|2
2|2


[xiaochu.yh]gzip -c 1.txt 2.txt > foo.gz


[xiaochu.yh]mysql  -h127.1 -P2828 -u myuser -pmypass -Dtest -e "delete from t1;"


[xiaochu.yh]zcat foo.gz | mysql  -h127.1 -P2828 -u myuser -pmypass -Dtest -e "load data local infile '/dev/stdin' INTO table test.t1 fields terminated by '|';"


[xiaochu.yh]mysql  -h127.1 -P2828 -u myuser -pmypass -Dtest -e "select * from t1;"
c1      c2
1       1
1       1
1       1
2       2
2       2