浅试嵌入式SQL OLAP数据库DuckDB

SIGMOD2019《DuckDB: an Embeddable Analytical Database》论文的发表，让DuckDB闪亮登场，大家都对DuckDB的性能充满期待。2024年6月，DuckDB 1.0.0正式发布。
DuckDB官网：https://duckdb.org/
DuckDB官方文档：https://duckdb.org/docs/

测试资源

古董级服务器：2013年服役的ProLiant DL360p Gen8（40 cores，64GB memory，2TB 15k disk）
测试数据样本：100GB csv文件，10亿条记录
DuckDB：1.0，duckdb_cli-linux-amd64.zip

DuckDB部署非常简单，这里不赘述。

测试数据加载

DuckDB支持内存表和持久化表，这里选择持久化建表：

duckdb kuru.duckdb

1.0.0 1f98600c2c
Enter ".help" for usage hints.

D .databases

kuru: kuru.duckdb

创建表nfactt

D pragma table_info('nfactt');


| cid  | name          | type      | notnull | dflt_value | pk    |
| ---- | ------------- | --------- | ------- | ---------- | ----- |
| 0    | stamp_updated | TIMESTAMP | false   |            | false |
| 1    | as_src        | INTEGER   | false   |            | false |
| 2    | as_dst        | INTEGER   | false   |            | false |
| 3    | peer_ip_src   | VARCHAR   | false   |            | false |
| 4    | iface_in      | INTEGER   | false   |            | false |
| 5    | iface_out     | INTEGER   | false   |            | false |
| 6    | ip_src        | VARCHAR   | false   |            | false |
| 7    | ip_dst        | VARCHAR   | false   |            | false |
| 8    | port_src      | INTEGER   | false   |            | false |
| 9    | port_dst      | INTEGER   | false   |            | false |
| 10   | tcp_flags     | INTEGER   | false   |            | false |
| 11   | ip_proto      | VARCHAR   | false   |            | false |
| 12   | tos           | INTEGER   | false   |            | false |
| 13   | packets       | INTEGER   | false   |            | false |
| 14   | bytes         | INTEGER   | false   |            | false |
| 15   | name          | VARCHAR   | false   |            | false |

导入数据：

D copy nfactt from '/u02/dkdata/nfactt.csv';

100% ▕████████████████████████████████████████████████████████████▏ 
Run Time (s): real 998.345 user 3220.218268 sys 354.933654

D select count(*) from nfactt;


| count_star() |
| ------------ |
| 994402440    |

Run Time (s): real 0.464 user 2.151956 sys 4.860086

聚合查询：

D select ip_src,count(*),sum(bytes) from nfactt group by ip_src order by 2 desc limit 10;

100% ▕████████████████████████████████████████████████████████████▏ 
Run Time (s): real 2.237 user 84.409786 sys 1.688792

image-20240620142129696.png

直读CSV查询

D SELECT ip_src,count(*),sum(bytes) FROM read_csv('/u02/dkdata/nfactt.csv',
columns = {
'stamp_updated':'timestamp',
'as_src':'int',
'as_dst':'int',
'peer_ip_src':'varchar',
'iface_in':'int',
'iface_out':'int',
'ip_src':'varchar',
'ip_dst':'varchar',
'port_src':'int',
'port_dst':'int',
'tcp_flags':'int',
'ip_proto':'varchar',
'tos':'int',
'packets':'int',
'bytes':'int',
'name':'varchar'
}) group by ip_src order by 3 desc limit 10;

100% ▕████████████████████████████████████████████████████████████▏ 
Run Time (s): real 562.154 user 758.016378 sys 147.565841