Redis 终结者?性能是Redis25倍的Dragonfly内存数据库!

Dragonfly是一种针对现代应用程序负荷需求而构建的内存数据库,在多线程、Shared-nothing 架构之上实现了全新的算法和数据结构,单实例支持百万 QPS。完全兼容Redis和Memcached的 API,迁移时无需修改任何代码。相比于这些传统的内存数据库,Dragonfly提供了其25倍的吞吐量,高缓存命中率和低尾延迟,同时Dragonfly还能轻松进行垂直扩展。
近日正式发布了 1.0 版本,开发团队称已支持在生产环境使用,他们针对四个关键领域 —— 性能、扩展性、效率和可靠性投入了大量的开发资源。

基准测试

Dragonfly在c6gn.16xlarge上达到了每秒380万个查询(QPS),相比于Redis,吞吐量提高了25倍。

在Dragonfly的峰值吞吐量下,P99延迟如下:

op r6g c6gn c7g
set 0.8ms 1ms 1ms
get 0.9ms 0.9ms 0.8ms
setex 0.9ms 1.1ms 1.3ms

所有基准测试均使用memtier_benchmark(见下文),根据服务器类型和实例类型调整线程数。memtier运行在独立的c6gn.16xlarge机器上。对于setex基准测试,我们使用了500的到期范围,以便其能够存活直到测试结束。

  memtier_benchmark --ratio ... -t <threads> -c 30 -n 200000 --distinct-client-seed -d 256 \
     --expiry-range=...

当以管道模式运行,并设置参数--pipeline=30时,Dragonfly可以实现10M qps的SET操作和 15M qps的GET操作。

Memcached / Dragonfly

我们在 AWS 的 c6gn.16xlarge 实例上比较了 memcached 和 Dragonfly。如下图所示,与 memcached 相比,Dragonfly 的吞吐量在读写两方面上都占据了优势,并且在延迟方面也还不错。对于写入工作,Dragonfly 的延迟更低,这是由于在 memcached 的写入路径上存在竞争(请参见此处)。

SET benchmark

Server QPS(thousands qps) latency 99% 99.9%
Dragonfly 🟩 3844 🟩 0.9ms 🟩 2.4ms
Memcached 806 1.6ms 3.2ms

GET benchmark

Server QPS(thousands qps) latency 99% 99.9%
Dragonfly 🟩 3717 1ms 2.4ms
Memcached 2100 🟩 0.34ms 🟩 0.6ms

对于读取基准测试,Memcached 表现出了更低的延迟,但在吞吐量方面比不上Dragonfly。

内存效率

在接下来的测试中,我们使用 debug populate 5000000 key 1024 命令向 Dragonfly 和 Redis 分别写入了约 5GB 的数据。然后我们使用 memtier 发送更新流量并使用 "bgsave" 命令启动快照。下图清楚地展示了这两个服务器在内存效率方面的表现。

在空闲状态下,Dragonfly 比 Redis 节省约 30% 的内存。 在快照阶段,Dragonfly 也没有显示出任何明显的内存增加。 但同时,Redis 在峰值时的内存几乎达到了 Dragonfly 的 3 倍。 Dragonfly 完成快照也很快,仅在启动后几秒钟内就完成了。 有关 Dragonfly 内存效率的更多信息参见 dashtable 文档

安装使用

使用起来很简单,先下载软件包,目前最新的版本是 v1.1.2
https://github.com/dragonflydb/dragonfly/releases
解压后,linux 环境下直接执行就行,如果报错缺少依赖包,根据提示安装即可。

./dragonfly-x86_64 --logtostderr \
--requirepass=youshallnotpass --cache_mode=true \
-dbnum 1 --bind localhost --port 6379  \
--save_schedule "*:30" --maxmemory=12gb \
--keys_output_limit=12288 --dbfilename dump.rdb

目前,Dragonfly 支持以下 Redis 特定参数:

  • port:Redis 连接端口,默认为 6379。
  • bind:使用本地主机名仅允许本地连接,使用公共 IP 地址允许外部连接到该 IP 地址
  • requirepass:AUTH 认证密码,默认为空""
  • maxmemory:限制数据库使用的最大内存(以字节为单位)。0 表示程序将自动确定其最大内存使用量。默认为 0。
  • dir:默认情况下,dragonfly docker 使用 /data 文件夹进行快照。CLI 使用的是 ""。你可以使用 -v docker 选项将其映射到主机文件夹。
  • dbfilename:保存/加载数据库的文件名。默认为 "dump";

此外,还有 Dragonfly 特定的参数选项:

  • memcache_port:在此端口上启用 memcached 兼容的 API。默认禁用。

  • keys_output_limit:在keys 命令中返回的最大键数。默认为 8192。

    keys 命令是危险命令。我们会截断结果以避免在获取太多key时内存溢出。

  • dbnumselect 支持的最大数据库数。

  • cache_mode:请参见下面的 缓存 部分。

  • hz:键到期评估频率。默认为 100。空闲时,使用较低的频率可以占用较少的 CPU资源,但这会导致清理过期键的速度下降。

  • save_schedule:以UTC 时间规范保存快照,格式: HH:MM(24 小时制时间)。默认为空""

  • primary_port_http_enabled:如果为 true,则允许在主 TCP 端口上访问 http 控制台。默认为 true。

  • admin_port:如果设置,将在指定的端口上启用对控制台的管理访问。支持 HTTP 和 RESP 协议。默认禁用。

  • admin_bind:如果设置,将管理控制台 TCP 连接绑定到给定地址。支持 HTTP 和 RESP 协议。默认为any。

  • cluster_mode:支持集群模式。目前仅支持 emulated。默认为空""

  • cluster_announce_ip:集群模式下向客户端公开的 IP。

添加 systemctl 管理
[Unit]
Description=dragonfly

[Service]
Type = simple
User = root
Group = root
ExecStart=/usr/local/dragonfly/dragonfly-x86_64 --logtostderr --requirepass=youshallnotpass --cache_mode=true -dbnum 1 --bind "*" --port 6379  --save_schedule "*:30" --maxmemory=12gb --keys_output_limit=12288 --dbfilename dump.rdb
ExecStop=/bin/kill $MAINPID
PrivateTmp=true

[Install]
WantedBy=multi-user.target

docker 下只需要

docker run --network=host --ulimit memlock=-1 docker.dragonflydb.io/dragonflydb/dragonfly

docker容器启动后,默认端口6379

Dragonfly实现缓存与 Redis 的 LRU 不同,它可以抵抗近期流量的波动。
不需要像 Redis 中那样的随机抽样或其他近似值, 每个项目的内存开销为零, 具有非常小 O(1)的运行时开销,这是一种新颖的缓存设计方法。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,456评论 5 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,370评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,337评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,583评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,596评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,572评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,936评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,595评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,850评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,601评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,685评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,371评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,951评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,934评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,167评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,636评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,411评论 2 342

推荐阅读更多精彩内容

  • 关于Mongodb的全面总结 MongoDB的内部构造《MongoDB The Definitive Guide》...
    中v中阅读 31,894评论 2 89
  • 什么是 Redis? Redis 是完全开源免费的,遵守BSD协议[https://www.jianshu.com...
    奇点一氪阅读 9,203评论 10 249
  • 使用缓存是系统性能优化的第一黄金法则。 缓存的设计和使用对一个系统的性能至关重要,平时接触到项目无论多少也都会在某...
    刀刃丿阅读 1,327评论 0 6
  • 1.1 资料 ,最好的入门小册子,可以先于一切文档之前看,免费。 作者Antirez的博客,Antirez维护的R...
    JefferyLcm阅读 17,030评论 1 51
  • Redis介绍 Redis是一种高级key-value数据库。它跟memcached类似,不过数据可以持久化,而且...
    FLCode阅读 477评论 0 0