总结 - 缓存省时也费时

rsync

磁盘空间都去哪了儿,df -h 与 df -i

邮箱一直提醒查收新邮件,打开阅读全是服务器缓存刷新异常通知,千篇一律皆为 redis 快照保存至磁盘失败。

MISCONF Redis is configured to save RDB snapshots, but is currently not able to
persist on disk. Commands that may modify the data set are disabled. Please check
Redis logs for details about the error.

命令行 ssh 登录服务器后台,.bash_profile 级别的命令就执行报错:

rbenv-init: line 134: cannot create temp file for here-document

查看磁盘使用情况,显示仍有空间虽不大但像 redis/rbenv 占用几十兆的空间不至于报错。

$ df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/xvda1       40G   35G    5G 87.5% /

网上查询资料学到了新技能,没有今天的问题场景相信未来我也不会对该命令感兴趣。刚认为系统还有 5G 的可用磁盘空间,再使用该命令查询直接显示磁盘被爆。

$ df -i
Filesystem      Inodes   IUsed   IFree IUse% Mounted on
/dev/xvda1     2621440 2621440       0  100% /

man df 查看参数列表,直奔主题,描述文字里生词不多就是没理解顺畅。

-h "Human-readable" output. Use unit suffixes: Byte, Kilobyte, Megabyte, Giga-
byte, Terabyte and Petabyte in order to reduce the number of digits to three
or less using base 2 for sizes. (二进制,2^10)

-H "Human-readable" output. Use unit suffixes: Byte, Kilobyte, Megabyte, Giga-
byte, Terabyte and Petabyte in order to reduce the number of digits to three
or less using base 10 for sizes.(十进制,10^3)

-i Include statistics on the number of free inodes. This option is now the
default to conform to Version 3 of the Single UNIX Specification (``SUSv3'')
Use -P to suppress this output.

inode 是什么?unix/linux 文件系统中文件储存在硬盘上,硬盘的最小存储单位叫做 "扇区";多个扇区组成的 "块",是文件存取的最小单位;文件数据都储存在 "块" 中,还需地方储存文件的元信息,比如文件的创建者、创建日期、大小等,这种储存文件元信息的区域就叫做 inode,译为 "索引节点"。

当前问题是 inode 已经耗完,但硬盘还未存满,此时就无法在硬盘上继续创建新文件。

# 使用一句话说出自己的特点
df -h # 大文件占用大量的磁盘空间
df -i # 大量的文件占用大量的 inode 号

该服务器为测试环境,内存、磁盘空间配置太低,但跑的数据与正式环境相同,缓存数据爆盘理所当然,清理部分数据保证功能测试顺畅即可,没想到删除缓存文件花费我近半日时光!

海量文件删到日落西山, rm -fr 与 rsync

缓存的是门店商品近半月销售数据,商品条形码与门店ID 多对多关系,缓存文件名称格式为: 条形码_门店ID.json,缓存文件数量三百多万(数据库查询),占磁盘空间 11G 。

这么多缓存文件在同一文件夹下拥挤着,心想快刀斩乱麻清空所有缓存文件再清理数据库数据后重新生成,没想到 rm -fr 命令回车后就石投大海没有一点扬起水花的迹象,top 查看到 cpu 狂飙。网上查询,再次确认自己所待的井太深,看到的云彩太淡。

在海量文件面前 rm ls du 都显得苍白无力,这些命令本质都需要遍历,文件列表长度直接溢出。

黑猫白猫善逮老鼠的是好猫,来学习下备份命令 rsync:

$ rsync src dest
当 src 和 dest 文件性质不一致时报错
当 src 和 dest 性质都为文件【f】时,清空文件内容而非删除文件
当 src 和 dest 性质都为目录【d】时,删除该目录下的所有文件,使其变为空目录

将空文件夹备份至待删除的文件夹,最终待删除的文件夹被覆盖成空文件夹,变相的执行了删除操作。

$ mkdir empty/
$ rsync --delete-before -d empty/ /project/cache/
$ rm -fr empty/

不得不说,网友屡试不爽的经验并非让我欣喜,速度依然很慢,最后放弃捷径任由它慢慢执行。

如何避免无能为力的场景,约横构纵

安静的命令终端背后是服务器内存/cpu 的高速运转,闭目养神的同时思考如何避免这种被动场景。

文件数量大是相对缓存文件夹的,怎么样才能分解文件数量压力?拆成多个文件夹,如果单个文件夹下文件数量依然过大,则继续拆,穷尽下去。

门店ID 正是拆解文件数量的切入点,缓存生成逻辑仅修改生成路径可忽略变动影响,更容易查询、计算、删除。约束了文件列表的宽度,增加了文件夹的深度。

大数据小细节

很遗憾的是在网联网、技术书籍中张嘴闭口谈大数据的时代里我仅过手了百万级的数据。即使这样,依然有很多细节需要注意,注意的事项就是不要记录的太细,要暴力,理解了数据的意义。

分享几点处理商品条形码数据缓存问题时的感触:

  • 缓存是为了提高访问效率,若每次都不加判断的全部重新生成就太低效,若每条都 redis 记录时间戳则太费内存,利弊取舍后,按主键排序单次取 10000 笔依次平移,记录单次数据的最大时间戳。几百万行缓存只占 redis 几百条记录而已。
  • API 访问时,旧逻辑会通过 Model 层判断数据实例是否存在,数据量大时响应效率直线下降。暴力解决,API 访问参数拼出缓存文件路径,存在则直接读取,否则响应默认值,数据过旧时怎么办?缓存数据里写有更新时间,客户端展示时会显示,以此判断服务器是否及时更新。

深感时间管理不当,读书太少,心智太幼稚,总是在磕绊之后才知道哪里有坑。有更佳实践方案的童鞋欢迎留言评论。

参考

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,670评论 5 460
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,928评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,926评论 0 320
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,238评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,112评论 4 356
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,138评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,545评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,232评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,496评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,596评论 2 310
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,369评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,226评论 3 313
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,600评论 3 299
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,906评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,185评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,516评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,721评论 2 335

推荐阅读更多精彩内容