如何解决 shell 脚本重复执行的问题

image

在开发过程中,经常会使用shell脚本去完成定时备份的任务,普遍的做法是通过系统的定时任务定时执行备份脚本

设想这样一种场景,本次备份时间到了,自动执行备份脚本,如果备份比较耗时的话,会一直持续到下一次备份时间到了还未结束,下次备份又会自动调用备份脚本,相当于同一时间有两个进程在执行备份脚本,这可能会导致备份数据错乱或其他不可预知的问题

更进一步,假如执行备份脚本消耗的时间远大于设置的备份间隔的话,系统会出现多个同时在执行脚本的Bash实例,会占用大量的系统资源,进而影响正常业务程序的运行

那如何解决上述shell脚本重复执行的问题呢,本文将要介绍的 flock 命令可以解决这个问题

简介

flock 是文件锁命令,它可以保证Linux系统上进程之间安全的访问临界资源,在shell脚本中,可以用来控制逻辑的互斥性

实例1

现有脚本 a.sh, 内容如下

#!/bin/bash

echo "[`date +'%Y-%m-%d %H:%M:%S'`] begin pid:$$..."

sleep 10

echo "[`date +'%Y-%m-%d %H:%M:%S'`] end pid:$$..."

在终端(记为终端1)中执行 flock -xn ./f.lock -c ./a.sh 命令,结果如下

[tt@ecs-centos-7 lock_test]$ flock -xn ./f.lock -c ./a.sh 
[2020-12-10 10:10:45] begin pid:5359...
[2020-12-10 10:10:55] end pid:5359...

在上述命令执行期间,打开另一个终端(记为终端2),执行同样的命令,结果如下

[tt@ecs-centos-7 lock_test]$ flock -xn ./f.lock -c ./a.sh 
[tt@ecs-centos-7 lock_test]$ 

上面的命令 flock -xn ./f.lock -c ./a.sh

-x 选项是排他锁,有时候也称为写锁,这是默认选项

-n 选项是非阻塞,如果无法获取锁,立即返回失败,而不是一直等待锁的释放

-c 选项后面是待执行的命令

终端1 中执行 flock -xn ./f.lock -c ./a.sh命令,对 f.lock 文件加锁,同时执行 ./a.sh 命令,执行过程会持续10秒左右( sleep 10 语句 )

由于终端2 中 flock -xn ./f.lock -c ./a.sh命令是在 终端1 命令执行期间执行的,此时终端1 还未释放 f.lock文件锁,再加上 -n选项是非阻塞的,所以终端2 不会阻塞等待 f.lock 文件锁,而是立即返回

终端2 如果执行 flock -x ./f.lock -c ./a.sh 命令,会一直阻塞等待,直到 终端1 释放 f.lock 文件锁,它才会获取到 f.lock文件锁并开始执 ./a.sh 命令

实例2

实例1 中每次都需要执行 flock -xn 文件锁 -c ./a.sh 命令,而且每个不能重复执行的脚本都要分配一个文件锁,还得保证不同的脚本得使用不同名字的文件锁

有没有办法做到只要执行 ./a.sh 命令就可以实现 实例1 中的功能呢?

答案:有的

我们把 a.sh 稍微修改下,修改之后的内容如下

  1 #!/bin/bash
  2 
  3 
  4 echo "[`date +'%Y-%m-%d %H:%M:%S'`] 1111 pid:$$...MY_LOCK:${MY_LOCK}"
  5 
  6 [ "${MY_LOCK}" != "$0" ] && exec env MY_LOCK="$0" flock -xn "$0" "$0" "$@"
  7 
  8 echo "[`date +'%Y-%m-%d %H:%M:%S'`] begin pid:$$...MY_LOCK:${MY_LOCK}"
  9 
 10 sleep 10
 11 
 12 echo "[`date +'%Y-%m-%d %H:%M:%S'`] end pid:$$..."

终端1 执行 ./a.sh 命令,输出如下

[tt@ecs-centos-7 lock_test]$ ./a.sh
[2020-12-10 14:11:35] 1111 pid:5944...MY_LOCK:
[2020-12-10 14:11:35] 1111 pid:5946...MY_LOCK:./a.sh
[2020-12-10 14:11:35] begin pid:5946...MY_LOCK:./a.sh
[2020-12-10 14:11:45] end pid:5946...

在终端1 命令执行期间,终端2 执行 ./a.sh命令,输出如下

[tt@ecs-centos-7 lock_test]$ ./a.sh
[2020-12-10 14:11:44] 1111 pid:5976...MY_LOCK:
[2020-12-10 14:11:44]

新的 a.sh 脚本相比原来新增了第 4、6 两行

第 4 行是日志打印

第 6 行说明

$0 是脚本名字,这里的值是 ./a.sh

$@ 是传入 a.sh 脚本的所有参数

exec 会在当前进程执行它后面紧接着的命令,当前脚本进程原来还未执行完的命令不会执行了

[ "${MY_LOCK}" != "$0" ] 是判断 MY_LOCK 环境变量是否和脚本名字( a.sh ) 相同

如果不同,就执行 env MY_LOCK="$0" 命令 和flock -xn "$0" "$0" "$@" 命令

env MY_LOCK="$0" 设置环境变量 MY_LOCK 的值为脚本名字

flock -xn "$0" "$0" "$@" 其实就是 flock -xn ./a.sh ./a.sh,它使用当前脚本名字作为文件锁

实例2 中,执行 ./a.sh 命令之后,当运行到第 6 行时,MY_LOCK 变量是空值,所以 [ "${MY_LOCK}" != "$0" ] 的结果为 true

exec 命令会忽略掉后面未执行的命令,也即在当前shell进程中 第 6 行之后的命令都不会执行了

紧接着, exec env MY_LOCK="$0" flock -xn "$0" "$0" "$@" 命令, 把 MY_LOCK 变量的值设置为当前脚本名字 ./a.sh ,同时执行 flock -xn "$0" "$0" "$@" 命令,此命令会在一个新的子shell中执行 ./a.sh ,所以脚本后续的输出中打印的进程ID和开始时不一样

同时,由于在 flock -xn "$0" "$0" "$@" 之前执行过 env MY_LOCK="$0",MY_LOCK 变量的值被设置为了 ./a.sh, 所以 flock -xn "$0" "$0" "$@" 命令重新执行 ./a.sh 命令时, 脚本第 6 行的 [ "${MY_LOCK}" != "$0" ] 的结果为 false, 第 6 行 exec 后面的命令不会执行,脚本接着从第 7 行一直执行到最后, 结果输出 8 和 12 行的日志也说明脚本执行完了

总结

实例1 和 实例2 提供了两种解决 脚本重复执行的 方式,主要都是利用 flock 命令设置文件锁来实现的,实例2 的方式更简单,只需要在脚本开头加上 [ "${MY_LOCK}" != "$0" ] && exec env MY_LOCK="$0" flock -xn "$0" "$0" "$@" 语句,调用脚本的命令保持不变

更多关于 flock 命令的选项及用法可以通过 man flock 自行查看

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,324评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,303评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,192评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,555评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,569评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,566评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,927评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,583评论 0 257
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,827评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,590评论 2 320
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,669评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,365评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,941评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,928评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,159评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,880评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,399评论 2 342

推荐阅读更多精彩内容