Shell/Bash 脚本进阶(个人笔记)

实习期间有一位大佬同事,坐在我旁边每天轻轻松松,经常在聊微信不干活,但每周汇报还是非常凸显工作量,老板也经常夸他工作效率高。
这位大佬曾说过,一个程序员的bash脚本写的好不好,决定了他每天是6点准时下班还是加班到11点以后。
在本人努力学习了一段时间bash后,总算有一点理解了,之前很多复杂的文件操作、一些算法的setting验证还有工具链,都是开一个python脚本去写流程,代码的很辛苦,很多操作还不得不python内部调简单bash再调python,导致程序嵌套复杂且冗长,可读性极差,也难以修改。
bash最大的一个优势就是可以直接调用Linux中大量好用命令行工具,而且写工具链的时候可以直接切换不同工具的环境;一些算法setting验证或者批量任务的并行提交可以轻松实现。个人在渐渐掌握一些bash用法后,每天的下班时间也确实提前了一点~~~
本文是学习bash过程中一些知识点的个人笔记,最后希望所有程序员都能学好bash,每天6点下班。

1、有没有必要设置解释器?#!/bin/bash

看到别人的bash脚本,第一句往往是这个

#!/bin/bash

‘#!称为蛇棒,后续的/bin/bash是指定这个脚本的解释器。但是一些偷懒的人会发现,脚本就算不加这句也能正常运行,于是写脚本的时候就一直没写这句。
我就是这么一个偷懒的人,因此引发了一次bug,浪费了很多时间才找到原因:如果不指定解释器,脚本会自动选择系统中的dash解释器,相当于把开头补充成

#!/bin/dash

这个dash有个比较大的问题,就是不能执行source 命令,于是我但是写工具链时发现环境总是切换不过来,后来指定了bash就好了。

2 ./与 source 运行sh脚本的区别:
这两个语句其实功能非常相似,都能运行一个bash脚本,甚至一些老程序员都完全没注意到两者的区别,但是一些情况下混用会导致一些问题发生,举例说明,首先尝试用./启动脚本

$ echo ‘a=b’ > test.sh   #建立脚本,内容为定义变量a=b
$ chmod +x ./test.sh    #赋予可执行权限
$ ./test.sh            #./启动脚本
$ echo $a            #结果没有任何输出

因为./运行,相当于新建了一个shell运行此脚本,运行完了就关闭此shell,那么定义的变量a也将同时被释放。为了能在当前shell环境中定义变量,应当用source 命令.

$ source ./test.sh
$ echo $a
b         #可见输出确实显示在了屏幕上,变量a得到了定义

3、数学运算符号
有时候需要在bash中使用数字运算,常用的运算符号有三种(()),let,expr,区别应该不大,可以根据习惯选择,我一般习惯用let,比较符合直觉

$ let “a=1+1”
$ echo $a
2

4、保存command的输出
很多时候,我们会想直接使用一些command的执行结果,但是在bash里直接运行这个command,只会把结果打印到屏幕上,此时可以用$(command)就能把command的输出赋值到变量了(给命令加上单引号也能实现一样功能)。

$ list_dir1=$(ls)
$ list_dir2=’ls’
$ echo $list_dir1
$ echo $list_dir2

#就能看到文件夹下执行ls的结果被赋值给list_dir变量了

5 if 判断条件
通常bash中写if语句的格式是

if <expression>
then
 <command>
else
 <command>
fi

if的语法没啥好讲的,重点也不是这个,if比较恶心的是他的expression判断条件和通常的编程语言里不太一样,比如说判断一个变量是否等于某个整数,会用 -eq(equal),而不是=(用于字符串),很多新人想学bash往往就被这里劝退,一看别人脚本满篇的 -ge -le -e -d等,一脸懵逼。
不过这块其实并没有难度,可以写一个表记录一下每个的含义,需要的时候拿出来看一下就好。下面列表转载自http://blog.51cto.com/lovelace/1211353

    -eq 测试两个整数是否相等
    -ne 测试两个整数是否不等
    -gt 测试一个数是否大于另一个数
    -lt 测试一个数是否小于另一个数
    -ge 大于或等于
    -le 小于或等于

-z string 测试指定字符是否为空,空着真,非空为假
     -n string 测试指定字符串是否为不空,空为假 非空为真
    -e FILE 测试文件是否存在
    -f file 测试文件是否为普通文件
    -d file 测试指定路径是否为目录
    -r file 测试文件对当前用户是否可读
    -w file 测试文件对当前用户是否可写
    -x file 测试文件对当前用户是都可执行
    -z  是否为空  为空则为真
    -a  是否不空
 

6 for循环
bash里通常用的是for循环,基本结构如下

for a in <range>
do
 <command>
done

主要要注意的点在于,range的简易写法。比如python想写0,1,2,3... n-1,可以直接range(n).
bash也有类似的用法 {0..n-1}

$ echo {0 .. 4}
0  1  2  3  4

for i in {0..4}
do
  echo”testing ${i}” 
 #补充知识,双引号的内容,echo会尝试解释里面的变量,单引号则会原样地print出来
done
testing 0
testing 1
testing 2
testing 3
testing 4

习惯了C语言的人,而不习惯用python里range的人,也有对应写法

for ((i=0;i<=4;i++))

7、调试——异常退出
bash脚本默认情况是不方便调试的,因为即使中间某句发生了错误也会一直执行后面的语句。
我本人在写工具链时就深有体会,中间某个环节的工具运行发生bug,导致这一步输出异常,然而脚本不会停下来,会继续执行后续的工具。然而中间步骤输出异常,就会导致工具链后面一连串的处理发生异常。
这在服务器端进行开发是及其致命的,因为服务器上的tmux 是无法上下翻动页面的,这样一大串的报错就导致我看不到具体是哪一步发生问题。
后面知道了-e执行脚本后才总算解决了这个问题,在某一步报错后就会停止脚本。

sh test.sh -e
#或者在脚本里面加入set -e,效果一样

如果工具链太长了,我想知道屏幕上的输出是哪个语句产生的,那么可以用-x执行

sh test.sh -x
#或者在脚本里面加入set -x,效果一样
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 202,723评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,080评论 2 379
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,604评论 0 335
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,440评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,431评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,499评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,893评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,541评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,751评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,547评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,619评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,320评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,890评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,896评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,137评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,796评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,335评论 2 342

推荐阅读更多精彩内容

  • 官网 中文版本 好的网站 Content-type: text/htmlBASH Section: User ...
    不排版阅读 4,359评论 0 5
  • 第 2 章 SHELL 基础知识2.1 shell脚本我们在上面简单介绍了一下什么是shell脚本,现在我们来进一...
    LiWei_9e4b阅读 1,551评论 0 0
  • 本文全面系统地介绍了shell脚本调试技术,包括使用echo, tee, trap等命令输出关键信息,跟踪变量的值...
    liuzg0734阅读 887评论 0 14
  • 简介 shell 是类 UNIX 系统的外壳,使用 shell 用于实现人机交互的目的,我们通过它可以与内核之间进...
    noparkinghere阅读 752评论 0 1
  • 一. 前言 shell编程在unix/linux世界中使用得非常广泛,熟练掌握shell编程也是成为一名优秀的un...
    比轩阅读 346评论 0 1