linux 三剑客,处理文本文件三个强大的命令。awk 处理格式文本非常有效率;sed 通过逐行遍历文件,能有效完成文件查找和修改;grep 通过正则表达式匹配,实现文件的模式查找。
awk
https://www.runoob.com/linux/linux-comm-awk.html
可以根据文件指定分隔符,像处理表格一样处理文本或序列。通常来处理字段,并基于字段进行过滤,或进行模式匹配。
语法
awk [选项参数] 'script' var=value file(s)
或
awk [选项参数] -f scriptfile var=value file(s)
常用的内建变量
NF
:记录的字段数
NR
:记录的行号
OFS
:输出字段分隔符,默认值与输入字段分隔符一致。
ORS
:输出记录分隔符(默认值是一个换行符)
$n
:当前记录的第n个字段,字段间由FS分隔
$0
:完整的输入记录
ARGV
:包含命令行参数的数组
ARGC
:命令行参数的数目
基本用法
案例一
输出字段1,4
awk '{print $1,$4}' log.txt
案例二
指定分隔符
awk -F, '{print $1,$2}' log.txt
案例三
设置变量
awk -va=1 '{print $1,$1+a}' log.txt
案例四
执行awk 脚本
awk -f {awk脚本} {文件名}
其他案例
awk '$1==2 {print $1,$3}' log.txt #命令
awk '$1>2 && $2=="Are" {print $1,$2,$3}' log.txt #命令
awk '$2 ~ /th/ {print $2,$4}' log.txt # 正则表达式匹配
awk '/re/ ' log.txt
awk '!/th/ {print $2,$4}' log.txt
awk 脚本
关于 awk 脚本,我们需要注意两个关键词 BEGIN 和 END。
BEGIN{ 这里面放的是执行前的语句 }
END {这里面放的是处理完所有的行后要执行的语句 }
{这里面放的是处理每一行时要执行的语句
ls -l *.txt | awk '{sum+=$5} END {print sum}'
以上的应用案例基本包括了常用的awk 的常用用法,更复杂的文本处理则可以通过awk 脚本完成。
sed
https://www.runoob.com/linux/linux-comm-sed.html
与awk 相比,sed在处理文本的行具有更好的效率。
基本语法
sed [-hnV][-e<script>][-f<script文件>][文本文件]
参数说明
- -e<script> 或 --expression=<script> 以选项中指定的script来处理输入的文本文件。
- -f<script文件> 或--file=<script文件> 以选项中指定的script文件来处理输入的文本文件。
- -n或--quiet或--silent 仅显示script处理后的结果。
sed 文件处理命令
包括增加、删除、打印、替换行的内容
- a :新增, a 的后面可以接字串,而这些字串会在新的一行出现(目前的下一行)~
- c :取代, c 的后面可以接字串,这些字串可以取代 n1,n2 之间的行!
- d :删除,因为是删除啊,所以 d 后面通常不接任何咚咚;
- i :插入, i 的后面可以接字串,而这些字串会在新的一行出现(目前的上一行);
- p :打印,亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行~
- s :取代,可以直接进行取代的工作哩!通常这个 s 的动作可以搭配正规表示法!例如 1,20s/old/new/g 就是啦!
应用案例
- 案例一
sed -e 4a\newline testfile #使用sed 在第四行后添加新字符串
nl /etc/passwd | sed '2a drink tea' ## 第二行末尾添加内容。nl 显示行号。
nl /etc/passwd | sed '2i drink tea' # 第二行前添加内容
nl /etc/passwd | sed '2a Drink tea or ......
drink beer ?' \ # 在第二行后面加入两行字,'\'符号
案例二
nl /etc/passwd | sed '2,5d'
案例三
将第2-5行的内容取代成为『No 2-5 number』
nl /etc/passwd | sed '2,5c No 2-5 number'
- 案例四
-n 只打印包含模式匹配的行。
nl /etc/passwd | sed -n '/root/p'
- 其他
nl /etc/passwd | sed '/root/d'
nl /etc/passwd | sed -n '/root/{s/bash/blueshell/;p;q}'
/sbin/ifconfig eth0 | grep 'inet addr' | sed 's/^.*addr://g' ## 替换
nl /etc/passwd | sed -e '3,$d' -e 's/bash/blueshell/' # 多点编辑
sed -i 's/\.$/\!/g' regular_express.txt # 直接修改命令
以上的案例表明,sed 的一些操作可以放在行的末尾,或者放在模式匹配的末尾,或者在大括号内以分号分隔,或者通过-e 命令,实现多点编辑。
grep
https://www.runoob.com/linux/linux-comm-grep.html
grep 查找文件里符合条件的字符串。
语法
grep [-abcEFGhHilLnqrsvVwxy][-A<显示行数>][-B<显示列数>][-C<显示列数>][-d<进行动作>][-e<范本样式>][-f<范本文件>][--help][范本样式][文件或目录...]
应用案例
grep "被查找的字符串" 文件名
grep test *file # 在当前目录中,查找后缀有 file 字样的文件中包含 test 字符串的文件
grep -v test *test* #查找文件名中包含 test 的文件中不包含test 的行,此时,使用的命令为
grep –e "正则表达式" 文件名
grep 除了可以查找单个文件中匹配的模式,也可以在目录中包含特定字符的文件查找匹配模式的行。