awk
awk:报告生成器，格式化文本输出
     种类 ；nawk  gawk
     gawk;模式扫描和处理语言
      
awk基本用法
awk变量
awk格式化
awk操作符
awk条件判断
awk循环
awk数组
awk函数
调用系统命令



基本用法
    awk [option] 'program' var=valur file...
          选项     awk语言 变量赋值
    awk [option] -f programfile var=value file...
                    调用脚本
    awk [option] 'BEGIN{ action;...}pattern{ action,...} END{action;...}' file...
     
    awk程序通常由：BEGIN语句块、能够使用模式匹配的通用语句块、END语句块，3个部分

组成；
     
    program通常是被单引号或双引号中

选项：
    -F指明输入时用到的字段分隔符，默认情况下为空白符（一个空白符）
    -v var=value: 自定义变量

awk语言

基本格式：awk [option] 'program' file...
program 有两大块组成；pattern模式(如正则)、action行为动作


pattern{action statements;..}
pattern部分决定动作语句何时触发及触发事件
BEGIN刚开时还没有执行要执行的命令时，先执行BEGIN语句，打印输出（如打印报表），
END 最后使用，如（统计学员成绩总和，最后汇总值）


action statements 对数据进行处理，放在{}内指明
print打印输出 ,printf打印输出并支持格式化，（如左对齐...）

分隔符

        行切为列

        row    行  ---   record 记录
        column 列，字段---   field 域 属性 
       
       一行为一条记录，一般换行符行分割，特定        时
        也可以用符号分割，
       
       -F：  $0所有域 $1字段  $2   $3
            （系统自带变量）

        record 记录

第一步：执行BEGIN{action;… } 语句块中的语句
  第二步：从文件或标准输入(stdin) 读取一行，然后执行pattern{
action;… } 语句块，它逐行扫描文件，从第一行到最后一行重复这
个过程，直到文件全部被读取完毕。
  第三步：当读至输入流末尾时，执行END{action;…} 语句块
 BEGIN 语句块在awk 开始从输入流中读取行之前被执行，这是一个
可选的语句块，比如变量初始化、打印输出表格的表头等语句通常
可以写在BEGIN 语句块中
 END 语句块在awk 从输入流中读取完所有的行之后即被执行，比如
打印所有行的分析结果这类信息汇总都是在END 语句块中完成，它
也是一个可选语句块
 pattern 语句块中的通用命令是最重要的部分，也是可选的。如果
没有提供pattern 语句块，则默认执行{ print } ，即打印每一个读取
到的行，awk读取的每一行都会执行该语句块


print 格式：print item1, item2, ...
  要点：
• (1)  逗号分隔符
• (2)  输出的各item 可以字符串，也可以是数值；当前记录的字段、
变量或awk 的表达式
• (3)  如省略item ，相当于print $0
  示例：
awk '{print "hello,awk"}' （awk读取标准输入）不显示只有随意打出内容
awk –F: '{print}' /etc/passwd
awk –F: ‘{print “wang”}’ /etc/passwd
awk –F: ‘{print $1}’ /etc/passwd
awk –F: ‘{print $0}’ /etc/passwd
awk –F: ‘{print $1”\t”$3}’ /etc/passwd
tail –3 /etc/fstab |awk ‘{print $2,$4}’

变量

变量：内 置 和自定义变量
 FS ：输入字段分隔符，默认为空白字符
awk -v FS=':' '{print $1,FS,$3}’ /etc/passwd
awk –F: '{print $1,$3,$7}’ /etc/passwd
 OFS ：输出字段分隔符，默认为空白字符
awk -v FS=‘:’ -v OFS=‘:’ '{print $1,$3,$7}’ /etc/passwd
 RS ：输入记录分隔符，指定输入时的换行符，原换行符仍有效
awk -v RS=' ' ‘{print }’ /etc/passwd
 ORS ：输出记录分隔符，输出时用指定符号代替换行符
awk -v RS=' ' -v ORS='###'‘{print }’ /etc/passwd
 NF ：字段数量
awk -F： ： ‘{print NF}’ /etc/fstab, 引用内置变量不用$
awk -F: '{print $(NF-1)}' /etc/passwd
 NR ：行号
awk '{print NR}' /etc/fstab ; awk END'{print NR}' /etc/fstab ; awk END'{print 

NR}' /etc/fstab

 FNR ：各文件分别计数, 行号
awk '{print FNR}' /etc/fstab /etc/inittab
 FILENAME ：当前文件名
awk '{print FILENAME}’ /etc/fstab
 ARGC ：命令行参数的个数
awk '{print ARGC}’ /etc/fstab /etc/inittab
awk ‘BEGIN {print ARGC}’ /etc/fstab /etc/inittab
 ARGV ：数组，保存的是命令行所给定的各参数
awk ‘BEGIN {print ARGV[0]}’ /etc/fstab
/etc/inittab
awk ‘BEGIN {print ARGV[1]}’ /etc/fstab
/etc/inittab

自定义变量
自定义 变量( 区分 字符大小写)
(1) -v var=value
(2)  在program 中直接定义
  示例：
awk -v test='hello gawk' '{print test}' /etc/fstab
awk -v test='hello gawk' 'BEGIN{print test}'
awk 'BEGIN{test="hello,gawk";print test}'
awk –F:‘{sex=“male”;print $1,sex,age;age=18}’
/etc/passwd
cat awkscript
{print script,$1,$2}
awk -F: -f awkscript script=“awk” /etc/passwd

############################################# ###基本使用方法###
 
 查看awk类型；
[root@centos6 ~]#which awk
/bin/awk
[root@centos6 ~]#ll /bin/awk
lrwxrwxrwx. 1 root root 4 May 17 07:59 /bin/awk -> gawk

[root@centos6 ~]#awk '{print "hello,awk"}'
asd
hello,awk
111
hello,awk
^C----action选项动作执行判断语句，将随意输入内容时才执行print "hello,awk"
[root@centos6 ~]#awk 'BEGIN{print "hello,awk"}'
hello,awk 
 BEGIN 读取文件内容之前执行，BEGIN语句执行后满足action条件，所以输出print 

"hello,awk"

[root@centos6 ~]#awk -F: '{print $1}' /etc/passwd

root
bin
daemon
adm
lp
sync
shutdown
halt
mail
uucp
打印第一列；$0--表示所有列，$1....$n对应列数；
[root@centos6 ~]#awk -F: '{print $1"---"$2}' /etc/passwd 
---
root---x
bin---x
daemon---x
adm---x
lp---x
sync---x
shutdown---x
halt---x
mail---x
uucp---x
除特殊符号外，普通字符需加双引号；
 
[root@centos6 ~]#df |grep "^/dev/sd"|awk '{print $5}'|awk -F% '{print $1}'
5
1
5

bai:x:500:500::/home/bai:/bin/bash
user11:x:501:517::/home/user11:/bin/bash
user12:x:502:517::/home/user12:/bin/bash
user13:x:503:517::/home/user13:/bin/bash
user14:x:504:517::/home/user14:/bin/bash
user15:x:505:517::/home/user15:/bin/bash
user16:x:506:517::/home/user16:/bin/bash
user17:x:507:517::/home/user17:/bin/bash
user18:x:508:517::/home/user18:/bin/bash
user19:x:509:517::/home/user19:/bin/bash
user20:x:510:517::/home/user20:/bin/bash
[root@centos6 ~]#awk '{print}' /etc/passwd
相当于  awk '{print $0}' /etc/passwd 
打印所有列



[root@centos6 ~]#awk -F: '{print $1 "\t" $3}' /etc/passwd 
root    0
bin     1
daemon  2
adm     3
lp      4
sync    5
shutdown        6
halt    7
mail    8
uucp    10
operator        11

"\t" 不是变量所以需要加双引号，用tab键补齐；


[root@centos6 ~]#grep "^UUID=" /etc/fstab |awk -F" " '{print $2}'
/
/app
/boot
swap
[root@centos6 ~]#grep "^UUID=" /etc/fstab |awk '{print $2}'      
/
/app
/boot
swap 

将-F“ ”去除后默认为空白符为分割符，进行取列；
  
内置变量的使用举例；
 pulse 497
sshd 74
tcpdump 72
bai 500
user11 501
user12 502
user13 503
user14 504
user15 505
user16 506
user17 507
user18 508
user19 509
user20 510
[root@centos6 ~]#awk -v FS=: '{print $1,$3}' /etc/passwd
内置变量赋值后没有使用；去除-F“ ”默认空白符分割

sshd 74
tcpdump 72
bai 500
user11 501
user12 502
user13 503
user14 504
user15 505
user16 506
user17 507
user18 508
user19 509
user20 510
[root@centos6 ~]#awk -F" " -v FS=: '{print $1,$3}' /etc/passwd
跟上述结果一样；

sshd:74
tcpdump:72
bai:500
user11:501
user12:502
user13:503
user14:504
user15:505
user16:506
user17:507
user18:508
user19:509
user20:510
[root@centos6 ~]#awk -F" " -v FS=: '{print $1FS$3}' /etc/passwd
变量使用

pulse:497
sshd:74
tcpdump:72
bai:500
user11:501
user12:502
user13:503
user14:504
user15:505
user16:506
user17:507
user18:508
user19:509
user20:510
[root@centos6 ~]#awk -v FS=: '{print $1FS$3}' /etc/passwd

sshd:74
tcpdump:72
bai:500
user11:501
user12:502
user13:503
user14:504
user15:505
user16:506
user17:507
user18:508
user19:509
user20:510
[root@centos6 ~]#S=:;awk -v FS=$S '{print $1FS$3}' /etc/passwd
调用bash变量到awk里使用；

sshd---74
tcpdump---72
bai---500
user11---501
user12---502
user13---503
user14---504
user15---505
user16---506
user17---507
user18---508
user19---509
user20---510
[root@centos6 ~]#awk -F: -v OFS='---' '{print $1,$3}' /etc/passwd
OFS指定输出分隔符；

[root@centos6 app]#cat a
a: aa: aa
bb: cads: asdfa
adsfa:afd
[root@centos6 app]#cat -A a
a: aa: aa$
bb: cads: asdfa$
adsfa:afd$
[root@centos6 app]#awk -v RS=: '{print $1}' a
a
aa
aa
cads
asdfa
afd
[root@centos6 app]#awk -v RS=: '{print $2}' a 


bb

adsfa
建一个文本输入内容，用冒号隔开，RS是以（:）分割成为一条条记录，{print $1 $2}是从

一条记录中用空白符分割出来打印输出。

[root@centos6 app]#awk -F: '{print $1}' /etc/passwd

root
bin
daemon
adm
lp
sync
shutdown
halt
mail
uucp
operator
games
[root@centos6 app]#awk -F: -v ORS=':' '{print $1}' /etc/passwd     
:root:bin:daemon:adm:lp:sync:shutdown:halt:mail:uucp:operator:games:gopher:ftp:no

body:dbus:usbmuxd:rpc:rtkit:avahi-

autoipd:vcsa:abrt:rpcuser:nfsnobody:haldaemon:ntp:apache:saslauth:postfix:mysql:g

dm:pulse:sshd:tcpdump:bai:user11:user12:user13:user14:user15:user16:user17:user18

:user19:user20:[root@centos6 app]#
ORS=':' 输出时使用‘：’为分隔符输出。

[root@centos6 app]#awk -F: 'BEGIN{print NF}' /etc/passwd
0
[root@centos6 app]#awk -F: 'END{print NF}' /etc/passwd     
7 
打印列数；BEGIN执行是在执行文件之前执行所以列数为0
          END执行是在文件执行结束后执行所以输出列数为7
7
7
7
7
7
7
7
7
7
7
7
7
[root@centos6 app]#awk -F: '{print NF}' /etc/passwd

[root@centos6 app]#awk -F: 'END{print NF-1}' /etc/passwd
6
[root@centos7 ~]#awk -F: '{print $(NF-1)}' /etc/passwd
/root
/bin
/sbin
/var/adm
/var/spool/lpd
/sbin
/sbin
/sbin
/var/spool/mail
/root
/usr/games
/var/ftp


[root@centos6 ~]#awk '{print NR,$0}' /etc/issue /etc/fstab
1 CentOS release 6.9 (Final)
2 Kernel \r on an \m
3 
4 
5 #
6 # /etc/fstab
7 # Created by anaconda on Wed May 17 07:58:47 2017
8 #
9 # Accessible filesystems, by reference, are maintained under '/dev/disk'
10 # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
11 #
12 UUID=debde2b5-2a12-4413-9a87-e16f92414999 /                       ext4    defaults        1 1
13 UUID=d66829e7-bc4a-4a65-b8c6-b00d01be3ad1 /app                    ext4    defaults        1 2
14 UUID=7e0e42d1-8fbe-4b4b-b37d-ae645d50b654 /boot                   ext4    defaults        1 2
15 UUID=80d05338-43e4-4f3a-bf05-64e42445077e swap                    swap    defaults        0 0
16 tmpfs                   /dev/shm                tmpfs   defaults        0 0
17 devpts                  /dev/pts                devpts  gid=5,mode=620  0 0
18 sysfs                   /sys                    sysfs   defaults        0 0
19 proc                    /proc                   proc    defaults        0 0

将两个文件合并成一个进行排序记数；


[root@centos6 ~]#awk '{print FNR,$0}' /etc/issue /etc/fstab 
1 CentOS release 6.9 (Final)
2 Kernel \r on an \m
3 
1 
2 #
3 # /etc/fstab
4 # Created by anaconda on Wed May 17 07:58:47 2017
5 #
6 # Accessible filesystems, by reference, are maintained under '/dev/disk'
7 # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
8 #
9 UUID=debde2b5-2a12-4413-9a87-e16f92414999 /                       ext4    defaults        1 1
10 UUID=d66829e7-bc4a-4a65-b8c6-b00d01be3ad1 /app                    ext4    defaults        1 2
11 UUID=7e0e42d1-8fbe-4b4b-b37d-ae645d50b654 /boot                   ext4    defaults        1 2
12 UUID=80d05338-43e4-4f3a-bf05-64e42445077e swap                    swap    defaults        0 0
13 tmpfs                   /dev/shm                tmpfs   defaults        0 0
14 devpts                  /dev/pts                devpts  gid=5,mode=620  0 0
15 sysfs                   /sys                    sysfs   defaults        0 0
16 proc                    /proc                   proc    defaults        0 0
分别计数

[root@centos6 ~]#awk '{print FNR,$0,FILENAME}' /etc/issue /etc/fstab 
1 CentOS release 6.9 (Final) /etc/issue
2 Kernel \r on an \m /etc/issue
3  /etc/issue
1  /etc/fstab
2 # /etc/fstab
3 # /etc/fstab /etc/fstab
4 # Created by anaconda on Wed May 17 07:58:47 2017 /etc/fstab
5 # /etc/fstab
6 # Accessible filesystems, by reference, are maintained under '/dev/disk' /etc/fstab
7 # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info /etc/fstab
8 # /etc/fstab
9 UUID=debde2b5-2a12-4413-9a87-e16f92414999 /                       ext4    defaults        1 1 /etc/fstab
10 UUID=d66829e7-bc4a-4a65-b8c6-b00d01be3ad1 /app                    ext4    defaults        1 2 /etc/fstab
11 UUID=7e0e42d1-8fbe-4b4b-b37d-ae645d50b654 /boot                   ext4    defaults        1 2 /etc/fstab
12 UUID=80d05338-43e4-4f3a-bf05-64e42445077e swap                    swap    defaults        0 0 /etc/fstab
13 tmpfs                   /dev/shm                tmpfs   defaults        0 0 /etc/fstab
14 devpts                  /dev/pts                devpts  gid=5,mode=620  0 0 /etc/fstab
15 sysfs                   /sys                    sysfs   defaults        0 0 /etc/fstab
16 proc                    /proc                   proc    defaults        0 0 /etc/fstab

打印文件名 FILENAME

[root@centos6 ~]#awk '{print ARGC}' /etc/issue /etc/fstab           3
3
3
3
查看参数个数

[root@centos6 ~]#awk '{print ARGV[1]}' /etc/issue /etc/fstab 
/etc/issue
/etc/issue
/etc/issue
/etc/issue
查看参数1是那一个

[root@centos6 ~]#awk '{print ARGC,ARGV[ARGC-4]}' /etc/issue /etc/fstab  /etc/passwd
4 awk
4 awk
4 awk



[root@centos6 ~]#awk -F: '{print $(NF-1)}' /etc/passwd
awk: (FILENAME=/etc/passwd FNR=1) fatal: attempt to access field -1

因为/etc/passwd 第一行为空行时 echo |awk -F: ‘{print NF}‘输出值为零 ，$(NF-1)为$（-1）不支持，所以报错；



自定义变量

[root@centos6 ~]#awk -v name=root '{print name}' /etc/passwd
root
root
没有实际意义，只是打印
[root@centos6 ~]#awk '{sex="male";print sex}' /etc/passwd
male
male
自定义变量使用方法
[root@centos6 ~]#awk '{sex="male";print sex,age;age=20}' /etc/passwd
male 
male 20
male 20
male 20
male 20
{}里定义变量，不用加$，顺序执行。

[root@centos6 ~]# awk -f f1.awk /etc/passwd

{sex="male";print sex,age;age=20}放到f1.awk里，进行调用。