文本三剑客之awk-白红宇

文本三剑客之awk

阅读量：4959 次

发布时间：2019-06-12

本文共 4344 字，大约阅读时间需要 14 分钟。

awk和流编辑器sed在工作原理和用法上有很多类似之处，它们都是检查输入数据中的行是否匹配指定的模式，如果匹配成功就对匹配的行执行相应的操作，重复这个过程直到所有的输入数据都被处理完，因此awk和sed都是面向数据流的工具。

awk执行的操作action要写在模式后面的花括号｛｝中，而sed是直接接在模式后

比对：

sed通常用来提取一整行，提取一行中的某个字段需要使用后向引用；

awk通常用于提取行中的某个字段，也可提取一整行；

注意：上面的花括号中各个参数之间的逗号不是必要的，使用逗号在输出时各个字段之间会增加个空格，增加可读性

格式：

awk [options] -f progfile [--] file ... 　　　　　　 #将程序语句写入到文件中，通过-f调用

awk [options] [--] 'program' file ... 　　　　　#直接在命令行中写出程序，更常用

可以看出awk同样可以同时处理多个文件

有前面可知，三剑客grep、sed、awk都可以用来同时处理多个文件

awk的程序（'program'或progfile）中包含了一系列的规则，在每一个规则中都指定了一个要查找的模式，以及对匹配模式的行所执行的操作。

awk程序中的规则格式如下：

pattern是一个正则表达式，就是我们要匹配的模式（匹配流入的文本的行），

而花括号｛｝中的actions是对匹配到的行数据所执行的操作，它既可以是一个命令，也可以是多个命令，每一个命令用分号结束。

如果把其中的匹配模式省略(即/pattern/)，awk会对输入数据的每一行都会按行执行actions所指定的操作（类似sed）

awk的强大之处在于它会自动把输入的行数据分隔成若干个字段。所谓的字段就是被指定的分隔字符分隔后的一段段字符串，如果没有修改，awk默认的分隔字符为空格。

awk读入一行数据以后，会根据所指定的分隔字符把行数据分解为若干个字段，然后把每－个字段保存在以数字命名的变量中，如第一个字段被保存在变量1（$1）中，第二个字段被保存在变量2($2)中…最后一个字段保存在$NR中，而整行数据被保存在变量0($0)中。

如果希望在awk程序中引用某个字段的值，只要使用字符$引用相应的变量即可，如第一个字段的值为$1。

如果在花括号中没有为print命令添加参数指定要输出的字段(即只有print指令，没有变量$1，$2，$3等)，它会默认打印整个输入行，就像指定了参数$0一样

print命令不带参数和指定参数$0得到的结果是相同的，都是原封不动地打印整行数据。

除了使用print命令打印信息以外，还可以使用printf命令

printf命令默认不会在字符串结尾处、添加换行符，因此需要在字符串的最后手动添加\n

不管是使用print进行输出（自动在行尾添加换行），还是使用printf（不会自动在行尾添加换行）都支持各种格式化的转义字符(\n、\t、\v、\b等).

如果是输出普通字符，最好使用双引号引起来（除了$0,$1,$2…$NR外其余全部看作普通字符）

awk -F: '/root/{print "Username: " $1 "\t" "UID: " $3 }' /etc/passwd

通过标识符BEGIN可以在处理数据以前执行一些初始化操作，可用来输出表格的标题，自定义变量等。

awk的整个结构如下：

awk ‘BEGIN { } [/pattern/]{

主循环} END{ }’ FILE1,FILE2…

如果awk的程序较长，通过命令行的方式执行程序不是很方便，可以先将awk程序写入到文件中，然后使用awk的-f选项传递给awk

把awk程序写在文件中还有一个好处，就是可以添加注释（#），方便以后对程序的分析和维护，位于#和下一行之间的内容视为注释

在第一行数据被读入以后主循环就开始执行，并且输入数据中存在多少行，主循环就会被重复执行多少次，一直到处理完所有的数据为止，此时主循环就会退出。

除了主循环以外，awk的程序中还有另外两个特殊的阶段：

一是在数据被读取之前(BEGIN { }) #主循环开始以前执行一些初始化操作

二是在所有的数据都处理完以后（END ｛｝） #主循环终止以后执行一些收尾工作

/pattern/：对读入的行进行匹配

awk中匹配时有多种形式：

1、NF 使用字段个数匹配（默认是每行的字段数）

2、NR 使用记录个数匹配（默认是行数）,使用较多

3、FS 使用字段分隔符匹配（字段分隔符，默认是空格）

4、NS 使用记录分隔符匹配（记录分隔符，默认是换行\n）

5、/pattern/ 正则表达式匹配，正则匹配时，必须放在/regex/内 行匹配；如果pattern中包含/字符，则需要使用反斜线\转义

6、$1~/pattern/ 该行的第一个字段如果正则匹配到pattern，则匹配该行

7、布尔表达式（即逻辑表达式）匹配，仅当布尔表达式为真时，才会执行后面的action

awk -F "[ /]+" '$2~/^80$/{print $0}' /etc/services

逻辑表达式expression中的操作符：

可使用逻辑与＆＆和逻辑或 || 把多个表达式连接在一起构成更复杂的表达式

当在awk程序中指定了多个规则时：

默认awk读入的每一行数据都会所有规则独立处理(类似sed的-e多模式)

（awk -F: '$7=="/sbin/nologin"{print $1}; $3>500{print $1}' /etc/passwd　　　　两个条件都满足，会被打印两次，每行被独立执行），有时这种情况是我们所不希望看到的。

例如：

处理/etc/passwd文件的awk程序中有两个规则，一个规则是打印所有使用bash shell的用户，另一个规则是打印所有UID大于等于1000的用户，如果一个用户同时满足两个条件，那么它就会被打印两次，如何解决？（我们要的效果是只要符合其中一条规则即打印出来）

两种方式解决：

其中一种方法，就是通过逻辑操作符或||把两个规则合并为一个规则

awk -F： ‘($3>1000)||($7==”/bin/bash”){print $0}’ /etc/passwd

#两个条件之间使用||连接

另一种方式，使用next命令：

awk -F: '$7=="/sbin/nologin"{print $1;next;} $3>500{print $1}' /etc/passwd　　　　　　　　#两个条件之间使用空格分隔

注意：

执行next命令，它的作用是结束当前行的处理（即如果该规则条件满足，跳过后面的其它所有规则），让awk读取下一行数据，接下来读取第二行数据，从第一条规则开始重复整个过程，有点类似C中的continue。

next前必须有分号（两个指令间隔），其后的分号可有可无

当awk程序中存在多个规则的过程：

awk在读取－行数据以后，会把这行数据与程序中的第一个规则进行模式匹配（或者判断表达式），如果匹配成功就执行相应的操作；

然后这行数据（原本的，不是经第一个规则处理后的）会继续与第二个规则进行模式匹配（或者判断表达式），根据成功与否来决定是否执行相应的命令，以此类推，直到这行数据经历了所有规则的匹配，然后awk会读取下一行数据并用同样的方式进行操作。

因此，如果一行数据同时满足了两个规则的条件，则这两个规则所包含的命令都会被执行，相反，如果没有一个规则能够匹配这行数据，也就没有一个规则的命令会被执行。

awk中的printf输出时，共有3种形式：

printf（“%-12s%8s”），$8，$7

printf “%-12s%8s”，$8，$7

pinntf（“%-12s%8s”，$8，$7） #这种与C中完全相同

C中的所有格式控制均可用在这里

awk脚本

要想创建awk脚本，只要在awk程序文件的头部添加如下一行：

同时为这个文件添加上可执行权限，就可以像执行普通Shell脚本一样执行awk程序了。这里添加的这一行与在Shell脚本中添加#!／bin/bash的意思是一样的，都是告诉系统应该使用哪个程序来解释当前的程序文件。使用bash执行脚本文件时不需要指定额外的选项，但是使用awk执行程序文件时需要使用选项-f，因此这里不仅要写明awk的程序路径，还要添加选项-f。