功能说明：awk是一个强大的文本处理工具和编程语言，主要用于在 Unix 和 Linux 系统中对文本进行格式化、分析和处理。
语 法：awk -f ‘scripts’ -v var=value filename
awk ‘BEGIN{ print “start” } pattern{ commands } END{ print “end” }’ filename
补充说明：awk 可以逐行读取文件或者输入流（包括stdin），按照用户指定的模式和操作来处理文本数据，特别适用于结构化的文本（如表格、CSV、日志等结构化数据）。awk可在命令行中使用，但更多是作为脚本来使用。awk作为一门编程语言有很多内建的功能，比如数组、函数等，这是它和C语言的相似之处。
选 项：
-F 指定分隔符（可以是字符串或正则表达式）
-f ‘scripts’ 从脚本文件’scripts’中读取awk命令
-v var=value 赋值变量，将外部变量传递给awk
awk脚本基本结构：
pattern 用于匹配特定的行
{ commands } 用于对匹配的行执行操作
filename 要被awk处理的文件
一个awk脚本通常由BEGIN语句+模式匹配+END语句三部分组成，这三部分都是可选项。工作步骤：
第一步，执行BEGIN语句
第二步，从文件或标准输入读取一行，然后再执行pattern语句，以此类推，逐行扫描文件到文件全部被读取
第三步，执行END语句
awk内置变量：
awk默认将每行文本按照空格或特定分隔符分成多个字段（列），每个字段可以通过 $ 符号访问：
$0 当前记录（行）
$n 当前记录（行）的第n个字段（列），$1代表第1列，$n代表第n列
FS 字段（列）的分隔符（默认是空格或制表符），可以使用-F选项自定义分隔符
OFS 输出字段（列）分隔符（用于格式化输出）
RS 记录（行）的分隔符，默认是换行符
ORS 输出记录（行）的分隔符，默认是换行符
NR 当前处理的行号，默认从1开始
NF 当前行的字段（列）数
awk运算符：
算术运算符：
+ 加
– 减
* 乘
/ 除
% 求余
^ 求幂
++ 自增，作为前缀或后缀
— 自减，作为前缀或后缀
注意，非数值的变量在使用算术运算符时会被自动转换为0
赋值运算符：
=
+=
-=
*=
/=
%=
^=
正则运算符：
~ 匹配正则表达式
!~ 不匹配正则表达式
逻辑运算符：
|| 逻辑或
&& 逻辑与
关系运算符：
<
<=
>
>=
!=
==
其它运算符：
$ 通过序号引用字段（列）
空格 字符串链接符
?: 三目运算符
ln 数组中是否存在某键值
awk正则表达式语法：
^ 行首定位符
$ 行尾定位符
. 匹配任意单个字符
* 匹配0个或多个前导字符（包括回车）
+ 匹配1个或多个前导字符
? 匹配0个或1个前导字符
[] 匹配指定字符组内的任意一个字符/^[ab]
[^] 匹配不在指定字符组内的任意一个字符
() 子表达式
| 或
\ 转义符
~ 匹配条件语句
!~ 不匹配条件语句
x{m} x字符重复m次
x{m,} x字符至少重复m次
X{m,n} x字符至少重复m次但不起过n次（需指定选项-posix或–re-interval）
awk打印（输出）命令：
print简单输出，用于输出字段（列）或文本，自动在每个字段（列）间插入空格，并在行末自动换行
printf提供了更多格式控制，可以指定字段的输出格式、宽度、对齐方式等。它类似于 C 语言的 printf 函数。若要输出换行，需要手动添加换行符\n
awk读取输入命令：
getline用于读取文件或命令的输出
awk内置函数：
toupper函数将所有小写字母转换成大写字母
length函数返回字符个数
system函数可以用来调用系统命令，虽然它不直接打印到终端，但可以执行其他命令并返回执行结果
awk自定义函数：
awk脚本中可以定义自己的函数，例如
function square(x) {
return x * x
}
awk ‘{ print square($1) }’ file.txt
awk流程控制语句：
if-else 条件判断
while 和 do-while 循环
for 循环，包括 for-in 数组遍历
break 和 continue 控制循环的执行
exit 终止脚本执行
next 跳过当前行
return 函数返回值
三元条件表达式 ? :
awk数组：
awk 支持关联数组，这意味着数组的索引不仅可以是整数，也可以是字符串。awk 中的数组无需声明，也不需要定义大小，直接通过索引赋值即可使用。
实 例：
1 输入和输出
$ echo “hello ” | awk ‘BEGIN{ print “start” } END{ print “end” }’
start
end
打印读取到的文本：
$ echo “hello ” | awk ‘BEGIN{ print “start” } {print} END{ print “end” }’
start
hello
end
打印整行：
$ echo “Hello World” | awk ‘{print $0}’
Hello World
打印特定字段（列）：
$ echo “Alice 30” | awk ‘{print $1}’ # 输出第一列，awk默认以空白符分隔列
Alice
打印多个字段：
$ echo “Alice 30” | awk ‘{print $1, $2}’
Alice 30
简单格式化输出
$ echo “Alice 30” | awk ‘{printf “%s is %d years old\n”, $1, $2}’
Alice is 30 years old
指定输出列的宽度：
$ echo “Alice 30” | awk ‘{printf “%-10s %-5d\n”, $1, $2}’ # %-10s 表示左对齐，宽度为10；%-5d 表示左对齐，宽度为5
Alice 30
控制小数点位数：
$ echo “3.14159” | awk ‘{printf “%.2f\n”, $1}’
3.14
输出到文件或追加到文件：
awk 的 print 和 printf 命令都可以配合 >, >> 操作符，将内容输出到文件中：
- 输出到文件：使用 > 将输出重定向到文件（会覆盖文件内容）。
- 追加到文件：使用 >> 将输出追加到文件（不会覆盖已有内容）。
将输出写入文件：
$ echo “Alice 30” | awk ‘{print $1, $2 > “output.txt”}’ # 结果输出到 output.txt 文件中
将输出追加到文件：
$ echo “Bob 25” | awk ‘{print $1, $2 >> “output.txt”}’ # 输出会追加到 output.txt 文件末尾
重定向输出到标准错误stderr：
$ echo “Error message” | awk ‘{print $0 > “/dev/stderr”}’
输出多列时自定义列的分隔符：
$ echo -e “Alice 30\nBob 25″ | awk ‘BEGIN { OFS=” | ” } {print $1, $2}’
Alice | 30
Bob | 25
使用 getline 读取文件或命令的输出：
$ awk ‘BEGIN { while ((getline line < “input.txt”) > 0) print line }’ # 从 input.txt 文件中逐行读取并输出内容
2 普通变量的定义和使用
定义多个变量，然后打印它们：
$ echo|awk ‘{ a=”aa”; b=”bb”; c=”cc”; print a,b,c; }’
aa bb cc
print语句中的””起到拼接字符串的作用：
$ echo|awk ‘{ a=”aa”; b=”bb”; c=”cc”; print a” is “b” or “c; }’
aa is bb or cc
3 内置变量的使用
打印文件中的第一列和第三列：
$ cat test.txt
aa bb cc dd ee
11 22 33 44 55
xyz yui tt
$ awk ‘{ print $1, $3 }’ test.txt
aa cc
11 33
xyz tt
$ awk ‘{ print $n }’ test.txt
aa bb cc dd ee
11 22 33 44 55
xyz yui tt
打印第二列第一列并以,符号分隔：
$ awk ‘{print $2″,”$1}’ test.txt
bb,aa
22,11
yui,xyz
打印每行的行号和字段（列）数：
$ awk ‘{ print NR, NF }’ test.txt
1 5
2 5
3 3
4 外部变量的使用
$ a=100
$ b=100
$ echo |awk ‘{print v1*v2 }’ v1=$a v2=$b
10000
$ e=eee
$ echo |awk ‘{print e }’ e=$e
eee
在shell中，awk可以直接使用shell的环境变量。
5 awk运算符的使用
$ awk ‘BEGIN{a=”b”;print a,a++,a–,++a;}’
b 0 1 1
$ awk ‘BEGIN{a=”0″;print a,a++,a–,++a;}’
0 0 1 1
$ awk ‘BEGIN{a=7;b=2;print a/b;}’
3.5
$ awk ‘BEGIN{a=7;b=2;print a%b;}’
1
$ awk ‘BEGIN{a=7;b=2;print a^b;}’
49
$ awk ‘BEGIN{a=7;b=2;print a==b;}’
0
$ awk ‘BEGIN{a=7;b=2;print a=b;}’
2
打印第二列是22的行第一列：
$ cat test.txt
aa bb cc dd ee
11 22 33 44 55
xyz yui tt
$ awk ‘($2 == 22) {print $1}’ test.txt
11
打印第3列的值大于66的行：
$ awk ‘$3 > 66’ test.txt
aa bb cc dd ee
xyz yui tt
? :三目运算符的使用示例：
$ awk ‘BEGIN{a=”b”;print a==”b”?”yes”:”no”}’
yes
6 正则表达式的使用
$ cat test.txt
aa bb cc dd ee
11 22 33 44 55
xyz yui tt
打印以a开头的行的第2列：
$ awk ‘/^a/{print $2}’ test.txt
bb
打印以a开头的行的第2列，并在第2列前加上aaa子串：
$ awk ‘/^a/{print “aaa”$2}’ test.txt
aaabb
打印第1列匹配xyz的行的第3列的值：
$ awk ‘$1~/xyz/ {print $3}’ test.txt
tt
如果变量a中包含test子串，那么打印yes：
$ echo|awk ‘BEGIN{a=”100testaaa”}a~/test/{print “yes”}’
yes
输出所有包含子串root的行：
awk ‘/root/{print $0}’ test.txt
7 awk内置函数的使用
toupper函数将所有小写字母转换成大写字母：
$ cat test.txt
aa bb cc dd ee
11 22 33 44 55
xyz yui tt
$ awk ‘{print toupper($0)}’ test.txt
AA BB CC DD EE
11 22 33 44 55
XYZ YUI TT
length函数返回字符个数。打印长度为3个字符的第一列的内容：
$ awk ‘{if(length($1) == 3) print $1}’ test.txt
xyz
8 处理不同分隔符的文件
通过设置 -F 选项来指定输入的字段的分隔符。例如，对于以逗号分隔的 CSV 文件：
$ cat test.csv
ttc,yui,layui,tailwind
c,c++,go,java,python,php,js
apple,google,facebook,reddit,twitter,amazon
john@Ubuntu22-VirtualBox:~/test$ awk -F ‘,’ ‘{ print $1, $2 }’ test.csv
ttc yui
c c++
apple google
如果不使用-F ‘,’选项，就无法正确处理CSV文件：
$ awk ‘{ print $1, $2 }’ test.csv
ttc,yui,layui,tailwind
c,c++,go,java,python,php,js
apple,google,facebook,reddit,twitter,amazon
9 awk脚本的编写和使用
除了命令行上使用，我们也可以编写awk脚本文件，适合复杂的数据处理任务。例如，保存以下代码到 script.awk 文件中：
BEGIN { FS=”,”; OFS=” – ” }
{ print $1, $3 }
然后用 awk -f script.awk test.csv 来执行这个脚本：
$ awk -f script.awk test.csv
ttc – layui
c – go
apple – facebook
10 控制流程的使用
10.1 if-else 语句（条件判断）
$ cat test.txt
aa bb cc dd ee
11 22 33 44 55
xyz yui tt
$ awk ‘{ if ($3 > 66) print $1, $3; else print $3, “not greater” }’ test.txt
aa cc
33 not greater
xyz tt
可以嵌套多个 if-else 语句：
awk ‘{ if ($1 > 10) print “Greater”; else if ($1 == 10) print “Equal”; else print “Smaller” }’ file.txt
10.2 while 语句（循环）
awk ‘{ i = 1; while (i <= NF) { print $i; i++ } }’ file.txt
10.3 do-while 语句（后测试循环）
do-while 循环会先执行一次循环体，然后检查条件是否为真：
awk ‘{ i = 1; do { print $i; i++ } while (i <= NF) }’ file.txt
10.4 for 语句（循环）
awk ‘{ for (i = 1; i <= NF; i++) print $i }’ file.txt
10.5 for-in遍历数组的所有索引
awk ‘{ for (i in arr) print arr[i] }’
10.6 break 语句（跳出循环）
awk ‘{ for (i = 1; i <= NF; i++) { if ($i == “stop”) break; print $i } }’ file.txt
10.7 continue 语句（继续下一次循环）
continue 语句用于跳过本次循环的剩余部分，并继续执行下一次循环：
awk ‘{ for (i = 1; i <= NF; i++) { if ($i == “skip”) continue; print $i } }’ file.txt
10.8 exit 语句（退出程序）
exit 语句用于终止 awk 脚本的执行，退出脚本时可以指定退出状态码：
awk ‘{ if ($1 == “exit”) exit; print $1 }’ file.txt
立即终止脚本的执行，剩余的行不会被处理。
可以在 END 块中使用 exit 返回状态码：
awk ‘END { if (NR == 0) exit 1 }’ file.txt
10.9 next 语句（跳到下一行）
next 语句用于跳过当前行的剩余操作，直接处理下一行：
awk ‘{ if ($1 == “skip”) next; print $1 }’ file.txt
10.10 return 语句（函数中使用）
return 语句用于在函数中返回值并退出函数：
function square(x) {
return x * x
}
awk ‘{ print square($1) }’ file.txt
10.11 条件表达式（三元操作符）
awk ‘{ print ($1 > 10 ? “Greater” : “Smaller”) }’ file.txt
11 数组
11.1 定义和使用数组
awk 中通过赋值操作可以直接定义数组。例如：
awk ‘BEGIN { arr[1] = “apple”; arr[2] = “banana”; print arr[1], arr[2] }’
在这个例子中，arr[1] 和 arr[2] 定义了两个元素，分别存储 “apple” 和 “banana”。
使用字符串作为数组的索引：
awk ‘BEGIN { arr[“fruit”] = “apple”; print arr[“fruit”] }’
11.2 遍历数组
你可以使用 for-in 循环遍历数组中的所有元素，数组中的索引会被 for 循环访问：
awk ‘BEGIN {
arr[1] = “apple”;
arr[2] = “banana”;
arr[3] = “cherry”;
for (i in arr) {
print i, arr[i];
}
}’
这个例子会遍历数组 arr，输出数组的索引和对应的值。值得注意的是，awk 中 for-in 循环的遍历顺序并不保证是按索引的顺序，具体顺序取决于 awk 的实现。
11.3 删除数组元素
可以使用 delete 语句删除数组中的某个元素：
awk ‘BEGIN {
arr[1] = “apple”;
arr[2] = “banana”;
delete arr[1];
print arr[1]; # 输出为空，因为arr[1]已被删除
}’
delete 会将指定的数组元素完全移除，后续对该索引的访问将返回空值。
11.4 计算数组长度
awk 本身没有直接的函数来计算数组的长度，但你可以通过遍历数组来计算元素个数。例如：
awk ‘BEGIN {
arr[1] = “apple”;
arr[2] = “banana”;
arr[3] = “cherry”;
count = 0;
for (i in arr) {
count++;
}
print “Array length:”, count;
}’
11.5 多维数组
虽然 awk 本质上是支持一维数组，但可以通过组合索引来实现多维数组的效果。你可以使用多个索引作为键，例如：
awk ‘BEGIN {
arr[1,1] = “apple”;
arr[1,2] = “banana”;
arr[2,1] = “cherry”;
print arr[1,1]; # 输出apple
print arr[1,2]; # 输出banana
print arr[2,1]; # 输出cherry
}’
这里 arr[1,1] 和 arr[1,2] 类似于二维数组的定义，逗号 , 将多个索引组合在一起。
11.6 数组的默认值
在 awk 中，未被初始化的数组元素会默认返回空字符串或 0，具体取决于如何使用。例如：
awk ‘BEGIN {
print arr[1]; # 输出为空，因为arr[1]未被初始化
}’
如果试图对一个未初始化的数组元素进行运算操作，它将被视为 0。
12 综合实例
获取enp0s3网卡的IP地址：
$ ifconfig enp0s3|awk ‘BEGIN{FS=”[[:space:]:]+”} NR==2{print $3}’
10.0.2.15
打印当前目录下的子目录和文件的总字节数，以MB为单位：
$ ls -alh|awk ‘BEGIN{size=0;} {size=size+$5;} END{print “total size is “,size/1024/1024,”MB”}’
total size is 0.000601768 MB
