awk中的字段、记录和变量

系统 Linux
Awk 有好几个变种:最早的 awk,是 1977 年 AT&T 贝尔实验室所创。它还有一些重构版本,例如 mawk、nawk。在大多数 Linux 发行版中能见到的,是 GNU awk,也叫 gawk。在大多数 Linux 发行版中,awk 和 gawk 都是指向 GNU awk 的软链接。

[[283700]]

这个系列的第二篇,我们会学习字段,记录和一些非常有用的 Awk 变量。

Awk 有好几个变种:最早的 awk,是 1977 年 AT&T 贝尔实验室所创。它还有一些重构版本,例如 mawknawk。在大多数 Linux 发行版中能见到的,是 GNU awk,也叫 gawk。在大多数 Linux 发行版中,awkgawk 都是指向 GNU awk 的软链接。输入 awk,调用的是同一个命令。GNU awk 用户手册中,能看到 awkgawk 的全部历史。

这一系列的第一篇文章 介绍了 awk 命令的基本格式:

  1. $ awk [选项] '模式 {动作}' 输入文件

awk 是一个命令,后面要接选项 (比如用 -F 来定义字段分隔符)。想让 awk 执行的部分需要写在两个单引号之间,至少在终端中需要这么做。在 awk 命令中,为了进一步强调你想要执行的部分,可以用 -e 选项来突出显示(但这不是必须的):

  1. $ awk -F, -e '{print $2;}' colours.txt
  2. yellow
  3. blue
  4. green
  5. [...]

记录和字段

awk 将输入数据视为一系列记录,通常是按行分割的。换句话说,awk 将文本中的每一行视作一个记录。每一记录包含多个字段。一个字段由字段分隔符分隔开来,字段是记录的一部分。

默认情况下,awk 将各种空白符,如空格、制表符、换行符等视为分隔符。值得注意的是,在 awk 中,多个空格将被视为一个分隔符。所以下面这行文本有两个字段:

  1. raspberry red

这行也是:

  1. tuxedo                  black

其他分隔符,在程序中不是这么处理的。假设字段分隔符是逗号,如下所示的记录,就有三个字段。其中一个字段可能会是 0 个字节(假设这一字段中不包含隐藏字符)

  1. a,,b

awk 程序

awk 命令的程序部分是由一系列规则组成的。通常来说,程序中每个规则占一行(尽管这不是必须的)。每个规则由一个模式,或一个或多个动作组成:

  1. 模式 { 动作 }

在一个规则中,你可以通过定义模式,来确定动作是否会在记录中执行。模式可以是简单的比较条件、正则表达式,甚至两者结合等等。

这个例子中,程序只会显示包含单词 “raspberry” 的记录:

  1. $ awk '/raspberry/ { print $0 }' colours.txt
  2. raspberry red 99

如果没有文本符合模式,该动作将会应用到所有记录上。

并且,在一条规则只包含模式时,相当于对整个记录执行 { print },全部打印出来。

Awk 程序本质上是数据驱动的,命令执行结果取决于数据。所以,与其他编程语言中的程序相比,它还是有些区别的。

NF 变量

每个字段都有指定变量,但针对字段和记录,也存在一些特殊变量。NF 变量,能存储 awk 在当前记录中找到的字段数量。其内容可在屏幕上显示,也可用于测试。下面例子中的数据,来自上篇文章文本

  1. $ awk '{ print $0 " (" NF ")" }' colours.txt
  2. name       color  amount (3)
  3. apple      red    4 (3)
  4. banana     yellow 6 (3)
  5. [...]

awkprint 函数会接受一系列参数(可以是变量或者字符串),并将它们拼接起来。这就是为什么在这个例子里,每行结尾处,awk 会以一个被括号括起来的整数表示字段数量。

NR 变量

另外,除了统计每个记录中的字段数,awk 也统计输入记录数。记录数被存储在变量 NR 中,它的使用方法和其他变量没有任何区别。例如,为了在每一行开头显示行号:

  1. $ awk '{ print NR ": " $0 }' colours.txt
  2. 1: name       color  amount
  3. 2: apple      red    4
  4. 3: banana     yellow 6
  5. 4: raspberry  red    3
  6. 5: grape      purple 10
  7. [...]

注意,写这个命令时可以不在 print 后的多个参数间添加空格,尽管这样会降低可读性:

  1. $ awk '{print NR": "$0}' colours.txt

printf() 函数

为了让输出结果时格式更灵活,你可以使用 awkprintf() 函数。 它与 C、Lua、Bash 和其他语言中的 printf 相类似。它也接受以逗号分隔的格式参数。参数列表需要写在括号里。

  1. $ printf 格式, 项目1, 项目2, ...

格式这一参数(也叫格式符)定义了其他参数如何显示。这一功能是用格式修饰符实现的。%s 输出字符,%d 输出十进制数字。下面的 printf 语句,会在括号内显示字段数量:

  1. $ awk 'printf "%s (%d)\n",$0,NF}' colours.txt
  2. name       color  amount (3)
  3. raspberry  red    4 (3)
  4. banana     yellow 6 (3)
  5. [...]

在这个例子里,%s (%d) 确定了每一行的输出格式,$0,NF 定义了插入 %s%d 位置的数据。注意,和 print 函数不同,在没有明确指令时,输出不会转到下一行。出现转义字符 \n 时才会换行。

Awk 脚本编程

这篇文章中出现的所有 awk 代码,都在 Bash 终端中执行过。面对更复杂的程序,将命令放在文件(脚本)中会更容易。-f FILE 选项(不要和 -F 弄混了,那个选项用于字段分隔符),可用于指明包含可执行程序的文件。

举个例子,下面是一个简单的 awk 脚本。创建一个名为 example1.awk 的文件,包含以下内容:

  1. /^a/ {print "A: " $0}
  2. /^b/ {print "B: " $0}

如果一个文件包含 awk 程序,那么在给文件命名时,最好写上 .awk 的扩展名。 这样命名不是强制的,但这么做,会给文件管理器、编辑器(和你)一个关于文件内容的很有用的提示。

执行这一脚本:

  1. $ awk -f example1.awk colours.txt
  2. A: raspberry  red    4
  3. B: banana     yellow 6
  4. A: apple      green  8

一个包含 awk 命令的文件,在最开头一行加上释伴 #!,就能变成可执行脚本。创建一个名为 example2.awk 的文件,包含以下内容:

  1. #!/usr/bin/awk -f
  2. #
  3. # 除了第一行,在其他行前显示行号
  4. #
  5.  
  6. NR > 1 {
  7. printf "%d: %s\n",NR,$0
  8. }

可以说,脚本中只有一行,大多数情况下没什么用。但在某些情况下,执行一个脚本,比记住,然后打一条命令要容易的多。一个脚本文件,也提供了一个记录命令具体作用的好机会。以 # 号开头的行是注释,awk 会忽略它们。

给文件可执行权限:

  1. $ chmod u+x example2.awk

执行脚本:

  1. $ ./example2.awk colours.txt
  2. 2: apple      red    4
  3. 2: banana     yellow 6
  4. 4: raspberry red    3
  5. 5: grape      purple 10
  6. [...]

awk 命令放在脚本文件中,有一个好处就是,修改和格式化输出会更容易。在终端中,如果能用一行执行多条 awk 命令,那么输入多行,才能达到同样效果,就显得有些多余了。

试一试

你现在已经足够了解,awk 是如何执行指令的了。现在你应该能编写复杂的 awk 程序了。试着编写一个 awk 脚本,它需要: 至少包括一个条件模式,以及多个规则。如果你想使用除 printprintf 以外的函数,可以参考在线 gawk 手册

下面这个例子是个很好的切入点:

  1. #!/usr/bin/awk -f
  2. #
  3. # 显示所有记录 除了出现以下情况
  4. # 如果第一个记录 包含 raspberry
  5. # red 替换成 pi
  6.  
  7. $1 == "raspberry" {
  8.         gsub(/red/,"pi")
  9. }
  10.  
  11. { print }

试着执行这个脚本,看看输出是什么。接下来就看你自己的了。

这一系列的下一篇文章,将会介绍更多,能在更复杂(更有用!) 脚本中使用的函数。 

 

责任编辑:庞桂玉 来源: Linux中国
相关推荐

2010-03-04 15:11:06

Ubuntu awk

2016-08-10 16:07:08

awkLinux开源

2016-08-11 09:18:33

awkShellLinux

2010-05-11 10:43:10

Unix awk

2016-08-10 11:19:11

awkLinux开源

2017-08-04 14:00:32

Linuxawk变量

2024-11-06 17:04:47

AWK编程

2010-09-03 15:21:46

SQLselect语句

2016-08-29 20:51:16

awkLinux开源

2010-05-11 13:16:21

Unix awk

2019-12-03 10:00:19

awkLinux循环

2011-03-29 13:22:07

SQL Server临时表表变量

2023-12-10 21:35:45

Linux服务器日志分析

2019-12-12 18:00:54

awkLinux开源

2023-11-30 12:03:06

linuxAwk

2010-11-23 15:27:00

MySQL添加字段

2012-05-18 12:49:43

Android

2013-07-31 11:09:05

C++11

2010-05-11 12:17:51

Unix awk

2023-10-26 15:49:53

Go日志
点赞
收藏

51CTO技术栈公众号