关于 Word Splitting 和 IFS 的三个细节

在 Bash manual 里叫 Word Splitting，在 Posix 规范里叫 Field Splitting，这两者指的是同一个东西，我把它翻译成“分词”，下面我就说三点很多人都忽略掉（或者说从没仔细考虑过）的分词细节。

1. 分隔符到底是字符还是字符串?

IFS 里面可以包含多个字符，那么在分词的过程中，是 IFS 中的每个单独的字符作为分隔符，还是由这些字符组合成的任意字符串作为分隔符？我们写个简单的例子证明一下：

$ var=a12b21c IFS=12

$ printf "<%s>\n" $var

<a>

<b>

<c>

由于输出了两个空的字段，也就证明了是 1 和 2 两个单独的 IFS 字符作为了分隔符，而不是 12 和 21 这两个由 IFS 字符组成的字符串作为了分割符。但结论没这么简单，再看一个例子：

$ var=$'1 \t 2' IFS=$' \t' #红色背景的是空格

$ printf "<%s>\n" $var

<1>

<2>

在这个例子中，IFS 包含两个字符：空格符和制表符，如果说它们俩是单独作为分隔符的，那么 $var 就应该被分割成四个字段，分别是 <1> <> <> <2>，但实际的结果并不是这样的。这是因为：空格符、制表符（\t）、换行符（\n）这三个空白符在 IFS 中会被特殊对待，Shell 会把它们按照任意顺序任意数量组合成的字符串作为分隔符，而不是单个字符作为分隔符。在这个例子中，是“ \t ”整体作为了一个分隔符，把 1 和 2 分成了两个字段。下面再演示一下 IFS 为换行符的情况：

$ var=$'1\n\n\n2\n\n\n3' IFS=$'\n'

$ printf "<%s>\n" $var

<1>

<2>

<3>

这个例子中，三个连续的换行符作为了分隔符，把 var 分成了三个字段。

如果 IFS 既包含空白符，又包含非空白符，会怎么样？

看下面的例子，IFS 中既有空白符 \n 又有非空白符 2：

$ var=$'1\n\n2\n\n3' IFS=$'\n2'

$ printf "<%s>\n" $var

<1>

<3>

咦？有些同学就想问了：上面不是说，Shell 会把以任意个 IFS 包含的空白符组成的字符串作为分隔符，把单个 IFS 中包含的非空白符作为分隔符吗，那不就是有三个分隔符：“\n\n”、“2”、“\n\n”吗？但从表现上来看，是“\n\n2\n\n”整体作为了一个分隔符，这是怎么回事？

下面我们就再说个法则：“一个 IFS 中包含的非空白符会和它两边存在的由 IFS 中包含的空白符组成的字符串组合成一起作为分隔符”。在上面的例子中，就是 2 和它两边的 “\n\n” 5个字符组合起来作为了一个分割符，所以产生了 1 和 3两个字段。

2. 尾部的空字段会被丢弃

$ var=:1:2:3: IFS=:

$ printf "<%s>\n" $var

<1>

<2>

<3>

四个分隔符，应该把 var 切割成 5 个字段，但从结果上看，尾部的空字段不见了？是的，再说一个法则：分词之后，如果最后一个字段是空的，那么这个字段会被丢弃掉。其实，一个包含空值的变量在分词之后会被丢弃，也符合这条法则：

$ var=""

$ set -- $var

$ echo $#

上面的例子中，var 的值就是空，所以在分词之后也是只有一个空的字段，也是最后一个字段，符合尾部空字段被丢弃的法则，所以 set 命令只看到了 -- 这一个参数。

3. 首尾的空白符序列会被丢弃掉

$ var=$'\n1:2\n' IFS=$'\n:'

$ printf "<%s>\n" $var

<1>

<2>

这个例子中，分割符应该有三个，分别是 \n、：、\n，它们会把 var 分割成四个字段 <> <1> <2> <>，尾部的字段是空的，被丢弃，就成了 <> <1> <2>。咦？WTF，为什么和真实的输出不符！下面是最后一条法则：在正式分词之前，变量两边的由 IFS 包含的空白符组合成的序列会被丢弃掉，然后才进行正式分词。在上面的例子中，var 会先被切头去尾，也就变成 “1:2”，才进行正式的分词，也就最终被分成了 1 和 2 两个字段了。注意，首尾的空白符序列只包含由 IFS 中包含的空白符组成的序列，比如上面的例子改一下：

$ var=$'\n1:2\n' IFS=$'\t:'

$ printf "<%s>\n" $var

由于 \n 没有包含在 IFS 中，所以 var 首尾的 \n 也就不会被去掉。关于这点，Bash 的文档记载有 bug，我给提 bug 修复了。

最后说一句，本文中所举的例子都是用 parameter expansion 来演示的，command substitution 和 arithmetic expansion 虽然没有演示，但同样适用。