编程 BOM 的三个字节在定什么:UTF-16 端序、U+FFFE 判据与 codec 差异

2026-11-21 00:04:00

BOM 的三个字节在定什么:UTF-16 端序、U+FFFE 判据与 codec 差异

BOM 是 Byte Order Mark,字符 U+FEFF。它只在文件/流的开头才有意义,正文里出现就是零宽不换行空格。1993 年 UCS-2/UTF-16 时代,文本文件没有文件头可以放字节序声明,BOM 就是那个声明。

四种(准确说是五种前缀)字节序列

编码开头字节
UTF-8EF BB BF
UTF-16LEFF FE
UTF-16BEFE FF
UTF-32LEFF FE 00 00
UTF-32BE00 00 FE FF

UTF-32LE 的前两个字节和 UTF-16LE 完全一样,区别在紧随其后的 00 00;UTF-16LE 正常文本里不会连续出现两个 NUL 字节,所以往后看两个字节能拆开这两种情况。

端序读反:U+FEFF 变成 U+FFFE

U+FEFF 的字节镜像序列是 U+FFFE,Unicode 里把它保留为非字符(noncharacter),不分配给任何字符。用错端序去读带 BOM 的 UTF-16 流,BOM 的两个字节被按相反顺序拼成码元,解出来就是 U+FFFE。

这条性质可以直接当判据用:解码后第一个字符是方块、问号、豆腐块,或者字符串以 \ufffe 开头,基本就是端序读反了,而不是「编码猜错了」。反过来,首字符是 \ufeff 则说明读的时候用的是不带 BOM 处理的显式端序 codec,BOM 被当普通字符留下了。

UTF-8 的 EF BB BF 是签名,不是字节序标记

UTF-8 的码元是单字节,字节流顺序固定,不存在「高字节在前还是低字节在前」的选择,所以 EF BB BF 严格来说不承担定端序的职责,它是 UTF-8 签名,作用是让读取方快速判定「这段是 UTF-8」。

Unicode 标准允许在 UTF-8 文本前加 BOM,但不推荐。真正硬性的约束在 JSON 上:RFC 8259 §8.1 规定实现不得在网络传输的 JSON 文本开头添加字节序标记(U+FEFF);出于互操作考虑,解析实现可以忽略 BOM 而不是报错。这是 RFC 里少见的 MUST NOT,所以一端加 BOM、一端按规范严格解析,是很典型的互通故障。

声明与 BOM 冲突时谁说了算

W3C 的建议按声明层级分:

  • UTF-8:尽量避免 BOM。
  • UTF-16:上层只声明 UTF-16、没指明 LE/BE 时,BOM 是必需的——否则读取方无从判断端序。
  • 已经声明 UTF-16BE / UTF-16LE:不应再加 BOM,声明已经说清楚了,BOM 是冗余,还可能和声明矛盾。
  • HTTP 头给了 charset=UTF-16LE:同理,不该再在正文里塞 BOM。

HTML 的情况更直接:编码嗅探算法里 BOM 的优先级高于 ``。一个带 BOM 的页面,即使 meta 写着 GBK,浏览器也会按 UTF-8 解。声明和 BOM 打架时,BOM 通常赢。

codec 层的实现差异

Python

open(path, encoding='utf-16')      # 读时消费 BOM 并按 BOM 选端序;写时也会写出 BOM
open(path, encoding='utf-16-le')   # 不消费 BOM,BOM 变成字符串首字符 \ufeff

json

  • json.loads() 收 bytes 时走 detect_encoding,认 BOM,能正常解析。
  • 收 str 时若首字符是 \ufeff,直接报 Unexpected UTF-8 BOM (decode using utf-8-sig)。

Go

encoding/json 遇到 BOM 报 invalid character 'ï' looking for beginning of value。0xEF 按单字节解出来是 latin1 的 ï,报错信息因此看着莫名其妙。

PHP

json_decode 遇到 BOM 返回 null,json_last_error() 是 JSON_ERROR_SYNTAX,不提示是 BOM 的问题。

排查与清理

先看字节:

xxd file | head -1
file -i file          # 看 charset 判定

去 BOM,Python 走 utf-8-sig 读、utf-8 写:

text = open(src, encoding='utf-8-sig').read()
open(dst, 'w', encoding='utf-8').write(text)

Go 用手工裁剪加校验:

b = bytes.TrimPrefix(b, []byte{0xEF, 0xBB, 0xBF})
if !utf8.Valid(b) {
// 剩下的不是合法 UTF-8,编码判断有问题
}

bytes.TrimPrefix 只在确实有前缀时裁掉,不会误伤正文里合法出现的 U+FEFF;裁完再做 utf8.Valid 校验,能顺带发现「其实是 UTF-16 被当 UTF-8 读」这类更早的问题。

参考

复制全文 生成海报 字节序标记 BOM UTF-16 字符编码 Go Python PHP

推荐文章

程序员茄子在线接单