AI 内容被判"模板化"：n-gram 数学找出指纹并修复生成管线

Google 不读你的文章，它给文章取指纹。作者一批 B2B 对比文章遭遇了 SEO 里最安静的惩罚：索引正常、渲染正常、排名全无——五个域名、三个月、约 5 万展示、7 次点击，平均位置 76。查遍排名无果后回头审计内容，发现尴尬的真相：AI 生成的文章共享句子级指纹。不是抄袭——每篇都过得了所有查重工具显示"唯一"——但结构上，几百篇其实是同一篇文章换了不同的词。

算法眼中的"模板化"是什么

规模化查重不比较整篇文档，比较 n-gram——n 个连续单词的滑动窗口，通常作为 "shingle" 集合。两个文档的 shingle 集重叠度高（用 Jaccard 相似度衡量：Jaccard(A,B) = |A∩B| / |A∪B|）就是"近重复"。

8-gram 是句子级工作的好窗口：足够长——共享一个 8 词序列几乎不可能是巧合；足够短——能抓住部分改写。两个段落共享大部分 8-gram，对排名系统而言就是同一段落，不管周围词怎么变。

完整检测器（数学简单到没有借口不跑）：

import re
def ngrams(text: str, n: int = 8) -> set:
    words = re.sub(r"[^\w ]", "", text.lower()).split()
    return {" ".join(words[i:i+n]) for i in range(len(words) - n + 1)}

def jaccard(a: set, b: set) -> float:
    return len(a & b) / len(a | b) if (a | b) else 0.0

对内容批次里每对同位段落跑一遍，就得到语料库"模板化程度"的热力图。

扫描结果：语料库是一台复印机

约 300 篇文章、三个站点：跨文章段落 Jaccard=1.00 的有几百对（逐字相同的句子散落几十篇文章里）；第一次修复（加变体）后仍有几十对 Jaccard ≥ 0.5（查重开始感兴趣的门槛）；"X vs Y" 文章的 H2/H3 结构骨架在类目里 100% 相同。每篇都"唯一"，整个语料库是一台复印机。

修复尝试 1：加变体，失败

从每块 3 个变体加到 6 个，扫描几乎没动。两个教训：长槽主导指纹——一个 20 词的句子槽贡献自己 13 个 8-gram（该段落 shingle 集的 60–70%），6 个变体配 70+ 篇文章，必然有文章撞同一个变体；轮换只产生 k 个不同骨架——article_index % k 意味着 k 个变体只有 k 篇不同文章，无限循环，共享变体的两篇 Jaccard 必高。

修复尝试 2：短槽 + 组合空间，成功

把变化单位从"整段"翻转为"短槽"：每段拆成 3–4 个短槽（每个 ≤12 词），每槽 3–6 个独立措辞，按文章哈希选择：

import hashlib
def pick(options, article_slug, slot_name, reseed=0):
    key = f"{article_slug}:{slot_name}:{reseed}".encode()
    h = int(hashlib.md5(key).hexdigest(), 16)
    return options[h % len(options)]

组合数学接管其余：4 槽段落每槽 3–6 个选项 → 216–1,296 种不同组合，对 70 篇文章而言空间比需求大 3–18 倍。经验法则：槽组合空间必须超过文章数并留余量，否则你造的是轮换器，不是生成器。

还有一个差点逼疯作者的约束求解：单槽独立还不够——两篇文章可能抽到同样的槽选项、同样的顺序而碰撞，需要额外的冲突消解步骤（对候选组合做全对 Jaccard 检查，直到抽到与已选文章都显著不同的组合）。

实践建议

内容生成管线上线前先跑 n-gram/Jaccard 扫描当"指纹门禁"；模板块的变体设计按"短槽 × 组合数 > 文章数"来算，而不是盲目加整段变体；结构骨架（标题序列）也要纳入变化，避免 H2/H3 序列全类目雷同。这套方法同样适用于任何批量生成内容的去模板化质检。

来源：My AI Content Got Flagged as Templated. The Fix Was N-gram Math. - DEV Community