资讯 MySQL 原生向量索引:四种算法、两种存储形态,和已经能用的 MyVector

2026-11-18 21:31:12

MySQL 原生向量索引:四种算法、两种存储形态,和已经能用的 MyVector

MySQL 开发流程今年有几处变化:开发迁到 GitHub 公开的 mysql-server 仓库,办了两次 Contributor Summit,9.7 LTS 与 26.7 转向社区版。这里聚焦四个战略方向中的 AI & Cloud,主角是 VECTOR INDEX。

项目信息:

项目动态

MySQL 开始发周报,列出当周活跃的每个 GitHub issue 与 PR;仓库里接上了 MySQL Test Run、formatter、OCA bot。目标是把开源 MySQL 的全部开发搬到公开仓库,补丁流向会彻底反转,社区版仓库成为所有开发的上游。

向量就是一列数

v = (1.0, 4.12, 0.0, 0.23, 1.23)

二维向量可以当地理坐标(纬度、经度),三维可以当楼层。AI 里的向量有几百到几千个数字,称 N 维。把 distance 函数从 2–3 维扩到上千维,数学是一样的——MySQL 从空间索引开始就在做类似的事,只是那里的维度是 2 而不是 N。

向量能用于 AI,是因为它把一切编码成数字。文本可以用词频向量(bag of words),每篇文章表示成一个向量之后,向量之间的接近程度就代表文章的相似程度。这种向量叫 embedding。模型怎么训练不是数据库关心的事,数据库只负责存向量、按距离取回来。

数据库要做的是距离计算:欧氏距离在 N 维同样成立,此外还有别的距离函数;选哪个距离函数,对索引和搜索的工作方式影响不大。AI 从库里取的通常是「离给定点最近的一组向量」,也就是作为知识库的相似内容。

需求文档里的黄金标准是 hybrid search:向量检索的参数能和 SQL 里所有其他谓词一起使用。理想情况下,优化器能在向量索引和其他所有索引之间做选择;再进一步,索引结构本身同时嵌入向量、数值和词——就像复合索引常比单列索引更高效。

归纳成 SQL:

… ORDER BY distance([input point p], [vector column v]) LIMIT k

唯一特殊的地方是向量与距离位于 N 维空间。

四种算法:IVF、ScaNN、HNSW、Vamana

IVF(倒排文件)属于聚类/分区类索引:查询落在稀疏区域或分区边缘时,结果可能略微不准。

ScaNN 来自 Google,重点在「量化」——在最大化压缩率的同时最小化量化误差,公开报告显示在不同 benchmark 上有 4–8 倍加速。ScaNN 已被 Google 开源,是提交给 MySQL 的一个 PR 的核心,但要经过严格 review 与 benchmark,并与其它方案对比。

Vamana 由 Intel 提出,属于图类索引。

于是形成 IVF/ScaNN 对 HNSW/Vamana 的局面。MySQL 也可能四个都收,或至少提供一个可插拔 API,让你选自己喜欢的向量索引库。

在 InnoDB 里怎么建向量索引

相关讨论主要在 GitHub discussion 里进行,内容集中在 SQL 语法设计、数学、InnoDB 内部结构和 benchmark。这个把向量索引加进 InnoDB 的项目,参与者包括 AWS(Hugo Wen 在五月 Contributor Summit 上的分享启动了这个项目)、Oracle InnoDB 团队、Google Cloud SQL 团队(ScaNN)、Intel 与 Percona(本次峰会带来贡献);还有伊斯坦布尔的独立开发者 Alkin Tezuysal,他的 MyVector 插件跑在所有大厂前面,三月起已在生产使用。

另一场讨论是索引的存储形态:做成链接到主表的 InnoDB 表(sub-table),还是直接用 InnoDB 二级索引页格式。后者听起来「更正统」,但会在锁与可见性这些敏感区域带来大得多的工作量。

对用户最有意思的是 CREATE VECTOR INDEX,以及从索引里 SELECT 向量的语法。工作在进行中,可以在 project board 上跟进。

MyVector 与其它插件实现

社区已同意在 MySQL 核心做原生索引类型(InnoDB 二级索引或 sub-table)。同时还有 MyVector:Alkin Tezuysal 写的 MySQL 插件 + UDF。插件的好处是任何人都能写、都能用,不需要 committer 甚至管理层的许可。

MyVector 支持 HNSW 与 IVF,支持近似与精确 kNN 搜索、多种距离函数,并在基础数据变化时通过观察 binlog 自动维护索引。它相对原生项目有个很重要的优势:现在就能下载使用。

即使 InnoDB 团队在做原生向量支持,也不妨碍社区实现其它算法,尤其是 HNSW 这种广为所知的算法。

还没定的事

四种业界算法摆在桌上:选一个赢家,还是做可插拔 API 让用户自己换?hybrid search 要做到多复杂?这些还在回答。

复制全文 生成海报 MySQL 向量检索 InnoDB 数据库

推荐文章

程序员茄子在线接单