编程 OpenRefine:浏览器操作的数据清洗与转换工具

2026-09-05 04:45:19

OpenRefine:浏览器操作的数据清洗与转换工具

OpenRefine 是一款开源的数据清洗工具,通过浏览器图形界面和表达式语言完成数据集的清洗、转换、扩展与探索,不需要编写完整程序。项目主要使用 Java 和 JavaScript 开发,协议为 BSD 3-Clause,代码托管在 GitHub:

https://github.com/OpenRefine/OpenRefine

功能特性

  • 跨平台:支持 Windows、macOS、Linux,通过浏览器访问界面。
  • 数据源:支持 CSV、TSV、JSON、XML、ODS、Excel、数据库(MySQL、MariaDB、PostgreSQL、SQLite 等)、URL、RDF、Google Sheets、Wikibase,也可通过插件扩展更多格式。
  • 数据转换:提供大小写转换、移除空白字符、字符串替换/截取/拼接、拆分列、合并列等清洗与标准化操作。内置 GREL 表达式语言,适合实现更复杂的数据处理逻辑。
  • 数据筛选:通过数据分面和筛选器,按某列的值快速查看与过滤数据子集,例如筛选“状态”为“未知”或空值的记录。
  • 数据分组:通过聚类自动识别拼写相近但不完全一致的值,比如“Microsoft”和“Microsft”,并支持一键合并。
  • 数据校正:将数据集与外部数据源做匹配和链接,补充上下文信息与唯一标识符。
  • 版本历史:记录每一步操作,支持查看完整操作历史、随时撤销或重做;也可以导出整个处理过程,用于其他项目重复执行。
  • 导出数据:处理后可导出为 CSV、TSV、HTML、ODS、Excel、SQL 语句、Wikibase 等格式。
  • 扩展插件:通过安装插件扩展额外能力,例如 AI 大语言模型、Javascript 表达式等。

下载安装

官方下载地址:

https://openrefine.org/download

选择对应操作系统的安装包。Windows 下安装后运行 openrefine.exe,在浏览器访问:

http://127.0.0.1:3333/

界面可通过“Language settings”切换为中文,之后点击“新建项目”即可导入数据。

官方文档:https://openrefine.org/docs

总结

OpenRefine 提供了一套免费、灵活的数据清理与预处理方案,适合需要在图形界面下完成数据集清洗和转换的场景。

推荐文章

程序员茄子在线接单