TuriX-CUA 开源：AI 数字牛马帮你操作电脑，macOS 成功率 80%+ 登顶 OSWorld 第 3

最近，我在 GitHub 上发现了一个叫TuriX-CUA的开源项目，一款 AI 驱动的数字牛马。

由 TurixAI 团队开发的桌面自动化项目，它的核心理念很简单：让 AI 像人一样操作电脑。
•TuriX-work：面向办公场景的任务执行与流程编排，专门处理日常办公事务
•TuriX-code：面向开发场景的编码、自动化与工程执行，帮你搞定各种开发任务
你只需要用自然语言描述你的任务，它就能理解你的意图，然后在你的桌面上执行各种操作——点击鼠标、敲击键盘、打开应用、填写表单，等等等等。
更厉害的是，TuriX 不需要针对每个应用开发特定的API，只要是人能操作的界面，它都能处理。甚至你公司内部的工具系统，通通不在话下。
在 OSWorld 基准测试上，TuriX 取得了 64.2% 的成功率，在所有提交的 Agent 中排名第 3。但更值得注意的是，TuriX 是专门为 macOS 优化的，在他们自己的 OSWorld 风格 Mac 基准测试上，成功率居然达到了 80% 以上——而且他们完全没有使用任何 Linux 训练数据！

核心亮点

•SOTA 默认模型，性能碾压：内置的默认模型在 macOS 上的成功率和速度，都已经超越了此前的开源 Agent 比如 UI-TARS。
•无需应用专用 API，通用才是王道：通过视觉识别界面元素，然后进行操作。只要你能看到、能点击，TuriX 就能操作。
•可热插拔的"大脑"，灵活度拉满：改改配置，就能轻松替换掉默认的视觉语言模型策略，一行代码都不用改。
•MCP 就绪，生态无限扩展：可以把它和 Claude for Desktop 或者任何支持 MCP 的 Agent 连接起来。让 Claude 帮你思考和规划，然后 TuriX 负责具体执行。
•Skills，让专业任务更可靠：加载 Skills 处理一些专业或复杂的任务时，成功率会更高。

快速上手

TuriX 现在已经支持 macOS、Windows 和 Linux 三大平台了。
这里以 macOS 为例，其他平台可以参考对应分支的文档。
方式一：下载应用（推荐，最简单）
直接去官网 turix.ai[1]下载应用安装包，安装后按照提示配置就能用了。

方式二：手动安装
① 创建 Python 3.12 环境
首先克隆仓库，然后创建环境：

conda create -n turix_env python=3.12
conda activate turix_env
pip install -r requirements.txt

② 授予 macOS 权限
这一步很重要，因为 TuriX 需要控制你的电脑：
辅助功能权限：

1. 打开系统设置 ▸ 隐私与安全性 ▸ 辅助功能
2. 点击 + 号，添加 Terminal、VS Code 或你使用的 IDE
3. 如果还不行，也添加 /usr/bin/python3
   Safari 自动化权限（如果需要用 Safari）：
4. Safari ▸ 设置 ▸ 高级，开启"显示针对 Web 开发者的功能"
5. 在开发菜单中启用"允许远程自动化"和"允许来自 Apple Events 的 JavaScript"
   ③ 配置并运行
   编辑examples/config.json，配置你的任务和 API：

{
  "agent": {
    "task": "open system settings, switch to Dark Mode"
  },
  "brain_llm": {
    "provider": "turix",
    "model_name": "turix-brain",
    "api_key": "YOUR_API_KEY",
    "base_url": "https://turixapi.io/v1"
  },
  "actor_llm": {
    "provider": "turix",
    "model_name": "turix-actor",
    "api_key": "YOUR_API_KEY",
    "base_url": "https://turixapi.io/v1"
  },
  "memory_llm": {
    "provider": "turix",
    "model_name": "turix-brain",
    "api_key": "YOUR_API_KEY",
    "base_url": "https://turixapi.io/v1"
  },
  "planner_llm": {
    "provider": "turix",
    "model_name": "turix-brain",
    "api_key": "YOUR_API_KEY",
    "base_url": "https://turixapi.io/v1"
  }
}

API Key 可以从 turix.ai/api-platform/[2]获取。登录后在页面底部就能找到。
如果你想用本地 Ollama 模型，也可以这样配置：

{
  "brain_llm": {
    "provider": "ollama",
    "model_name": "llama3.2-vision",
    "base_url": "http://localhost:11434"
  }
}

④ 启动 Agent
配置好后，运行：

python examples/main.py

然后就可以看着你的电脑自己干活了！🎉
进阶功能：使用 Skills
如果你想让 TuriX 更好地处理特定任务，可以试试 Skills 功能。
首先在examples/config.json中启用：

{
  "agent": {
    "use_plan": true,
    "use_skills": true,
    "skills_dir": "skills",
    "skills_max_chars": 4000
  }
}

然后在skills/文件夹下创建 Markdown 文件，比如skills/github-web-actions.md：

---
name: github-web-actions
description: 用于在浏览器中操作 GitHub（搜索仓库、点 Star 等）。
---
# GitHub Web Actions
- 打开 GitHub，使用站内搜索并进入仓库页面。
- 若需要登录，先向用户确认再继续。
- 在继续之前确认 Star 按钮状态。

这样 TuriX 在处理 GitHub 相关任务时，就会参考这个技能手册了。

写在最后

TuriX-CUA 是一个让我真正看到桌面自动化未来的项目。
它性能强悍、灵活易用、生态丰富，而且完全开源免费。无论是想提高工作效率，还是想研究 Agent 技术，这个项目都值得你关注。
桌面自动化这个领域，我觉得现在才刚刚开始。随着 AI 技术的不断进步，未来我们的电脑一定会越来越"懂"我们，帮我们处理越来越多的重复性工作，让我们能把时间花在更有创造力的事情上。
如果你也对这个项目感兴趣，不妨去 GitHub 上给它点个 Star，或者直接下载体验一下。
GitHub：https://github.com/TurixAI/TuriX-CUA
官方网站：https://turix.ai