如何用 Unsloth 把 Claude Code、Codex 等智能体连接到本地模型?
核心流程只有四步:启动 Unsloth、加载一个本地模型、打开你的项目文件夹,然后运行 unsloth start claude。这样 Claude Code、Codex 等外部智能体就会把请求发到你本地的模型上,而不是云端。适用条件是:你已经装好 Unsloth Desktop(Mac、Windows 或 Linux 均可),并且本地有能跑起来的模型。如果你希望智能体继续用原来的命令行工作流、只是把背后的模型换成自己的,这套方式就是为此设计的。
连接前需要准备什么
- 已安装 Unsloth Desktop。官网提供 Mac(Apple Silicon 和 Intel 的 .dmg)、Windows 10 及以上(.exe)、Ubuntu 及兼容发行版(.deb)的下载。
- 本地硬件能承载你要加载的模型。Unsloth 内置模型中心,可按设备选择合适的量化版本下载。
- 一个已经用 Claude Code 或 Codex 的项目文件夹,方便连接后直接干活。
具体连接步骤
- 启动 Unsloth:打开桌面应用,进入本地工作区。
- 加载模型:在模型中心选择并加载一个模型。这一步决定了智能体实际调用的是哪个模型。
- 打开项目文件夹:把你要让智能体操作的项目目录打开,智能体后续就在这个上下文里工作。
- 运行启动命令:在终端执行
unsloth start claude,把 Claude Code 接到刚加载的本地模型上。Codex 及其他智能体同理,用unsloth start系列命令接入。
预期结果是:智能体的对话和工具调用都走本地模型,你的代码和提示不出本机。
换模型不用改智能体工作流
这是这套方案比较实用的一点:你可以在 Unsloth 里直接更换模型,而智能体那一侧的工作流不需要跟着改。也就是说,今天用某个量化版本,明天换成另一个模型,Claude Code 的用法、项目配置都保持原样。对需要反复试不同模型效果的人来说,省掉了每次重配工具链的麻烦。
现有 OpenAI 接口代码可以直接复用
Unsloth 对外暴露了 OpenAI 兼容的 API。这意味着:
- 你已有的应用、脚本、SDK,只要原本是调 OpenAI 接口的,通常只需把请求地址指向本地,就能连到本地模型。
- 不必为本地模型单独写一套调用逻辑。
对已经有一堆基于 OpenAI SDK 的自动化脚本的用户,这条能省下大量改造工作。
适合谁用
- 想让智能体在本地跑、数据不出机器的开发者。
- 已经习惯 Claude Code、Codex 命令行工作流,不想换工具的人。
- 需要在多个模型之间快速切换做对比、又不想每次重配环境的人。
- 有现成 OpenAI 接口代码、想低成本迁移到本地模型的项目。
常见卡点
- 模型没加载就去连智能体:连接的前提是本地已经有一个可用的模型在跑,否则智能体没有可调用的后端。
- 硬件带不动所选模型:不同量化版本对显存/内存要求不同,选错版本会加载失败或极慢,建议按设备挑对应量化。
- 以为要改智能体配置:多数情况下换模型只需在 Unsloth 侧操作,智能体工作流不用动;如果发现要改,先确认是不是 API 地址没指对。
如果你还想把本地模型开放到手机或其他设备上查看,Unsloth 也支持通过免费的 Cloudflare 隧道以 HTTPS 方式对外提供本地或 Colab 模型,方便远程检查运行情况。