Unsloth（AI 模型运行与微调框架）

官方介绍

Unsloth 是开源的大模型微调与运行框架（Apache-2.0，2023-11 创建，GitHub 77,000+ 星），主打「训练快 2 倍、显存省 70%、不损失准确率」。支持 LoRA / QLoRA / 全参微调、预训练与强化学习（GRPO、DPO 等），也用于本地运行与导出模型。官方明确支持 macOS：训练、MLX 推理、GGUF 推理全部支持。

核心功能

• 微调加速：LoRA、QLoRA、全参数微调、预训练、RL / GRPO / DPO、FP8
• 三种形态：Unsloth Desktop（macOS / Windows 桌面 App）、Unsloth Studio（浏览器界面，功能最全）、Unsloth Core（pip 库）
• 导出与部署：GGUF、NVFP4 等格式；unsloth start claude / unsloth start codex 一条命令把本地模型接给编码 Agent
• 模型覆盖：DeepSeek、Qwen、Gemma、gpt-oss、Llama、TTS 及嵌入模型

使用说明

• Desktop：下载 .dmg 拖进「应用程序」；Studio：curl -fsSL https://unsloth.ai/install.sh | sh；Core：pip install unsloth
• 内存档位（官方 Qwen3.8-27B 硬件表）：24GB 内存的 Mac 可跑 27B 4-bit；Qwen3.8-Flash-Next（125B）量化最低档 72.5GB，64GB 统一内存仍不够
• 安全提醒：官方警告 --secure / --cloudflare / 非 loopback 的 -H 会默认开启服务端工具，暴露到外网前必须设密码或加 --disable-tools
• 「快 2 倍、省 70%」是 NVIDIA 显卡口径，Mac 走 MLX 后端，加速比不同

官方链接

• 官网：unsloth.ai
• 文档：docs.unsloth.ai
• GitHub：github.com/unslothai/unsloth