Strata（Qwen3.8-Flash-Next 本地推理引擎）

官方介绍

Strata 是 2026-09-24 发布的开源本地推理引擎（GitHub Niko1221/Strata，MIT 许可，C++ 实现、基于 llama.cpp / ggml 部件），专注一件事：把 125B 的 Qwen3.8-Flash-Next（MoE，激活 6B）跑在 12~24GB 显存的消费级显卡上，提供 OpenAI / Anthropic 兼容的本地接口。发布 9 天即获 6,900+ 星。

核心功能

• 两级存储专家调度：显卡放「常用专家」、内存当储物间、SSD 放大查找表，CPU 同时算剩余专家（模型共 24,576 个专家，每 token 激活 10+1）
• 先猜后验：小模型先草拟、大模型一次性批量验证，官方称提速 1.6~1.8 倍
• 长文大块读：一次读 8,192 token，预填充可达每秒 1,000+ token
• 一键安装：Windows START-HERE.bat / Linux setup.sh；支持指定 AMD 显卡（图片生成走 CPU）
• 官方实测：RTX 5070 12GB 上 94 tok/s（Q2_0 量化）；媒体实测 60~95 tok/s

使用说明

• 硬件门槛：Windows 10/11 或 Linux（x86-64 + AVX2）+ NVIDIA RTX 20/30/40/50 ≥12GB（或指定 AMD 卡）；内存 32GB 起跑 Coder 档、64GB 跑全部尺寸
• macOS 无安装脚本，Apple Silicon 装不了
• 单并发设计，一次只处理一个请求，不适合当多用户生产服务
• 首次启动加载 35~55GB 进内存，1~3 分钟内电脑可能短暂无响应（官方说明属正常）
• 中文任务建议用 Q2_0 / IQ2_XS / IQ3_S 量化档（Coder 档砍了一半专家，中文明显变弱）

官方链接

• GitHub 仓库：github.com/Niko1221/Strata