我把 Strata 主程序 ZIP 也放进网盘了,打不开 GitHub 的朋友可以从这里下载。先看网盘标注的版本;旧 ZIP 不会因为教程更新就自动变成新版,Mac 需要 v0.1.44 或之后包含 Mac 支持的源码。第一次安装,先下载主程序压缩包并解压,再按下面的步骤,让安装器从国内魔搭下载模型;不用先下载几十 GB 的模型文件。
Strata 主程序 ZIP 与模型文件
Strata 可以让电脑在本地运行大模型Qwen3.8-Flash-Next,模型能力和排行可以来👉这里查看,本地部署能提供基本的网页聊天,查询资料,识别图片,也能接入本地电脑agent智能体编程助手等,帮你干活整理资料等。第一次安装,先检查配置,再按步骤操作;遇到问题可以直接跳到后面的 QA。
Niko1221/Strata · 向作者致敬
普通游戏电脑运行千亿参数本地大模型
国内用户观看 YouTube 可能需要科学上网。 若预览黑屏或加载失败,可直接 观看抖音版视频。
AI 玩家交流群
一起吹牛不懂的可以进群问,大家一起交流 Strata 部署、硬件选择和 Agent 接入。群里没有任何收费项目,纯玩家交流。
10 月 26 日前有效
资料说明
这篇教程已在 2026 年 10 月 13 日按官方文档和最新正式版 v0.1.44(10 月 13 日发布)更新。新版加入了 Apple Silicon Mac 的实验性支持,具体限制见下面的 Mac 安装页签。配置要求以官方说明为依据;QA 里也整理了我在抖音视频评论中看到的问题。视频录制得更早,界面和速度可能与现在不同,安装时按下面的文字步骤来就好。文中的新版说明来自官方文档,不代表我已经逐台实测。
已部署用户:这次更新值得关注什么?
先看 已经安装了?怎么升级,不用重新下载几十 GB 的模型文件。更新后用同样的问题试一试;每台电脑的提升不同,不是所有配置都会翻倍。小白先用默认设置,跑通了再调参数。
升级前核对已知问题
官方 v0.1.44 发布说明还列出两种配置需要等修复:Linux+CUDA 12.1 源码编译可能失败;不支持 AVX2 的旧 CPU 搭配部分 Pascal 旧显卡可能启动失败,后一种先保留 v0.1.43.1。Mac M1/M2/M3 的限制同样见 发布说明顶部。下面不会把这些配置当成已经验证的小白安装方案。
先认清几个词
显存是显卡自己的内存;系统内存是内存条容量;上下文是一次能处理的文字量;Agent是能调用工具、读文件或执行任务的 AI 助手。
Windows/Linux 先看这张表,Mac 看表后单独的说明。Mac 的统一内存不能直接套用 PC 的“显存+内存”选择方式。
| 项目 | 要求、配置或模型选择 | 注意事项 |
|---|---|---|
| 显卡 · NVIDIA(英伟达) | RTX 20、30、40、50 系列;推荐 12GB 及以上显存 | 8GB 能运行,但较慢 |
| 显卡 · AMD | RX 7900 XT/XTX、RX 7800 XT/7700 XT、RX 9060 XT、RX 9070/9070 XT、Radeon AI PRO R9700、RX 6800/6900 系列;推荐 12GB 及以上显存 | 部分型号由显卡所有者或社区报告验证,不代表作者逐卡测试 |
| 显卡 · 旧卡、Intel Arc、特殊核显 | 另有实验路径,需按对应文档配置 | 不作为本文的小白安装方案 |
| 多卡 | 支持两三张 NVIDIA 或多张 AMD 卡分担模型 | NVIDIA 安装器会提示选卡;AMD 通常需显式指定 --gpus,收益取决于配置 |
| 系统内存 · 32GB | 先选 Coder | 适合代码,中文和通用能力较弱;24GB 大显存卡另有低内存模式,可尝试 Q2_0/IQ2_XS |
| 系统内存 · 48GB | IQ2_XS,或偏重速度的 Q2_0 | 按用途选择版本 |
| 系统内存 · 64GB | 按安装器推荐项选;新版内存够用时推荐 IQ3_S,也可选 IQ2_XS/IQ3_XXS | IQ3_S 占用较大,少开后台程序;想省内存可以选更小的版本 |
| 系统内存 · 96GB 以上 | IQ3_S,或 Unsloth UD-IQ4_XS / UD-Q4_K_XL | UD-IQ4_XS 下载约 94GB,UD-Q4_K_XL 约 111GB;v0.1.44 已开放更多平台,Intel 的大模型完整运行仍缺实测 |
| 系统 · PC | Windows 10/11 或 Linux | Ubuntu 22.04/24.04、Debian 12/13 的自动安装较完整 |
| CPU | 支持 AVX2 的 Intel/AMD 64 位处理器 | 预编译引擎要求;无 AVX2 的旧 CPU 自 0.1.39 起可尝试实验性本机编译,速度较慢 |
| 驱动 | NVIDIA 常规路径要求 580 或更新版本;AMD 使用对应驱动 | AMD 按官方文档核对 |
| 硬盘 | 优先 NVMe SSD;模型约 70–80GB,辅助文件约 6GB,看图再约 1GB | AMD Linux 环境可能另占约 10GB,部分 Q2_0 配置还会生成约 40GB 文件;安装前按所选版本预留空间 |
| 官方测试配置 · NVIDIA | RTX 5070 12GB+Ryzen 5 7600+64GB 系统内存 | 测试配置,不是最低要求;本文未注明系统 |
| 官方测试配置 · AMD | RX 9070 XT 16GB+Ryzen 9 3900X+47GB 系统内存;Linux | 测试配置,不是最低要求 |
Strata 硬件要求与模型选择
不确定时怎么选
这些模型名称是不同压缩版本。不确定就优先用安装器推荐项。显存和系统内存是两回事,不能直接相加判断能否运行。
苹果 M 系列芯片+macOS 15 或更新系统。在左上角苹果菜单点“关于本机”,就能看到芯片和内存。新版用 Metal,也就是苹果的图形计算接口,不需要 NVIDIA 显卡或 CUDA。v0.1.44 的 M1/M2/M3 用户先等修复;当前官方主要实测的是 M4 Mac mini 32GB 和 M5 Max 128GB。
| Mac 统一内存 | 起步选择 | 先知道这些 |
|---|---|---|
| 32–48GB | 小内存读 SSD 路径,可先看 Q2_0 | 32GB M4 mini 已实测,速度较慢;36GB 等其他容量不能直接保证同样体验 |
| 64GB | Q2_0 | 给 macOS 和其他程序留余量,不套用 PC 的 64GB 模型建议 |
| 96GB | IQ3_S | 官方推荐项之一 |
| 128GB 以上 | IQ3_S,或 Unsloth UD-Q4_K_XL | 后者更大,下载约 111GB;更大的 Q5/Q6 即使在 128GB 上也可能读 SSD |
小内存 Mac 把模型放在内置 SSD,不要先拿移动硬盘试。Q2_0/IQ3 系列下载约 66–84GB,辅助文件还要空间;小内存模式可能另外生成约 34–40GB 文件,不能只按压缩包大小留空间。详细依据:官方 Mac 文档。
让本地 Agent 帮忙部署
可把下面这段话交给电脑上的 Agent,让它按官方 AI_SETUP.md 检查显卡、内存和磁盘,再选择合适模型:
帮我在这台电脑上部署 Strata。我在国内,已从网盘下载并解压主程序,请先阅读解压目录里的 docs/AI_SETUP.md,检查硬件、可用空间和下载地址能否访问。安装时用 --source modelscope 从国内魔搭下载模型,再启动并说明客户端如何接入。官方项目:https://github.com/Niko1221/Strata 。
我把 Strata 主程序 ZIP 也放进网盘了,打不开 GitHub 的朋友可以从这里下载。先看网盘标注的版本;旧 ZIP 不会因为教程更新就自动变成新版,Mac 需要 v0.1.44 或之后包含 Mac 支持的源码。第一次安装,先下载主程序压缩包并解压,再按下面的步骤,让安装器从国内魔搭下载模型;不用先下载几十 GB 的模型文件。
Strata 主程序 ZIP 与模型文件
下面的 IQ2_XS 示例适用于 Windows/Linux,Mac 先看对应系统页签,不要照搬这个模型选项。普通安装器支持的 GGUF 模型,可用 --gguf-dir 指向包含全部分片的目录。例如原版 IQ2_XS,在 Windows 项目目录执行:
START-HERE.bat --setup --source modelscope --family qwen --model IQ2_XS --gguf-dir "D:\models\IQ2_XS"Linux 对应命令:
./setup.sh --setup --source modelscope --family qwen --model IQ2_XS --gguf-dir /data/models/IQ2_XS把路径和模型换成实际下载的版本;Swift、Coder、Unsloth 的 family 也需对应。安装器仍可能下载引擎和 MTP 等辅助文件,下载了 GGUF 不等于已具备所有运行资源。拿不准时,用 START-HERE.bat --inspect "D:\models\实际文件.gguf" 检查文件内容和兼容性(Linux 换为 ./setup.sh --inspect)。
无审查版不是普通安装器菜单选项
如果文件是 OrcaRouter Uncensored IQ3_XXS,需按 官方 ORCA.md 手动流程 使用 tools/iq_pack.py --compat-bf16 转换并单独配置服务。不要改名冒充原版,也不要直接套用上面的 --family qwen 命令。官方验证针对 IQ3_XXS,不能推及其他量化版本;转换也不会恢复原始模型精度。建议新手先跑通安装器推荐的通用模型,再让 Agent 按该文档处理特殊版本。
:::
安装时有哪一步看不懂、遇到报错,可以 扫码进群问,说清楚卡在哪一步,带上报错截图更方便大家帮你看。没有任何收费项目,纯玩家交流,不用担心进群后要买课或付费。
国内用户先看这里
下面按国内用户安装来写:主程序从网盘下载,模型用 ModelScope(魔搭)国内源,命令已经替你加好了。选自己的系统,照着一步步做就行,不用先去 GitHub 下载项目。
网盘里的主程序 ZIP 不等于完整离线安装包。Windows/Linux 首次安装仍可能从 GitHub 下载引擎,并联网安装 Python 等运行组件;Mac 没有现成的引擎包,需要本机编译,还可能从 GitHub 下载 Python 和编译依赖。先照对应系统的步骤操作;如果下载失败,再看下方“下载失败了,先看这里”。有可用的网络代理时,也要确认安装命令所在的终端能访问对应的下载地址。
下载来源依据:官方安装说明。
下载并解压
打开 夸克网盘,下载 Strata 主程序 ZIP 压缩包,这一步不用下载模型文件。右键压缩包,选择“全部提取”,完整解压。打开解压后的文件夹,确认里面能看到 START-HERE.bat;如果外面还套着一层文件夹,就继续打开里面那层。
不要在压缩包里直接运行。能正常访问 GitHub 的朋友,也可以用 官方 ZIP 下载。
复制命令,用国内源安装
在这个文件夹顶部的地址栏输入 cmd,按回车。会打开一个命令窗口,把下面这行复制进去,再按回车:
START-HERE.bat --setup --source modelscope这行命令会指定从国内魔搭下载模型。第一次按这行命令安装,装好后日常使用再双击 START-HERE.bat。
选模型,等待安装完成
拿不准就按回车接受推荐项,上下文也先用推荐值。看不懂英文提示时,Images 是看图功能;只想先试文字聊天,可以选 no,以后再开。
第一次要下载几十 GB,等多久取决于网速。中断后,在同一个文件夹重新执行上面的命令即可继续。不要删除已经下载的文件,也不要同时开两个安装窗口。下载完成后会自动启动;首次加载可能让电脑卡顿 1–3 分钟,先耐心等一会儿。
打开聊天页面
安装完成后通常会自动打开网页;没有打开,就在这台安装模型的电脑上访问 http://127.0.0.1:8080。先发一句“你好”,确认能回答,再试长文和 Agent。
以后怎么用:双击 START-HERE.bat 启动,关闭运行窗口停止。更换模型或修改设置时,再执行 START-HERE.bat --setup --source modelscope,继续使用国内模型源。
从网盘下载并解压主程序
小白建议用 Ubuntu 22.04/24.04。打开 夸克网盘,下载 Strata 主程序 ZIP 压缩包并解压。进入能看到 setup.sh 的那层文件夹,右键空白处,选择“在终端打开”。这样不用执行 git clone,也不用先访问 GitHub。
在这个终端里,先安装基础工具:
sudo apt update
sudo apt install -y git build-essential如果提示输入系统密码,输入后按回车;输入密码时屏幕不显示字符是正常的。这里安装 git 是为后续运行环境准备工具,不需要用它从 GitHub 下载主程序。
用国内源安装
chmod +x setup.sh
./setup.sh --setup --source modelscope第一行给解压出来的脚本加上运行权限,第二行开始安装。拿不准就按回车接受推荐项,上下文先用推荐值;只试文字聊天,Images 选 no。AMD 也用这个入口,第一次准备运行环境可能更久。
下载中断后,回到这个有 setup.sh 的文件夹,重新执行第二行安装命令即可继续。下载和准备完成后会自动启动,不用再开一份。
打开聊天页面
在这台安装模型的电脑上访问 http://127.0.0.1:8080,先发一句“你好”。在没有桌面的远程 Linux 机器上安装,需要按第 3 节设置另一台设备访问。
以后怎么用:在项目目录运行 ./setup.sh 启动;改设置或加模型用 ./setup.sh --setup --source modelscope。Linux AMD 看图使用 CPU,Windows AMD 当前不支持看图。
先确认芯片,别照着 PC 的命令装
以下步骤供 M4/M5 用户尝试,仍是新功能,不保证所有机型都跑通。v0.1.44 已报告 M4/M5 之外的芯片可能回答乱码,M1/M2/M3 用户先等官方 v0.1.44.1 修复;Intel Mac 不能使用这条路径。Mac 暂不支持 Swift、Coder 和 Qwen3.6,先选安装器提供的 Qwen3.8 模型。
确认系统,安装苹果命令行工具
在“关于本机”确认是苹果 M 系列芯片、macOS 15 或更新系统。打开“终端”,复制执行:
xcode-select --install如果弹出安装窗口,按提示完成后再继续;已经安装过就不用重复装。不需要下载完整 Xcode,也不用先装 Homebrew 或 CUDA。
获取源码:下面两种方式选一种
方式一 · ZIP 下载:适合打不开 GitHub,或不熟悉 Git 的朋友。
从 网盘 选择标明 v0.1.44 或之后包含 Mac 支持的主程序 ZIP 并解压;网盘还没同步且能访问 GitHub 时,可用 官方 v0.1.44 源码 ZIP。
在终端输入 cd (后面留一个空格),把这个解压文件夹拖进终端,再按回车,就进入项目目录了。
方式二 · Git clone:适合能在终端访问 GitHub、希望以后用 Git 更新源码的朋友。
先在终端进入你想存放程序的目录,再复制执行:
git clone https://github.com/Niko1221/Strata.git
cd Strata第一行下载仓库源码,第二行进入项目目录。命令行工具安装完成后就有 Git,不用再单独安装。这个方式获取的是主分支代码;如果无法连接 GitHub,改用上面的 ZIP 方式即可。
两种方式不用都做。进入目录后,确认能看到 setup.sh 和 metal/setup_mac.py,然后继续第 3 步。不要下载 Windows 引擎包来给 Mac 用;ZIP 也只解决获取源码,首次准备运行环境仍可能需要访问 GitHub。
用国内模型源安装
chmod +x setup.sh
STRATA_SOURCE=modelscope ./setup.sh --setupMac 用上面这一行指定国内源,不要照抄 Windows/Linux 的 --source modelscope 参数。当前 Mac 安装器不接收那个参数,但支持这里的环境变量。
按提示选模型和上下文,拿不准就接受推荐项。Mac 的引擎要在本机编译,官方说约 1–15 分钟,之后还有模型下载和准备时间。小内存 Mac 会边读内置 SSD 边运行,先用短问题试,不要上来就丢几万字。
打开网页,确认能聊天
在这台 Mac 上打开 http://127.0.0.1:8080,先发一句“你好”。之后的网页聊天和 Agent 接入地址与 PC 相同,可以接着看第 3、4 节。
以后怎么用:在项目目录运行 ./setup.sh 启动;修改模型或设置用 STRATA_SOURCE=modelscope ./setup.sh --setup。Mac 目前一次处理一个请求,其他人排队;不要套用 PC 的 parallel 并发或 --calibrate 校准参数。看图是有限验证的新功能,先跑通文字聊天,再尝试开启。
Mac 相关说明依据:v0.1.44 发布说明、Mac 安装文档、Mac 安装器参数。看不懂或遇到报错可以 进群问,没有任何收费项目,纯玩家交流。
先停掉服务,备份配置,原来的 Strata-data 模型目录保留。从网盘 ZIP 安装的朋友,再下载标明新版本的主程序,解压到一个新文件夹;模型目录继续使用原来的。若原来就放在程序文件夹旁边,新程序也放在同一父目录;自定义模型位置则用 --data-dir 指向原数据目录,不要误删模型后重新下载。
Windows 运行新文件夹里的 START-HERE.bat,Linux/Mac 运行 ./setup.sh,让新版完成环境和配置准备。Mac 会按新源码重新编译 Metal 引擎。对照备份检查端口、密钥和自己加过的参数,先发短问题确认正常,再接 Agent;需要重新设置下载源时,使用上面对应系统的国内源命令。
Git 安装和旧仓库更新的补充说明见 Q33。升级 v0.1.44 前也先看文章顶部的已知问题,已经正常用的配置不用盲目追新。
--source modelscope 的命令,检查能否打开 魔搭网站,网络恢复后重新运行同一条命令。还是装不上,把报错截图或日志、系统和硬件配置发出来,密钥记得遮盖。先看具体哪一步失败,不用一上来就删文件、重新下载整个模型。
Windows/Linux 先测速,再考虑调参数。Windows 双击 BENCH.bat,Linux 运行 ./bench.sh,通常几分钟到十分钟就能生成报告。它会测短聊天、4K/16K 长文和多轮 Agent 任务,也就是连续提问、接着干活的场景。报告方便升级前后对比,或者发出来交流。这个是测速工具,下面的 --calibrate 才是自动调参数,两者用途不同;Mac 不支持这项校准。详见 官方测速说明。
先运行 START-HERE.bat --check(Linux:./setup.sh --check)检查硬件。NVIDIA 可用 START-HERE.bat --calibrate(Linux:./setup.sh --calibrate)测量适合本机的设置,约需 15–30 分钟,慢卡更久;结束后会启动服务,不要再重复启动。AMD 当前不支持这项校准。
NVIDIA 多卡安装器会提示是否共同运行,也可显式传 --gpus 0,1;AMD 多卡需按 多卡说明 指定。留显存给桌面或其他软件可用 --vram-reserve-mib 2048。先保留默认优化,实验性加速开关不保证在所有配置上更快。
同一个问题,更新后回答稍有不同,不一定是装错了。近期版本调整了部分默认加速方式,可能影响模型选词。日常用先保持默认,比较自己的常用任务能不能做好就行。
如果你在 NVIDIA 上做版本对比,可以按 v0.1.42 发布说明,把下面三项合并进 strata-<model>.json 的 env 对象:
"env": {
"STRATA_PREFILL_CPU_SHARE": "0",
"STRATA_ROUTE_TAIL_SKIP": "0",
"STRATA_PCIE_FRAC_DEFAULT": "old"
}它们分别关闭 CPU 分担短提示词、关闭少算部分专家的加速、恢复旧的 CPU/显卡分工规则。只设置第一项已经不够了。这是配置的一部分,不是整个文件;原来有 env 就合并进去,保留其他内容,别重复写两个 env。改之前备份,改完重启服务。
这些设置用于比较相关默认变化,不保证所有硬件、模型和任务都逐字一样,也可能降低速度。小白不用改;v0.1.43.1 已把 STRATA_ADAPT_OVERLAP 加速恢复为默认关闭,不需要为了正常使用另外开启它。详见 v0.1.43.1 修复说明。v0.1.44 的 Unsloth 和 RDNA4 默认设置又有调整,做严格版本对比时还要核对 v0.1.44 的默认变化。
Thinking · 思考强度
简单问题先用 off/low,复杂任务再提高。先保证短问题能正常回答,再发长文或接助手。
A 是部署模型的电脑,B 是用来聊天的电脑或手机。两者需要在同一可互通的局域网,B 不用再下载模型。
关闭服务,备份配置
在 A 关闭服务,备份项目里的 strata-<model>.json 配置文件。
设置监听地址与密钥
Windows 在项目文件夹地址栏输入 cmd 并回车,执行下面命令。把密钥占位文字换成自己的长随机字符串:
START-HERE.bat --setup --host 0.0.0.0 --api-key "REPLACE_WITH_YOUR_LONG_RANDOM_SECRET"Linux 使用相同参数,把入口换成 ./setup.sh。
重新启动原模型
按提示选择原来使用的模型和设置,等待启动。
找到 A 的局域网 IP
在 A 执行 ipconfig(Windows)或 hostname -I(Linux),例如 192.168.1.100。
从 B 访问服务
B 打开 http://192.168.1.100:8080,填写刚才设置的密钥。
地址别填错
B 要填 A 的 IP。127.0.0.1 指当前设备自己,0.0.0.0 只是监听设置。
先检查 A 本机能否正常聊天、IP 是否正确、是否存在访客 Wi-Fi 隔离,再允许服务通过专用网络防火墙。不同地点的电脑需要另配远程访问方案。
在支持自定义模型的助手中填写:
http://127.0.0.1:8080/v1;另一台电脑填 http://A的IP:8080/v1。strata 或 /v1/models 返回的 ID。名称不会切换实际加载的模型。| 客户端协议 | 本机地址或请求路径 | 注意事项 |
|---|---|---|
| OpenAI Chat Completions | Base URL:http://127.0.0.1:8080/v1;请求:/v1/chat/completions | 普通聊天客户端通常选这一项 |
| OpenAI Responses | Base URL:http://127.0.0.1:8080/v1;请求:/v1/responses | Strata 0.1.39 起支持;客户端需启用 Responses 协议 |
| Anthropic Messages | 请求:http://127.0.0.1:8080/v1/messages;Claude Code 的 ANTHROPIC_BASE_URL:http://127.0.0.1:8080 | Base URL 不要重复追加 /v1/messages |
另一台设备把 127.0.0.1 换成 A 的局域网 IP,并填写服务密钥。Strata 的 Responses 实现是无状态的:客户端每次需发送完整历史,不支持 previous_response_id、后台任务或服务端保存回复。托管搜索等工具也不会由这个接口自动提供。详细限制见 官方 API 说明。
先验证,再接工具
先发短问题测试,再尝试读文件或改代码。聊天能连通但工具不能用时,还需检查助手是否支持对应的工具调用。
排错时附上这些信息
系统、CPU、显卡及显存、系统内存、模型名称和日志,密钥先遮盖。
点击问题标题展开答案,再次点击收起。
看完 QA 还是拿不准自己的配置能不能跑,或者有其他不懂的地方,可以 扫码进群问。群里没有任何收费项目,纯玩家交流,大家一起分享经验,少走弯路。
我视频中是 5070 Ti+64GB DDR4,IQ3_S。录屏约 50 多 token/s、日常约 90,属于个人体验,不代表同型号电脑都能达到。
Windows/Linux:32GB 优先选偏代码的 Coder;48GB 可选 IQ2_XS/Q2_0;64GB 可以尝试 IQ3_XXS/IQ3_S。想聊天和处理中文,内存充足时优先通用版本。Mac 不套用这张选择表,尤其不能把 32GB Mac 直接理解成可以选 Coder;看 Q9 和前面的 Mac 配置说明。
有用,可以选择更多模型,减少内存不足带来的卡顿。但容量翻倍不代表速度翻倍,CPU 和内存带宽也有影响。
显存不能直接替代系统内存。16GB 系统内存低于常规建议,可能需要频繁读硬盘;先换更省内存的版本,并查看内存占用。
官方说 NVIDIA 8GB 卡能运行,但较慢。按内存选版本、少发长文,并关闭看图功能。
官方未列出明确验证,不建议小白按这张卡准备部署。旧卡是否能用,需另外确认。
先确认实际显存,笔记本 3060 不能套用桌面版规格。32GB 优先试 Coder,显存不足时体验可能受限。
满足配置要求就能尝试,散热和功耗会影响速度。也可以让台式机运行模型,笔记本只负责访问。
新版已能在苹果 M 系列 Mac 上运行,但仍是实验性支持。要求 macOS 15 或更新系统,Intel Mac 不支持。v0.1.44 已报告 M4/M5 之外的芯片可能回答乱码,M1/M2/M3 用户先等 v0.1.44.1 修复。不想折腾的朋友,仍可以让 Mac 访问另一台已经部署好的电脑。
官方实测了 M4 Mac mini 32GB 的读 SSD 模式,Q2_0 大约 8–14 token/s,速度随可用内存变化,发长文需要等更久。36GB 等其他容量不能保证同样体验;16GB/24GB 机型也不要当成已经验证能顺畅运行。64GB Mac 可从 Q2_0 起步,96GB 再看 IQ3_S。步骤见 按操作系统安装 的 Mac 页签,依据:官方 Mac 文档与 发布说明。
可以,官方支持 Windows 10/11,还要满足显卡、驱动和内存要求。
模型经过压缩,并让显卡、CPU、内存和 SSD 一起工作,不是把全部参数装进显卡。Coder 还减少了部分专家,通用能力会弱一些。
会读取 SSD,但读取不等于大量擦写。下载和系统换页会产生写入;内存不足时尤其要关注实际写入量、温度和卡顿。
有低内存模式,但通常更慢。硬盘不能等效替代内存,长期使用最好选适合现有容量的模型。
近期版本优化了 Windows 直接从 GGUF 模型文件读取的速度。官方在部分低内存读盘测试中,输出速度提高了约 1.35–1.85 倍;这个提升针对特定配置,不代表你的电脑也一定翻倍。已经在这样用的朋友可以先更新,再测一次。依据:v0.1.43 发布说明。
官方的 5070 12GB+Ryzen 5 7600+64GB 内存,短聊天测试中 IQ2_XS 约 79、IQ3_S 约 53 token/s(引擎 0.1.26);Q2_0 约 94 token/s(引擎 0.1.36)。这些是官方历史基准,不是 v0.1.44 的统一实测速度,也不能直接套用到 Mac。token 是模型处理文字的单位,不等于汉字数;长文、思考模式和后台程序都会影响速度。
Mac 差别很大:官方 M5 Max 128GB 的 IQ3_S 示例约 95–103 token/s,32GB M4 mini 则要读 SSD,Q2_0 约 8–14 token/s。这些是官方在两台电脑上的结果,不代表所有 M 系列 Mac 都有同样速度。依据:v0.1.44 Mac 实测。
我建议先测自己的电脑:Windows 双击项目里的 BENCH.bat,Linux 在项目目录运行 ./bench.sh。一般几分钟到十分钟,会测试短聊天、长文和多轮任务,并生成报告。升级前后比较时,模型和设置尽量保持一致。详见 官方测速说明。
先用短问题测试,再只发送相关代码、减少历史,把 Thinking(思考)调到 low。网页 Monitor(监控)可查看是在读文字、思考还是输出。
先换更省内存的版本、关闭后台软件、减少上下文和同时进行的任务。虚拟内存可能避免部分报错,但频繁换页仍会很慢。
更强显卡也会受 CPU、内存和模型限制。项目没有一键叠加 ninfer 的官方流程,先按现有设置排查。
可以接入支持兼容接口的助手,由助手提供读文件、搜索和执行命令等工具;Strata 主要负责模型推理。网页聊天也支持自行配置 MCP 工具,见 官方 MCP 配置。部署完不会自动获得搜索或文件访问能力。接入见第 4 节。
本地推理没有云端 token 费用,但有电费和硬件成本。搜索 API 等外部工具可能另收费。
功率(千瓦)×使用小时数×每度电价格。例如 250W 用 8 小时、电价 0.6 元,约 1.2 元;实际功率需要测量。
适合离线使用、处理本地资料和大量重复任务。偶尔聊天、希望省事,也可以继续用云端。
先试整理笔记、分析一个代码文件或生成小工具,并人工检查。需要自动读文件、改代码时,再接 Agent。
参数大不代表每项任务都更强。用自己的常用任务比较正确率和完成时间,比只看参数量更有意义。
能辅助写游戏和网页代码,但仍需素材、测试与多轮修改。它不是原生视频生成模型,建议从一个小场景开始。
评论里的预测不能作为购买依据。先确定自己缺多少容量,再决定是否升级。
以下是安装和使用中常见的补充问题。
首次加载可能卡顿 1–3 分钟。若十分钟仍无进展,检查可用内存、磁盘和项目里的 strata-<model>.log 日志。
如果已经启动成功,却在发长文后一直卡住,或者服务自己重启,就别一直干等。v0.1.43.1 修复了部分电脑读取长文时被误判成卡死的问题;先按 Q33 更新,再发一个短问题确认正常,最后重试长文。仍有问题,把配置和日志一起发出来更方便排查。依据:本次修复说明。
先核对地址和密钥,再在助手里发一个短问题。401 通常查密钥,404 优先查接口路径和客户端选用的协议;连接失败查 IP、端口、防火墙。
先检查是否已经启动一份 Strata。其他程序占用时可改用 --port 8081,客户端地址也要一起改。
不是。越长越占资源,读取也更慢;先用够完成任务的长度,长资料可以分段。超长上下文选项属于实验扩展。
Windows/Linux:默认一次回答一个请求,其他人先排队。想同时回答两个人,可在配置文件中设置 "parallel": 2;同时回答不等于每个人都一样快,12GB 卡上单个回答可能变慢。一个人用,先保持默认就好。Mac 当前只处理一个请求,多个用户排队,不支持这项并发设置。
用双 NVIDIA 显卡、已经开启多人同时回答的朋友,如果还在更早版本,可以关注 v0.1.43.1 起的修复:多卡并发速度回退、部分请求报 BGEN: no such free slot 后会话不能继续等问题已有处理。新版升级前先核对文章顶部的已知问题。多卡怎么配置,见 官方并发说明;历史修复详情见 发布说明。
聊天默认在浏览器里,清除网站数据可能丢失;模型通常在项目旁的 Strata-data;配置和日志在项目目录。需要分别备份。
先关闭 Strata 的运行窗口,备份项目里的 strata-<model>.json 和自己修改的启动参数。更新程序就好,原来的模型文件保留,不用重新下载几十 GB。本文核对的最新正式版是 v0.1.44;已知问题见文章顶部,不是每台电脑都要立即升级。
从网盘 ZIP 安装的小白,直接看第 2 节的 升级步骤。下面是不同安装方式的补充。
UPDATE.bat,Linux 运行 ./update.sh。它会更新代码、引擎、Python 依赖及已安装模型的设置,更新后不会自动启动;完成后再运行原启动入口。./setup.sh 让安装器按新源码编译。不要下载 Windows 引擎包覆盖 Mac,也不要把旧 PC 的参数全部照搬。Strata-data;使用自定义目录时带上 --data-dir。git pull 可能失败。新版更新脚本会在没有已跟踪文件改动时保留备份分支并迁移;有改动则停止并给出提示。遇到旧脚本无法更新时,另下载最新版、保留原数据和配置,避免盲目重置。重新运行 setup 会覆盖它管理的设置;手动加在 args 中的引擎参数需核对并补回。详见 安装与更新。
更新完先发一个短问题,再运行一次 BENCH.bat(Linux:./bench.sh),看看自己的电脑有没有改善。Linux 上需要重新编译引擎时,也要看更新是否成功;v0.1.43.1 修复了部分情况下更新失败、却一直沿用旧引擎的问题。
资源下载完整后,基本本地推理可以离线。搜索、Agent 工具和远程服务可能联网发送数据,使用敏感资料前要核对这些工具。
还有不懂的地方,欢迎扫码进群问;跑通了也可以来分享你的配置和速度,给其他朋友参考。群里没有任何收费项目,纯玩家交流,大家一起玩、一起研究就好。
AI 玩家交流群
一起吹牛部署卡住了、配置不会选、Agent 不会接?不懂的可以进群问。没有任何收费项目,纯玩家交流,欢迎分享自己的玩法和经验。
10 月 26 日前有效
让世界充满爱,peace!
安装要求、配置选项与版本更新
服务接口与日常使用
遇到问题时查看官方排错说明
Apple Silicon、统一内存、Metal 安装与当前限制