最后更新：11/9/2026最后核验：2026-11-07
<p>kimi-k3-in-c 解决的是"大模型必须依赖数据中心"的误解。Kimi K3 官方检查点在磁盘上为 1.56 TB（专家权重出厂即 MXFP4 半字节格式），路由机制让每层 896 个专家中只有 16 个被激活，因此 1.45 TB 的路由专家永远不需要常驻内存；引擎再把 93 层稠密主干逐层流式读入，把这个下限变成可调的拨盘，实测峰值内存可以降到 8.24 GB。更巧的是，无论给多少内存，输出都逐字节一致——内存只决定速度：8 GB 内存的笔记本约 26.5 秒一个 token，128 GB 以上把主干全部放进内存后约 5.6 秒。整个引擎只有约 176 KB 的 C99 代码，无 GPU、无 BLAS、无框架依赖，支持 AVX2+FMA（x86-64）和 NEON（Apple Silicon），克隆仓库后一分钟左右即可跑通不依赖权重的验证门。要注意：门槛其实是存储——需要约 1.7 TB 空闲磁盘，首次下载检查点要数小时；本项目追求的是"能不能跑"而不是速度；当前仅支持文本对话，暂不支持工具调用、视觉输入、HTTP 服务和上下文压缩；模型权重归 Moonshot AI 所有并受其许可约束，仓库只分发引擎不含权重。本文依据官方 GitHub 仓库 README（含 docs/ 测量数据）核验，未下载模型或实际运行推理。</p><ul><li>从 1.56 TB 检查点流式读取 MoE 专家，峰值内存可低至实测 8.24 GB</li><li>不同内存预算下输出逐字节一致，更多内存只买速度</li><li>免 GPU、免 BLAS 的可移植 C99 引擎，配 AVX2/NEON 路径与无权重验证门</li><li>笔记本电脑到工作站一档预设的内存阶梯，配 k3-doctor.sh 硬件体检脚本</li></ul>
详情
平台
功能特性
- Streamed MoE experts from a 1.56 TB checkpoint keep peak RSS as low as 8.24 GB with byte-identical output
- Portable C99 with no GPU, no BLAS, and no framework; AVX2+FMA on x86-64 and NEON on Apple Silicon
- Preset memory ladder from laptop to server where more RAM only buys speed
- Weightless verification gates reproduce reference outputs; a doctor script sizes presets to your hardware
支持语言
适合人群
已知限制
- Checkpoint storage gate is ~1.7 TB free disk; download and trunk-packing take hours the first time
- Throughput is minutes per token on constrained-memory machines; this project prioritizes fit over speed
- Text-only chat scope today: no tools, vision/image parts, HTTP serving, or context compaction yet
- Model weights are owned and licensed by Moonshot AI; the repository ships the engine, not the weights
