chore(代码变更): 1. 清理无用代码 2. 更新依赖库 3. 优化项目结构 4. 修复小型bug 5. 增加注释以提高可读性

2026-07-08 10:44:32 +08:00
parent 4b342ef62f
commit d88afb5fe7
22 changed files with 1068 additions and 654372 deletions
@@ -19,3 +19,17 @@

 - `minicpm-inference/src/lib.rs`: 新增 `generate_stream` 函数和 `MiniCPM::generate_stream` 方法，每 token 通过回调 `impl FnMut(&str)` 输出解码文本
 - `examples/minimal-inference/src/main.rs`: 改为流式调用，`print!` + `flush` 实时输出
+
+## 升级 0.1.2 重新发布（含流式功能）
+
+- minicpm-core, minicpm-convert, minicpm-inference 全部升级到 0.1.2
+- 发布全部成功
+
+## Q8 量化导出和加载
+
+- `minicpm-convert`: 新增 `export_model_q8`，2D 权重 per-tensor INT8 量化（scale = max(|f|)/127），1D norm 权重存 F16；输出 `model.q8.json` + `model.q8.bin`
+- `minicpm-inference`: 新增 `MiniCPM::load_q8`，加载 Q8 模型并在内存中反量化为 f32 推理；新增依赖 `memmap2`、`serde`、`serde_json`
+- `examples/convert`: 支持 Q8 导出
+- `examples/minimal-inference`: 支持 `--full|--half|--q8` 三种模式
+- 量化方式：`q = clamp(round(f / scale), -127, 127)`，`f' = q * scale`
+