feat(inference): 添加流式输出功能，支持实时解码文本

2026-07-01 17:54:18 +08:00
parent 18a5ca103c
commit faeeaf7409
3 changed files with 118 additions and 3 deletions
@@ -14,3 +14,8 @@
 - 三个 crate 版本升级到 0.1.1，convert/inference 的 minicpm-core 依赖也更新到 0.1.1
 - 发布顺序：`cargo publish --allow-dirty --registry gitea -p minicpm-core` → `minicpm-convert` → `minicpm-inference`
 - 全部发布成功
+
+## 添加流式输出
+
+- `minicpm-inference/src/lib.rs`: 新增 `generate_stream` 函数和 `MiniCPM::generate_stream` 方法，每 token 通过回调 `impl FnMut(&str)` 输出解码文本
+- `examples/minimal-inference/src/main.rs`: 改为流式调用，`print!` + `flush` 实时输出