3.3.0
lingodotdev/lingo.dev3.3.0Oct 31, 2025by jxt1234
AI Summary
MNN 3.3 introduces major LLM enhancements, new hardware acceleration features like SME2 and EAGLE-3, and support for NPU on Qualcomm and MediaTek devices.
Key Highlights
- Added support for Qwen2.5-Omni, Qwen3-VL, and GPT-OSS models
- Introduced EAGLE-3 speculative decoding (2.24x speedup) and SME2 instruction set
- Added NPU support for Qualcomm QNN and MediaTek
- Integrated HQQ quantization algorithm
New Features
- New model support (Qwen2.5-Omni, Qwen3-VL, GPT-OSS)
- EAGLE-3 speculative decoding
- SME2 instruction set support
- NPU support (QNN, MTK)
- HQQ quantization algorithm
- CUDA attention operators
Full Release Notes
# MNN 3.3 Release Note
## 一、大语言模型（LLM）能力增强
* **新增模型支持**：
* 支持 **Qwen2.5-Omni**、**Qwen3-VL**、**GPT-OSS**、**MiniCPM-4**、**Fast VLM 、GTE Reranker** 等主流开源模型。
* 支持 **Attention Sink**、**Sliding Window Attention**
* **LLM 推理优化**：
* 新增 **EAGLE-3 投机解码** 支持，Mac CPU 上 Llama3-8B decode 性能提升达 **2.24x**。
* 完善 **Python 接口**，支持多模态推理、逐步推理、context 信息获取等能力。
* **量化与精度**：
* 集成 **HQQ 量化算法**，与AWQ算法精度接近，但量化时间远低于AWQ（Qwen 2.5 - 0.5B 各类量化方案 ppl 数据： 原始： 17.83 ；awq: 17.08 ；hqq : **16.85**）
* 支持 **SmoothQuant** 与 **输入 per-tensor 量化**。
* 支持 **DiskEmbedding 4/8bit 量化**，并优化缓存读取速度。
## 二、硬件加速与 NPU 支持
* **CPU 加速**：
* 实现 **SME（Scalable Matrix Extension）指令集** 支持，在 Armv9 设备上大幅提升 LLM 与 CV 模型性能。
* Qwen2.5-1.5B 在 SME2 上 Prefill 性能相比 Arm86 提升 **2~3 倍**。
* ResNet50 FP16 单线程推理加速 **3 倍**。
* **CUDA 后端支持LLM**：
* **Cutlass 升级至 4.0.0**（LLM 模式下），并改为编译时下载。
* 新增 **CUDA Attention 算子**，支持 LLM 模型运行。
* 支持 **int4 / int8 权重低内存计算**，以降低LLM显存占用。
* **GPU 后端修复**：
* 修复 **OpenCL** 运行 Qwen Omni 出错问题，修正 OpenCL 在 MTK 部分芯片上计算 Attention 出错问题。
* 新增 **OpenCL Kernel MD5 校验**，避免缓存污染。
* **NPU 支持LLM**：
* 支持 **高通 QNN（NPU）** 运行 LLM 与 Vision 模型。
* 新增 **联发科（MTK）NPU** 对 LLM 的支持。
NPU 参考性能数据：
小米14 - Qwen3-4B-int4
<img width="924" height="260" alt="image" src="https://github.com/user-attachments/assets/aa9b39c1-eccf-42d8-a316-a371d797e600" />
天玑9300-计算盒 - Qwen3-4B-int4
<img width="772" height="252" alt="image" src="https://github.com/user-attachments/assets/990b699d-ac52-4e26-ae93-0a54452f2907" />
## 三、框架功能与稳定性提升
* **核心框架改进**：
* 新增 `set_order` 接口，支持动态修改 VARP 布局。
* 修复多个 crash 问题，包括：
* StridedSlice 在 zero shape + 缩轴到 scalar 时崩溃；
* Module 加载输入不足时崩溃；
* Arm82 后端 Resize Error（因 CPUResizeCache 管理问题）。
* **Python 兼容性**：
* 修复 **PyMNN 在 Python 3.13+ 编译失败** 的问题。
* **模型转换优化**：
* 修正 RemoveUnuseFul / RemoveCopy Pass 可能导致输入/输出丢失的问题。
* 支持 GRU / LSTM 量化：通过分解算子为控制流 + Convolution 实现。
## 四、开源社区与兼容性
* 修复多个社区反馈问题（Issue #3623、#3632、#3690、#3701、#3774、#3780、#3850 等）。
* 提升跨平台兼容性，包括 Windows ARM、macOS、Android、iOS、鸿蒙等。
---
MNN 3.3 版本持续聚焦 **端侧大模型高效推理** 与 **多硬件平台统一部署**，并积极回馈开源社区。