v2.6.1
PaddlePaddle/Paddlev2.6.1Apr 9, 2024by XiaoguangHu01
AI Summary
PaddlePaddle 2.6.1 is a maintenance release adding Fake GroupWise Quantization support, PGLBox graph neural network training engine, and multiple bug fixes including security patches.
Key Highlights
- Fake GroupWise Quantization support for model quantization
- PGLBox - Graph Neural Network training engine for GPU multi-machine multi-card training
- Multiple security fixes for drawing, decompression, and command execution vulnerabilities
- Paddle-TRT integration fixes for KV quantization and test failures
- Bug fixes for put_along_axis with min/max/mean reduce operations
New Features
- Fake GroupWise Quantization support (#61900)
- PGLBox graph neural network GPU training engine (#60495, #62111)
- Custom device support for dynamic graph c_embedding operator
- repeat_interleave supports bfloat16 Tensor input
- Tile op int8 mode inference support
Full Release Notes
# 发版说明 此版本在新功能方面,引入了对Fake GroupWise Quant的支持,有助于用户更好地进行模型量化。同时新增了图神经网络训练引擎PGLBox,支持超大规模图模型GPU多机多卡高效训练。此外,增加了对自定义设备的支持,进一步扩展PaddlePaddle的功能范围。在bug方面,解决了一些核心功能、数据加载以及网络通信等方面的问题。修复了多个安全问题,包括一些潜在的安全漏洞,进一步提高框架代码安全性,并更新了安全公告。 ## 新特性 - **支持Fake GroupWise量化(#61900)**:新增对一种量化方法的支持,可以提高模型的性能效率。 - **支持图神经网络GPU训练(#60495,#62111)**:新增图神经网络训练引擎PGLBox,支持超大规模图模型GPU多机多卡高效训练。 - **其他改进**:支持tile op int8模式推理,并添加vlog语句 (#60261),repeat_interleave支持bfloat16数据类型的Tensor输入 (#61854),自定义设备支持动态图模式的c_embedding算子 (#60774),在CINN(自定义中间网络)框架中,将IntrinsicOps添加到`ir_codes_collector`中。 ## Bug修复 - **修复权重量化内核错误(#60184)**:解决了在权重量化内核中当`n`不能被64整除时的问题。 - **修复量化感知测试问题(#61211)**:修复了量化感知训练(QAT)测试中的问题,以确保其正常运行。 - **修复Paddle-TRT集成问题(#61806, #61605, #61966)**:对Paddle-TRT集成进行了多项修复,包括缓存键值(KV)量化和单元测试失败问题。 - **禁用LLM_INT8 UT(#62282)**:禁用了大型语言模型(LLM)INT8精度的单元测试,以避免不必要的运行时。 - **修复test_benchmark单测编译失败问题(#61427)**:修复了test_benchmark单测编译失败的问题#60092。 - **修复工具包的数据加载器(#61867)**:对工具包的数据加载器进行了必要的更正。 - **修复put_along_axis系列问题(#62065)**:对reduce参数新增支持min/max/mean三种可选值,修复了reduce=add/mul下的反向梯度计算Bug, 修复了reduce=mul下的GPU前向计算Bug,修复了size过大时的前向计算Bug。 - **修复Windows平台下的编译Bug(#60308)**:修复windows平台下的编译找不到common库的bug。 - **修复OpenSSL-CPU编译错误(#62079)**:修复cpu-openblas编译场景中未正确链接 Python 库导致的编译bug。 ## 安全修复 - **修复安全问题(#61161, #61294, #61032, #61285, #61162, #61389, #61356, #61827)**:修复了涉及绘图功能、解压缩和命令执行的多个安全问题,以确保框架的安全性和完整性。 - **禁用特定测试(#60173, #60662, #60786)**:禁用了某些未通过或不适用于特定配置或版本的测试。 - **修复框架不同组件Bug(#61631, #62117, #60840, #62104, #60217, #60930, #61380)**:在框架的不同组件中修复了各种Bug。 - **修复自定义设备功能(#60616)**:打开自定义设备中生成器偏移量的编译控制。 - **内存和分配检查(#60208, #60545, #61847, #62111, #62057, #62278)**:实施了与内存分配和管理相关的检查和修复,以防止崩溃并提高稳定性。 ## 文档 - **文档风格改进(#61688)**:改进了文档的样式和格式。 - **安全公告更新(#60532, #60649)**:更新了2023年的安全公告,以通知用户潜在的安全问题。