We read every piece of feedback, and take your input very seriously.
To see all available qualifiers, see our documentation.
There was an error while loading. Please reload this page.
1 parent 4cff8f2 commit a7f9660Copy full SHA for a7f9660
llm/README.md
@@ -12,7 +12,7 @@
12
13
- **高效精调对齐策略**。飞桨大模型套件提供SFT、DPO、RLHF等精调对齐策略,搭载自研Zero Padding零填充优化策略有效减少训练数据中pad token的占比,提高模型训练效率。独创PEFT结合低比特和分布式并行策略,大幅降低大模型精调硬件门槛。
14
15
-- **大模型无损量化**。大模型套件内置了PaddleSlim团队自研的自适应Shift-SmoothQuant的A8W8量化算法和业界主流GPTQ、AWQ的W4量化算法,实现了主流大模型的无损量化,有效加速模型推理。
+- **大模型无损量化**。大模型套件预置了PaddleSlim PTQ.LLM量化算法和业界主流GPTQ、AWQ的W4量化,实现了主流大模型的无损量化,有效加速模型推理。
16
17
- **高性能推理**。大模型套件高性能推理模块内置动态插入和全环节算子融合策略,极大加快并行推理的速度。同时隐藏了底层实现的细节,实现了开箱即用高性能并行推理能力。
18
0 commit comments