Skip to content

Commit a7f9660

Browse files
committed
update readme
1 parent 4cff8f2 commit a7f9660

File tree

1 file changed

+1
-1
lines changed

1 file changed

+1
-1
lines changed

llm/README.md

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -12,7 +12,7 @@
1212

1313
- **高效精调对齐策略**。飞桨大模型套件提供SFT、DPO、RLHF等精调对齐策略,搭载自研Zero Padding零填充优化策略有效减少训练数据中pad token的占比,提高模型训练效率。独创PEFT结合低比特和分布式并行策略,大幅降低大模型精调硬件门槛。
1414

15-
- **大模型无损量化**大模型套件内置了PaddleSlim团队自研的自适应Shift-SmoothQuant的A8W8量化算法和业界主流GPTQ、AWQ的W4量化算法,实现了主流大模型的无损量化,有效加速模型推理。
15+
- **大模型无损量化**大模型套件预置了PaddleSlim PTQ.LLM量化算法和业界主流GPTQ、AWQ的W4量化,实现了主流大模型的无损量化,有效加速模型推理。
1616

1717
- **高性能推理**。大模型套件高性能推理模块内置动态插入和全环节算子融合策略,极大加快并行推理的速度。同时隐藏了底层实现的细节,实现了开箱即用高性能并行推理能力。
1818

0 commit comments

Comments
 (0)