Skip to content

Add ERNIE Tiny in model zoo #4011

New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Merged
merged 16 commits into from
Jan 11, 2023
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
7 changes: 4 additions & 3 deletions model_zoo/ernie-3.0/README.md
Original file line number Diff line number Diff line change
Expand Up @@ -28,7 +28,7 @@

## 模型介绍

本次开源的模型是在文心大模型ERNIE 3.0, 文心大模型ERNIE 3.0 作为百亿参数知识增强的大模型,除了从海量文本数据中学习词汇、结构、语义等知识外,还从大规模知识图谱中学习。 基础上通过**在线蒸馏技术**得到的轻量级模型,模型结构与 ERNIE 2.0 保持一致,相比 ERNIE 2.0 具有更强的中文效果。
本次开源的模型是文心大模型 ERNIE 3.0, 文心大模型 ERNIE 3.0 作为百亿参数知识增强的大模型,除了从海量文本数据中学习词汇、结构、语义等知识外,还从大规模知识图谱中学习。 基础上通过**在线蒸馏技术**得到的轻量级模型,模型结构与 ERNIE 2.0 保持一致,相比 ERNIE 2.0 具有更强的中文效果。

相关技术详解可参考文章[《解析全球最大中文单体模型鹏城-百度·文心技术细节》](https://www.jiqizhixin.com/articles/2021-12-08-9)

Expand Down Expand Up @@ -1280,6 +1280,7 @@ batch_size=32 和 1,预测精度为 FP16 时,GPU 下的效果-时延图:


<a name="代码结构"></a>

## 代码结构
以下是本项目代码结构

Expand Down Expand Up @@ -1321,7 +1322,7 @@ batch_size=32 和 1,预测精度为 FP16 时,GPU 下的效果-时延图:

<a name="开始运行"></a>
## 开始运行
下面提供以CLUE数据集进行模型微调相关训练、预测、部署的代码, CLUE数据集是中文语言理解测评基准数据集,包括了文本分类、文本推理、实体抽取、问答等相关数据集。
下面提供以 CLUE 数据集进行模型微调相关训练、预测、部署的代码, CLUE 数据集是中文语言理解测评基准数据集,包括了文本分类、文本推理、实体抽取、问答等相关数据集。

### 环境要求
- python >= 3.7
Expand All @@ -1330,7 +1331,7 @@ batch_size=32 和 1,预测精度为 FP16 时,GPU 下的效果-时延图:
- paddleslim >= 2.4

### 数据准备
此次微调数据主要是以CLUE benchmark 数据集为主, CLUE benchmark 包括了文本分类、实体抽取、问答三大类数据集,而 CLUE benchmark 数据目前已经集成在PaddleNLP的datasets里面,可以通过下面的方式来使用数据集
此次微调数据主要是以 CLUE benchmark 数据集为主, CLUE benchmark 包括了文本分类、实体抽取、问答三大类数据集,而 CLUE benchmark 数据目前已经集成在 PaddleNLP 的 datasets 里面,可以通过下面的方式来使用数据集

```python
from paddlenlp.datasets import load_dataset
Expand Down
Loading