Skip to content

Commit be512a6

Browse files
committed
Merge remote-tracking branch 'origin/develop' into refactor/3-part1
2 parents 6dbb2b4 + 307960c commit be512a6

File tree

571 files changed

+1419
-40620
lines changed

Some content is hidden

Large Commits have some content hidden by default. Use the searchbox below for content that may be hidden.

571 files changed

+1419
-40620
lines changed

docs/FAQ.md

Lines changed: 2 additions & 3 deletions
Original file line numberDiff line numberDiff line change
@@ -61,7 +61,6 @@
6161
**A:** 通过使用PaddleNLP提供的 `load_dataset``MapDataset``IterDataset` ,可以方便的自定义属于自己的数据集哦,也欢迎您贡献数据集到PaddleNLP repo。
6262

6363
从本地文件创建数据集时,我们 **推荐** 根据本地数据集的格式给出读取function并传入 `load_dataset()` 中创建数据集。
64-
[waybill_ie](https://github.com/PaddlePaddle/PaddleNLP/tree/develop/examples/information_extraction/waybill_ie)快递单信息抽取任务中的数据为例:
6564

6665
```python
6766
from paddlenlp.datasets import load_dataset
@@ -368,12 +367,12 @@ model.set_state_dict(paddle.load("xxx_para"))
368367
动转静,即将动态图的模型转为可用于部署的静态图模型。
369368
动态图接口更加易用,python 风格的交互式编程体验,对于模型开发更为友好,而静态图相比于动态图在性能方面有更绝对的优势。因此动转静提供了这样的桥梁,同时兼顾开发成本和性能。
370369
可以参考官方文档 [动态图转静态图文档](https://www.paddlepaddle.org.cn/documentation/docs/zh/develop/guides/04_dygraph_to_static/index_cn.html),使用 `paddle.jit.to_static` 完成动转静。
371-
另外,在 PaddleNLP 我们也提供了导出静态图模型的例子,可以参考 [waybill_ie 模型导出](https://github.com/PaddlePaddle/PaddleNLP/tree/develop/examples/information_extraction/waybill_ie/#%E6%A8%A1%E5%9E%8B%E5%AF%BC%E5%87%BA)
370+
另外,在 PaddleNLP 我们也提供了导出静态图模型的例子。
372371

373372
2)借助Paddle Inference部署
374373

375374
动转静之后保存下来的模型可以借助Paddle Inference完成高性能推理部署。Paddle Inference内置高性能的CPU/GPU Kernel,结合细粒度OP横向纵向融合等策略,并集成 TensorRT 实现模型推理的性能提升。具体可以参考文档 [Paddle Inference 简介](https://paddleinference.paddlepaddle.org.cn/master/product_introduction/inference_intro.html)。
376-
为便于初次上手的用户更易理解 NLP 模型如何使用Paddle Inference,PaddleNLP 也提供了对应的例子以供参考,可以参考 [/PaddleNLP/examples](https://github.com/PaddlePaddle/PaddleNLP/tree/develop/examples/) 下的deploy目录,如[基于ERNIE的命名实体识别模型部署](https://github.com/PaddlePaddle/PaddleNLP/tree/develop/examples/information_extraction/waybill_ie/deploy/python)
375+
为便于初次上手的用户更易理解 NLP 模型如何使用Paddle Inference,PaddleNLP 也提供了对应的例子以供参考,可以参考 [/PaddleNLP/examples](https://github.com/PaddlePaddle/PaddleNLP/tree/develop/legacy/examples/) 下的deploy目录。
377376

378377
<a name="5-2"></a>
379378

docs/data_prepare/dataset_self_defined.rst

Lines changed: 1 addition & 3 deletions
Original file line numberDiff line numberDiff line change
@@ -9,8 +9,6 @@
99

1010
从本地文件创建数据集时,我们 **推荐** 根据本地数据集的格式给出读取function并传入 :func:`load_dataset` 中创建数据集。
1111

12-
以 `waybill_ie <https://github.com/PaddlePaddle/PaddleNLP/tree/develop/examples/information_extraction/waybill_ie>`__ 快递单信息抽取任务中的数据为例:
13-
1412
.. code-block::
1513
1614
from paddlenlp.datasets import load_dataset
@@ -44,7 +42,7 @@
4442
:class:`paddle.io.Dataset/IterableDataset` 创建数据集
4543
-------------------
4644

47-
虽然PaddlePddle内置的 :class:`Dataset` 和 :class:`IterableDataset` 是可以直接接入 :class:`DataLoader` 用于模型训练的,但有时我们希望更方便的使用一些数据处理(例如convert to feature, 数据清洗,数据增强等)。而PaddleNLP内置的 :class:`MapDataset` 和 :class:`IterDataset` 正好提供了能实现以上功能的API。
45+
虽然PaddlePaddle内置的 :class:`Dataset` 和 :class:`IterableDataset` 是可以直接接入 :class:`DataLoader` 用于模型训练的,但有时我们希望更方便的使用一些数据处理(例如convert to feature, 数据清洗,数据增强等)。而PaddleNLP内置的 :class:`MapDataset` 和 :class:`IterDataset` 正好提供了能实现以上功能的API。
4846

4947
所以如果您习惯使用 :class:`paddle.io.Dataset/IterableDataset` 创建数据集的话。只需要在原来的数据集上套上一层 :class:`MapDataset` 或 :class:`IterDataset` 就可以把原来的数据集对象转换成PaddleNLP的数据集。
5048

docs/locale/en/LC_MESSAGES/FAQ.po

Lines changed: 0 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -188,7 +188,6 @@ msgstr ""
188188
#: ../FAQ.md:63
189189
msgid ""
190190
"从本地文件创建数据集时,我们 推荐 根据本地数据集的格式给出读取function并传入 load_dataset() 中创建数据集。 "
191-
"以waybill_ie快递单信息抽取任务中的数据为例:"
192191
msgstr ""
193192

194193
#: ../FAQ.md:84

docs/locale/en/LC_MESSAGES/data_prepare/dataset_self_defined.po

Lines changed: 0 additions & 7 deletions
Original file line numberDiff line numberDiff line change
@@ -37,13 +37,6 @@ msgid ""
3737
"中创建数据集。"
3838
msgstr ""
3939

40-
#: ../data_prepare/dataset_self_defined.rst:12
41-
msgid ""
42-
"以 `waybill_ie "
43-
"<https://github.com/PaddlePaddle/PaddleNLP/tree/develop/examples/information_extraction/waybill_ie>`__"
44-
" 快递单信息抽取任务中的数据为例:"
45-
msgstr ""
46-
4740
#: ../data_prepare/dataset_self_defined.rst:32
4841
msgid ""
4942
"我们推荐将数据读取代码写成生成器(generator)的形式,这样可以更好的构建 :class:`MapDataset` 和 "

examples/code_generation/codegen/README.md

Lines changed: 0 additions & 326 deletions
This file was deleted.

0 commit comments

Comments
 (0)