[Question]: PaddleNLP 训练好的模型如何部署推理服务？

[xuliguov5]

请提出你的问题

通过PaddleNLP run_finetune.py SFT训练的模型
模型结构
distilled/
├── added_tokens.json
├── all_results.json
├── config.json
├── generation_config.json
├── merges.txt
├── model-00001-of-00001.safetensors
├── model.safetensors.index.json

使用文档中的部署方式 不成功，应该是因为 模型的格式safetensors
部署方式: 我将model_name 替换成了 上面训练完成后的模型地址
export MODEL_PATH=${MODEL_PATH:-$PWD}
export model_name=${model_name:-"./checkpoint/my_sft_model/"}
docker run -i --rm --gpus all --shm-size 32G --network=host --privileged --cap-add=SYS_PTRACE
-v $MODEL_PATH:/models -e "model_name=${model_name}"
-dit ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddlenlp:llm-serving-cuda124-cudnn9-v2.3 /bin/bash
-c -ex 'start_server $model_name && tail -f /dev/null'

docker 启动加载模型报错并且没启动起来：

docker exec -it xxx /bin/bash
查看模型是有的

curl 报错

Github文档中查了很多资料 都没有具体的实现。请帮忙看下 PaddleNLP 训练好的模型如何部署推理服务 ？