189 8069 5689

如何部署TensorFlow模型

如何部署TensorFlow模型，很多新手对此不是很清楚，为了帮助大家解决这个难题，下面小编将为大家详细讲解，有这方面需求的人可以来学习下，希望你能有所收获。

创新互联服务项目包括馆陶网站建设、馆陶网站制作、馆陶网页制作以及馆陶网络营销策划等。多年来，我们专注于互联网行业，利用自身积累的技术优势、行业经验、深度合作伙伴关系等，向广大中小型企业、政府机构等提供互联网行业的解决方案，馆陶网站推广取得了明显的社会效益与经济效益。目前，我们服务的客户以成都为中心已经辐射到馆陶省份的部分城市，未来相信会继续扩大服务区域并继续获得客户的支持与信任！

TensorFlow模型部署

1. docker镜像拉取

# Download the TensorFlow Serving Docker image and repo
docker pull tensorflow/serving

2. 保存模型

# 保存模型的时候需要设置模型的版本号字段，不然部署到docker后会报找不到模型版本的错误
model.save("./data/models/zsh_test/1")

3. 部署模型

3.1 单个模型部署

# 映射restapi端口8501，grpc端口8500
# 映射模型定义的路径
# 定义模型名称
docker run -p 8501:8501 \
  -v /path/to/model/models/zsh_test:/models/zsh_test/ \
  -e MODEL_NAME=zsh_test -t tensorflow/serving
# 模型结构
~/PycharmProjects/pytorch-study/data/models
❯ tree
.
└── zsh_test
    └── 1
        ├── assets
        ├── saved_model.pb
        └── variables
            ├── variables.data-00000-of-00001
            └── variables.index

4 directories, 3 files

3.2 多个模型部署

  • 目录结构

    在模型保存文件夹models下保存多个模型，并添加models.config配置文件，配置模型基本信息。

    ~/PycharmProjects/pytorch-study/data
❯ tree
.
├── exp_all_data.csv
├── exp_all_result.csv
└── models
    ├── models.config
    ├── zsh_test
    │   └── 1
    │       ├── assets
    │       ├── saved_model.pb
    │       └── variables
    │           ├── variables.data-00000-of-00001
    │           └── variables.index
    └── zsh_test1
        └── 1
            ├── assets
            ├── saved_model.pb
            └── variables
                ├── variables.data-00000-of-00001
                └── variables.index

9 directories, 9 files

  • 配置文件

    model_config_list:{
    config:{
      name:"zsh_test",
      base_path:"/models/zsh_test",
      model_platform:"tensorflow"
    },
    config:{
      name:"zsh_test1",
      base_path:"/models/zsh_test1",
      model_platform:"tensorflow"
    }
}

# 部署多个模型
docker run -p 8501:8501 \
-v /path/to/model/models/:/models/ \
-t tensorflow/serving --model_config_file=/models/models.config

4. 测试API

 # http://ip:prot/version/models/model_name
 # 查看模型信息
 curl http://localhost:8501/v1/models/zsh_test
 
 response:
 {
 "model_version_status": [
  {
   "version": "1",
   "state": "AVAILABLE",
   "status": {
    "error_code": "OK",
    "error_message": ""
   }
  }
 ]
}

# 调用模型
curl --location --request POST 'http://localhost:8501/v1/models/zsh_test:predict' \
--header 'Content-Type: application/json' \
--data '{"instances": [test_data]
}'

看完上述内容是否对您有帮助呢？如果还想对相关知识有进一步的了解或阅读更多相关文章，请关注创新互联行业资讯频道，感谢您对创新互联的支持。


当前标题：如何部署TensorFlow模型
转载源于：http://jkwzsj.com/article/gcpsjc.html

其他资讯