用TFserving部署深度学习模型

#安装yum-utils工具和device-mapper相关依赖包  
yum install -y yum-utils \  
device-mapper-persistent-data \  
lvm2  
#添加docker-ce stable版本的仓库  
yum-config-manager \  
--add-repo \  
https://download.docker.com/linux/centos/docker-ce.repo  
#更新yum缓存文件  
yum makecache fast  
#查看所有可安装的docker-ce版本  
yum list docker-ce --showduplicates | sort -r  
# 安装docker-ce  
yum install docker-ce-17.12.1.ce-1.el7.centos  
#允许开机启动docker-ce服务  
systemctl enable docker.service  
#启动Docker-ce服务  
systemctl start docker  
#运行测试容器hello-world  
docker run --rm hello-world 
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.

# 安装nvidia-docker2  
yum install -y nvidia-docker2-2.0.3-1.docker17.12.1.ce  
# 重启docker服务  
service docker restart 
1.
2.
3.
4.

docker pull tensorflow/serving:latest-gpu  
# 可以选择其他版本如 docker pull tensorflow/serving:1.14.0-rc0-gpu 
1.
2.

├── 1  
│   ├── saved_model.pb  
│   └── variables  
├── 2  
│   ├── saved_model.pb  
│   └── variables 
1.
2.
3.
4.
5.
6.

(1) pytorch(.pth)--> onnx(.onnx)--> tensorflow(.pb) --> TFserving  
(2) keras(.h5)--> tensorflow(.pb) --> TFserving  
(3) tensorflow(.pb) --> TFserving 
1.
2.
3.

import tensorflow as tf  
def create_graph(pb_file):  
    """Creates a graph from saved GraphDef file and returns a saver."""  
    # Creates graph from saved graph_def.pb.  
    with tf.gfile.FastGFile(pb_file, 'rb') as f:  
        graph_def = tf.GraphDef()  
        graph_def.ParseFromString(f.read())  
        _ = tf.import_graph_def(graph_def, name='')  
def pb_to_tfserving(pb_file, export_path, pb_io_name=[], input_node_name='input', output_node_name='output', signature_name='default_tfserving'):  
    # pb_io_name 为 pb模型输入和输出的节点名称，  
    # input_node_name为转化后输入名  
    # output_node_name为转化后输出名  
    # signature_name 为签名  
    create_graph(pb_file) 
     # tensor_name_list = [tensor.name for tensor in tf.get_default_graph().as_graph_def().node]  
    input_name = '%s:0' % pb_io_name[0]  
    output_name = '%s:0' % pb_io_name[1]  
    with tf.Session() as sess:  
        in_tensor = sess.graph.get_tensor_by_name(input_name)  
        out_tensor = sess.graph.get_tensor_by_name(output_name)  
        builder = tf.saved_model.builder.SavedModelBuilder(export_path)  ## export_path导出路径  
        inputs = {input_node_name: tf.saved_model.utils.build_tensor_info(in_tensor)}    
        outputs = {output_node_name: tf.saved_model.utils.build_tensor_info(out_tensor)}  
        signature = tf.saved_model.signature_def_utils.build_signature_def(  
            inputs, outputs, method_name=tf.saved_model.signature_constants.PREDICT_METHOD_NAME)  
        builder.add_meta_graph_and_variables(  
            sesssess=sess, tags=[tf.saved_model.tag_constants.SERVING],  
            signature_def_map={signature_name: signature}, clear_devices=True)  ## signature_name为签名，可自定义  
        builder.save()  
pb_model_path = 'test.pb'  
pb_to_tfserving(pb_model_path, './1', pb_io_name=['input_1_1','output_1'],signature_name='your_model') 
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.

# models.config  
model_config_list {  
  config {  
    name: 'your_model'  
    base_path: '/models/your_model/'  
    model_platform: 'tensorflow'  
#     model_version_policy {  
#       specific {  
#         versions: 42  
#         versions: 43  
#       }  
#     }  
#     version_labels {  
#       key: 'stable'  
#       value: 43  
#     }  
#     version_labels {  
#       key: 'canary'  
#       value: 43  
#     }  
  }  
  config {  
    name: "mnist",  
    base_path: "/models/mnist",  
    model_platform: "tensorflow",  
    model_version_policy: {  
       specific: {  
        versions: 1,  
        versions: 2  
       }  
  }  
}  
# 可以通过model_version_policy 进行版本的控制 
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.

# 建议把模型和配置文件放在docker外的本地路径，如/home/tfserving/models， 通过-v 挂载到docker内部  
# --model_config_file： 指定模型配置文件  
# -e NVIDIA_VISIBLE_DEVICES=0： 指定GPU  
# -p 指定端口映射 8500为gRpc 8501为restful api端口  
# -t 为docker镜像  
nvidia-docker run  -it --privileged  -d -e NVIDIA_VISIBLE_DEVICES=0  -v /home/tfserving/models:/models  -p 8500:8500 -p 8501:8501 \  
 -t tensorflow/serving:latest-gpu \  
--model_config_file=/models/models.config  
# /home/tfserving/models 结构  
├── models.config  
└── your_model  
    ├── 1  
    │   ├── saved_model.pb  
    │   └── variables  
    └── 2  
        ├── saved_model.pb  
        └── variables  
# test  
curl http://192.168.0.3:8501/v1/models/your_model  
{  
    "model_version_status": [  
        {  
            "version": "2",  
            "state": "AVAILABLE",  
            "status": {  
            "error_code": "OK",  
            "error_message": ""  
            }  
        }  
    ]        
}  
# 其他启动方式  
# 如果多个模型在不同的目录，可以通过-mount 单独加载  
nvidia-docker run  -it --privileged  -d -e NVIDIA_VISIBLE_DEVICES=0 \  
--mount type=bind,source=/home/tfserving/models/your_model,target=/models/your_model \  
--mount type=bind,source=/home/tfserving/models/your_model/models.config,target=/models/models.config \  
-p 8510:8500 -p 8501:8501 \  
-t tensorflow/serving:latest-gpu \  
--model_config_file=/models/models.config 
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.

#  
# -*-coding:utf-8 -*-  
import tensorflow as tf  
from tensorflow_serving.apis import predict_pb2  
from tensorflow_serving.apis import prediction_service_pb2_grpc  
import grpc  
import time  
import numpy as np  
import cv2 
class YourModel(object):  
    def __init__(self, socket):  
        """ 
        Args:  
            socket: host and port of the tfserving, like 192.168.0.3:8500  
        """  
        self.socket = socket  
        start = time.time()  
        self.request, selfself.stub = self.__get_request()  
        end = time.time()  
        print('initialize cost time: ' + str(end - start) + ' s')  
    def __get_request(self):  
        channel = grpc.insecure_channel(self.socket, options=[('grpc.max_send_message_length', 1024 * 1024 * 1024),  
                                                              ('grpc.max_receive_message_length', 1024 * 1024 * 1024)]) # 可设置大小  
        stub = prediction_service_pb2_grpc.PredictionServiceStub(channel)  
        request = predict_pb2.PredictRequest()  
        request.model_spec.name = "your_model"  # model name  
        request.model_spec.signature_name = "your_model"  # model signature name  
        return request, stub  
    def run(self, image):  
        """  
        Args:  
            image: the input image（rgb format）  
        Returns: embedding is output of model  
        """  
        img = image[..., ::-1]   
        self.request.inputs['input'].CopyFrom(tf.contrib.util.make_tensor_proto(img))  # images is input of model  
        result = self.stub.Predict(self.request, 30.0)  
        return tf.make_ndarray(result.outputs['output'])  
    def run_file(self, image_file):  
        """  
        Args:  
            image_file: the input image file  
        Returns:  
        """  
        image = cv2.imread(image_file)  
        image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)  
        return self.run(image)  
if __name__ == '__main__': 
     model = YourModel('192.168.0.3:8500')  
    test_file = './test.jpg'  
    result = model.run_file(test_file)  
    print(result)  
    # [8.014745e-05 9.999199e-01] 
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.

import cv2  
import requests  
class SelfEncoder(json.JSONEncoder):  
    def default(self, obj):  
        if isinstance(obj, np.ndarray):  
            return obj.tolist()  
        elif isinstance(obj, np.floating):  
            return float(obj)  
        elif isinstance(obj, bytes):  
            return str(obj, encoding='utf-8');  
        return json.JSONEncoder.default(self, obj)  
image_file = '/home/tfserving/test.jpg'  
image = cv2.imread(image_file)  
image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)  
img = image[..., ::-1]  
input_data = {  
    "signature_name": "your_model",  
    "instances": img  
}  
data = json.dumps(input_data, cls=SelfEncoder, indent=None)  
result = requests.post("http://192.168.0.3:8501/v1/models/your_model:predict", datadata=data)  
eval(result .content)  
# {'predictions': [8.01474525e-05, 0.999919891]} 
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.