部署好模型后，即可通过调用 HTTP/GRPC API 来使用模型。和 HTTP 相比，GRPC 具有更好的性能，推荐使用 GRPC API .

• HTTP 推理 API 调用

  HTTP 推理 API 的格式为:

  http://<Any Node IP>:8080/v1/models/<model name>:predict

  比如内置的两个模型可以分别通过如下 HTTP API 进行调用：

  # saved_model_half_plus_two_mkl 的 HTTP API 调用方法
  curl -d '{"instances": [1.0, 2.0, 5.0]}' -X POST http://<Any Node IP>:8080/v1/models/saved_model_half_plus_two_mkl:predict
  
  # resnet 模型的 HTTP API 的格式
  curl -d '{"instances": ["b64":"<base64 encode picture>"]}' -X POST http://<Any Node IP>:8080/v1/models/resnet:predict 
  
  # 为了方便测试 resnet 的 HTTP API，可通过如下方式：
  cd /opt/app/test
  source tfserving_venv/bin/activate
  python resnet_client.py
  deactivate
  

• GRPC 推理 API 调用

  调用 GRPC API 通常需要自己编写 client 程序，可参考下面 resnet 的例子：

  # 调用 resnet 模型的 GRPC API，可通过如下方式：
  cd /opt/app/test
  source tfserving_venv/bin/activate
  python resnet_client_grpc.py
  deactivate