概述
2025-04-01 11:58
本文介绍如何基于安全增强型实例(Intel® SGX)部署TensorFlow Serving在线推理服务的技术架构和使用流程。 背景信息 TensorFlow Serving是Go
本文介绍如何基于安全增强型实例(Intel® SGX)部署TensorFlow Serving在线推理服务的技术架构和使用流程。 背景信息 TensorFlow Serving是Go
客户端机器将训练好的模型以及用来建立安全连接的TLS证书进行加密,并将这些加密文件上传到阿里云SGX环境中。同时,客户端机器还将部署密钥提供服务以认证阿里云vSGX实例,确保运行在云上的TensorFlow Serving推理服务应用的完整性及云上SGX环境的可行性。验证通过后,密钥会发送给在阿里云
TensorFlow Serving启动成功后,您可以将数据发送到运行在vSGX机密计算环境中的推理服务。推理完成后,得到返回结果。 操作步骤
客户端部署完成后,需要部署vSGX端。vSGX端用来运行TensorFlow Serving推理服务。 背景信息 vSGX端提供vSGX机密计算环境,TensorFlow Serving推理服务运行在SG