赛尔校园公共服务平台 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
赛尔校园公共服务平台 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 云服务器 ECS
  4. 操作指南
  5. 实例
  6. ECS安全能力
  7. 安全能力最佳实践
  8. 在七代安全增强型实例中部署TensorFlow Serving在线推理
  9. 步骤三:远端访问推理结果

步骤三:远端访问推理结果

  • 在七代安全增强型实例中部署TensorFlow Serving在线推理
  • 发布于 2025-04-01
  • 0 次阅读
文档编辑
文档编辑

TensorFlow Serving启动成功后,您可以将数据发送到运行在vSGX机密计算环境中的推理服务。推理完成后,得到返回结果。

操作步骤

  1. 登录客户端ECS实例。

    具体操作,请参见通过密码或密钥认证登录Linux实例。

    说明

    本示例将客户端作为远端进行访问。

  2. 安装所需的mesa-libGL软件包。

    sudo yum install -y python3-pip mesa-libGL
    python3 -m pip install --user -U pip
    python3 -m pip install --user virtualenv
    # 创建virtualenv环境,避免污染原有python软件依赖
    # python3 -m virtualenv venv
    source venv/bin/activate
    python3 -m pip install multidict
  3. 配置TensorFlow Serving服务域名。

    说明

    vSGX_ip_addr为vSGX实例的IP地址,请替换为实际的IP地址。当客户端与vSGX端部署在同一台ECS实例上,vSGX_ip_addr请修改为该ECS实例内网IP。

    sudo sh -c 'echo "${vSGX_ip_addr} grpc.tf-serving.service.com" >> /etc/hosts'
  4. 运行远端请求。

    远端请求会将数据发送到运行在SGX机密计算环境中的推理服务。推理完成后,得到返回结果。

    export CC_DIR=$(realpath ./confidential-computing)
    cd ${CC_DIR}/Tensorflow_Serving/client
    python3 ./resnet_client_grpc.py -batch 1 -cnum 1 -loop 50 -url grpc.tf-serving.service.com:8500 -ca `pwd -P`/ssl_configure/ca_cert.pem -crt `pwd -P`/ssl_configure/client/cert.pem -key `pwd -P`/ssl_configure/client/key.pem
相关文章

概述 2025-04-01 11:58

本文介绍如何基于安全增强型实例(Intel® SGX)部署TensorFlow Serving在线推理服务的技术架构和使用流程。 背景信息 TensorFlow Serving是Go

步骤一:部署客户端 2025-04-01 11:58

客户端机器将训练好的模型以及用来建立安全连接的TLS证书进行加密,并将这些加密文件上传到阿里云SGX环境中。同时,客户端机器还将部署密钥提供服务以认证阿里云vSGX实例,确保运行在云上的TensorFlow Serving推理服务应用的完整性及云上SGX环境的可行性。验证通过后,密钥会发送给在阿里云

步骤三:远端访问推理结果 2025-04-01 11:58

TensorFlow Serving启动成功后,您可以将数据发送到运行在vSGX机密计算环境中的推理服务。推理完成后,得到返回结果。 操作步骤

步骤二:部署vSGX端来运行TensorFlow Serving推理服务 2025-04-01 11:58

客户端部署完成后,需要部署vSGX端。vSGX端用来运行TensorFlow Serving推理服务。 背景信息 vSGX端提供vSGX机密计算环境,TensorFlow Serving推理服务运行在SG

目录
Copyright © 2025 your company All Rights Reserved. Powered by 赛尔网络.
京ICP备14022346号-15
gongan beian 京公网安备11010802041014号