边缘云玩转通义千问QwQ-32B-推理业务最佳实践

实例登录

您可以参考连接实例来登录实例。

磁盘初始化

1. 根目录扩容。

   实例新创建或扩容后，需要在不重启的情况下在线扩容根分区

   # 安装云环境工具包
   sudo apt-get update
   sudo apt-get install -y cloud-guest-utils
   
   # 确保GPT分区工具sgdisk存在
   type sgdisk || sudo apt-get install -y gdisk
   
   # 扩展物理分区
   sudo LC_ALL=en_US.UTF-8 growpart /dev/vda 3
   
   # 调整文件系统大小
   sudo resize2fs /dev/vda3
   
   # 验证扩容结果
   df -h

   

2. 数据盘挂载

   您需要对数据盘进行格式化，并进行挂载。以下是参考，按需进行操作。

   # 识别新磁盘
   lsblk
   
   # 这里不进行分区，直接格式化
   sudo mkfs -t ext4 /dev/vdb
   
   # 配置挂载
   sudo mkdir /data
   echo "UUID=$(sudo blkid -s UUID -o value /dev/vdb) /data ext4 defaults,nofail 0 0" | sudo tee -a /etc/fstab
   
   # 验证
   sudo mount -a
   df -hT /data
   
   # 修改权限
   sudo chown $USER:$USER $MOUNT_DIR

   

   说明

   如果您要基于该实例制作镜像，需要删除/etc/fstab文件中添加的ext4 defaults 0 0所在行。如果不删除，您制作的镜像创建实例将无法启动。

安装CUDA

您可以参考CUDA Toolkit 12.4 Downloads | NVIDIA Developer来完成CUDA的安装。

# 安装CUDA Toolkit
wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda_12.4.0_570.124.06_linux.run
chmod +x cuda_12.4.0_570.124.06_linux.run

# 这一步需等待一段时间，并和图形界面交互
sudo sh cuda_12.4.0_570.124.06_linux.run

# 添加环境变量
vim ~/.bashrc
export PATH="$PATH:/usr/local/cuda-12.8/bin"
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/local/cuda-12.8/lib64"
source ~/.bashrc

# 验证是否成功
nvcc  -V
nvidia-smi

辅助软件安装（可选）

UV是较好的Python虚拟环境和依赖管理工具，适合需要运行多个模型的集群。你可以参考Installation | uv (astral.sh)来完成对UV的安装。

# 安装uv，默认安装在~/.local/bin/
curl -LsSf https://astral.sh/uv/install.sh | sh

# 编辑~/.bashrc
export PATH="$PATH:~/.local/bin"

source ~/.bashrc

# 创建一个干净的venv环境
uv venv myenv --python 3.12 --seed
source myenv/bin/activate

如果您遇到安装UV后，原来所设置的CUDA环境变量失效，nvcc\nvidia-smi无法找到，请您执行如下操作：

vim myenv/bin/activate 
将
export PATH="$PATH:/usr/local/cuda-12.8/bin"
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/local/cuda-12.8/lib64"
加到export PATH的后面

# 安装vllm和modelscope
uv pip install vllm==0.7.2
uv pip install modelscope

# GPU监控工具，也可以使用nvidia-smi默认的
uv pip install nvitop

下载QwQ-32B模型、vllm benchmark脚本

# 下载模型，请下载到数据盘/data下，避免空间不够报错
mkdir -p /data/Qwen/QwQ-32B
cd /data/Qwen/QwQ-32B
modelscope download --model Qwen/QwQ-32B --local_dir .

# 下载数据集（可选）
wget https://www.modelscope.cn/datasets/gliang1001/ShareGPT_V3_unfiltered_cleaned_split/resolve/master/ShareGPT_V3_unfiltered_cleaned_split.json

# 安装git（若无git）
apt update
apt install git -y

# 下载vllm-git，包含了测试脚本
git clone https://github.com/vllm-project/vllm.git

启动vllm server

vllm serve /data/Qwen/QwQ-32B/ \
  --host 127.0.0.1 \
  --port 8080 \
  --tensor-parallel-size 2 \
  --trust-remote-code \
  --served-model-name qw \
  --gpu-memory-utilization 0.95 \
  --enforce-eage \
  --max-num-batched-Tokens 8192 \
  --max-model-len 8192 \
  --enable-prefix-caching 

开启测试

python3 ./vllm/benchmarks/benchmark_serving.py --backend vllm --served-model-name qw --model /data/Qwen/QwQ-32B --dataset-name random --random-input 1024 --random-output 4096 --random-range-ratio 1 --max-concurrency 4 --num-prompts 10 --host 127.0.0.1 --port 8080 --save-result --result-dir /data/logs/ --result-filename QwQ-32B-4-1-4.log

测试完成

测试结果如下：