Ascend model verification

昇腾模型适配验证 (Ascend Model Adaptation Verification)

基于 vLLM-Ascend 后端的自动化验证流水线，用于验证大语言模型在华为昇腾 NPU 设备上的部署、精度与性能表现。

核心流程

1. 环境预检 ──→ 2. 模型部署 ──→ 3. 执行验证 ──→ 4. 资源清理 ──→ 5. 生成报告

---

输入参数

Skill 接收以下 JSON 格式配置参数：

{
  "model_path": "/models/Qwen3.5-27B-w8a8",
  "model_name": "Qwen3.5-27B-w8a8",
  "hardware_type": "Atlas 800 A2",
  "is_quantized": true,
  "vllm_server_config": {
    "host": "0.0.0.0",
    "port": 8000,
    "tensor_parallel_size": 2,
    "max_model_len": 133000,
    "gpu_memory_utilization": 0.90,
    "compilation_config": {"cudagraph_mode": "FULL_DECODE_ONLY"}
  },
  "benchmark_config": {
    "input_len": 200,
    "num_prompts": 200,
    "request_rate": 1
  },
  "run_accuracy_test": true,
  "run_performance_tests": ["serve", "latency", "throughput"]
}

参数	类型	必填	说明
model_path	string	✅	模型权重路径
model_name	string	❌	模型标识，默认 "Qwen3.5-27B"
hardware_type	string	❌	硬件类型，默认 "Atlas 800 A2"
is_quantized	boolean	❌	是否量化，默认 true
vllm_server_config	object	❌	vLLM 服务器配置
benchmark_config	object	❌	性能测试配置
run_accuracy_test	boolean	❌	是否执行精度测试，默认 true
run_performance_tests	array	❌	性能测试类型 ["serve", "latency", "throughput"]

---

验证步骤

Step 1: 环境预检

执行以下检查：

npu-smi info
pip list | grep vllm

检查项：

• NPU 驱动是否正常
• vLLM-Ascend 是否已安装
• 昇腾设备是否可用

Step 2: 模型服务部署

根据配置启动临时 vLLM API 服务器：

vllm serve {model_path} \
  --host {host} \
  --port {port} \
  --tensor-parallel-size {tp_size} \
  --max-model-len {max_model_len} \
  --gpu-memory-utilization {gpu_mem_util} \
  --quantization ascend \
  --compilation-config '{"cudagraph_mode":"FULL_DECODE_ONLY"}' \
  --async-scheduling

量化配置： 若 is_quantized=true，添加 --quantization ascend 参数。

Step 3: 执行验证测试

3.1 精度验证

使用 AISBench 在指定数据集（如 GSM8K）上运行推理：

ais_bench --models vllm_api_config.py --datasets gsm8k.py --mode all --dump-eval-details --merge-ds

输出指标：准确率 (accuracy)

3.2 性能基准测试

使用 vllm bench 执行三种模式测试：

模式	说明	关键指标
serve	在线吞吐测试	QPS, TTFT, TPOT
latency	单请求延迟测试	P50/P90/P99 延迟
throughput	离线吞吐测试	tokens/sec

# serve 模式
vllm bench serve --model {model} --dataset-name random --random-input 200 --num-prompts 200 --request-rate 1 --save-result

# latency 模式
vllm bench latency --model {model} --input-len 200 --output-len 200 --num-iterations 10

# throughput 模式
vllm bench throughput --model {model} --input-len 200 --output-len 200 --num-batches 16

Step 4: 资源清理

验证完成后自动停止服务进程：

pkill -f "vllm serve"

Step 5: 生成验证报告

输出结构化 JSON 报告：

{
  "success": true,
  "summary": "验证完成，耗时 320.5 秒",
  "detailed_report": {
    "environment_check": {
      "npu_smi": true,
      "vllm_installed": true,
      "version": "v0.17.0rc1"
    },
    "accuracy_evaluation": {
      "dataset": "gsm8k",
      "accuracy": 96.74,
      "status": "passed"
    },
    "performance_benchmarks": {
      "serve": {"qps": 45.2, "ttft_ms": 120, "tpot_ms": 35},
      "latency": {"p50_ms": 85, "p90_ms": 150, "p99_ms": 220},
      "throughput": {"tokens_per_sec": 1250}
    },
    "logs": ["步骤1完成", "服务启动成功", "精度测试通过"]
  },
  "report_path": "./validation_report.json"
}

---

输出格式

字段	类型	说明
success	boolean	整个流程是否成功
summary	string	人类可读的结果摘要
detailed_report	object	详细测试结果
detailed_report.environment_check	object	环境检查结果
detailed_report.accuracy_evaluation	object	精度测试结果
detailed_report.performance_benchmarks	object	性能测试结果
detailed_report.logs	array	关键步骤日志
report_path	string	报告文件路径

---

错误处理

• 环境检查失败：记录错误信息，直接返回失败报告
• 服务启动失败：捕获异常，尝试清理进程，报告失败原因
• API 调用超时：设置 60 秒超时，自动重试 2 次
• 测试执行失败：记录失败环节，继续执行后续测试（可选）

---

参考脚本

脚本	功能
scripts/validator.py	Python 验证编排器（推荐）
scripts/start_server.sh	vLLM 服务启动脚本
scripts/run_accuracy.sh	精度评估脚本
scripts/run_perf.sh	性能基准测试脚本

快速使用

python scripts/validator.py \
  --model-path Eco-Tech/Qwen3.5-27B-w8a8-mtp \
  --model-name qwen3.5 \
  --quantized \
  --port 8000 \
  --tp-size 2

---

Qwen3.5-27B 参考实现

基于 Qwen3.5-27B 官方部署教程 的参考脚本：

Qwen3.5-27B 服务启动

# 环境变量
export VLLM_USE_MODELSCOPE=true
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export HCCL_BUFFSIZE=512
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=1
export TASK_QUEUE_ENABLE=1

# 启动命令
vllm serve Eco-Tech/Qwen3.5-27B-w8a8-mtp \
  --host 0.0.0.0 \
  --port 8000 \
  --data-parallel-size 1 \
  --tensor-parallel-size 2 \
  --seed 1024 \
  --quantization ascend \
  --served-model-name qwen3.5 \
  --max-num-seqs 32 \
  --max-model-len 133000 \
  --max-num-batched-tokens 8096 \
  --trust-remote-code \
  --gpu-memory-utilization 0.90 \
  --no-enable-prefix-caching \
  --compilation-config '{"cudagraph_mode":"FULL_DECODE_ONLY"}' \
  --additional-config '{"enable_cpu_binding":true}' \
  --async-scheduling

关键参数说明

参数	值	说明
--tensor-parallel-size	2	Tensor 并行大小，A2 建议 2
--data-parallel-size	1	Data 并行大小
--max-model-len	133000	最大上下文长度 (128k)
--max-num-seqs	32	每 DP 组最大请求数
--max-num-batched-tokens	8096	单步最大处理 tokens
--gpu-memory-utilization	0.90	HBM 利用率
--quantization	ascend	启用 ascend 量化
--compilation-config	FULL_DECODE_ONLY	图编译模式

功能验证

curl http://localhost:8000/v1/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "qwen3.5",
        "prompt": "The future of AI is",
        "max_completion_tokens": 50,
        "temperature": 0
    }'

精度评估 (GSM8K 参考指标)

数据集	指标	参考值
gsm8k	accuracy	96.74

性能评估命令

# serve 模式 (在线吞吐)
vllm bench serve --model Eco-Tech/Qwen3.5-27B-w8a8-mtp \
  --dataset-name random \
  --random-input 200 \
  --num-prompts 200 \
  --request-rate 1 \
  --save-result \
  --result-dir ./

# latency 模式 (延迟)
vllm bench latency --model Eco-Tech/Qwen3.5-27B-w8a8-mtp \
  --input-len 200 \
  --output-len 200 \
  --num-iterations 10

# throughput 模式 (离线吞吐)
vllm bench throughput --model Eco-Tech/Qwen3.5-27B-w8a8-mtp \
  --input-len 200 \
  --output-len 200 \
  --num-batches 16

Qwen3.5-27B 专用脚本

脚本	功能
scripts/serve_qwen3.5-27B.sh	Qwen3.5-27B 服务启动
scripts/verify_qwen3.5-27B.sh	Qwen3.5-27B 功能验证
scripts/eval_qwen3.5-27B_accuracy.sh	Qwen3.5-27B 精度评估
scripts/eval_qwen3.5-27B_perf.sh	Qwen3.5-27B 性能评估

---

参考文档

• Qwen3.5-27B 部署教程
• AISBench 精度评估
• vLLM Benchmark