inference

# MoE 推理优化 基于 MoE-Inference-Bench 研究（arXiv 2508.17467, 2024）的 MoE 推理优化完整指南。 ## 目录 - 性能指标 - vLLM 优化 - 量化 - 专家并行 - 优化技术 - 生产环境部署 ## 性能指标 **来源**：MoE-Inference-Bench (arXiv 2508.17467) ### 关键指标 1. **首字延迟 (TTFT)** - 生成第一个 Token 的延迟 - 对用户体验至关重要 2. **Token 间延迟 (ITL)** - 相邻 Token 之间的时间间隔 - 影响流式输出体验 3. **吞吐量** - 公式：`(Batch Size × (输入 + 输出 Token 数)) / 总延迟` - 数值越高越好 ### 基准测试结果 (H100 GPU) **LLM 性能**： - **OLMoE-1B-7B**：吞吐量最高 - **Mixtral-8x7B**：准确率最高，吞吐量较低 - **Qwen3-30B**：准确率高，吞吐量适中 **VLM 性能**： - **DeepSeek-VL2-Tiny**：速度最快，准确率最低 - **DeepSeek-VL2**：准确率最高，吞吐量最低 ## vLLM 优化 **来源**：MoE-Inference-Bench 2024, vLLM 文档 ### 专家并行 将专家分布在多个 GPU 上进行并行执行。 python from vllm import LLM, SamplingParams # 启用专家并行 llm = LLM( model="mistralai/Mixtral-8x7B-v0.1", tensor_parallel_size=2, # 张量并行 enable_expert_parallel=True, # 专家并行 gpu_memory_utilization=0.9 ) # 生成 outputs = llm.generate( prompts=["什么是专家混合模型？"], sampling_params=SamplingParams(temperature=0.7, max_tokens=256) ) ### 并行策略 **来自 MoE-Inference-Bench**： | 策略 | 吞吐量增益 | 适用场景 | |----------|----------------|----------| | **张量并行** | 高 | 大模型，多 GPU | | **专家并行** | 中 | MoE 专用，专家数量多 | | **流水线并行** | 低 | 超大规模模型 | **建议**：张量并行对 MoE 模型最有效 ### 融合 MoE 内核 **性能增益**：吞吐量提升 12-18% python # vLLM 在可用时会自动使用融合内核 llm = LLM( model="mistralai/Mixtral-8x7B-v0.1", use_v2_block_manager=True # 启用融合 MoE 内核 ) **作用**： - 减少内核启动开销 - 将多个操作合并为单个内核 - 提高 GPU 利用率 ## 量化 **来源**：MoE-Inference-Bench 量化分析 ### FP8 量化 *