Mistral AI 开源 Mixtral 8x70B v2：MoE 架构的极致优化

Mistral AI 发布了 Mixtral 8x70B v2，对其 MoE（混合专家）模型进行了深度优化，展示了稀疏激活架构的持续进化潜力。

v2 改进

• 推理效率提升 35%：通过改进的专家路由策略，每次推理调用更少的专家，同时通过 Flash Attention 和连续批处理优化，推理延迟显著降低。
• 更好的跨专家通信：重新设计了 Token 在专家之间的通信机制，减少通信瓶颈，在 8 GPU 推理时吞吐量提升 40%。
• 新增原生函数调用：v2 版本原生支持函数调用和 JSON 模式输出，使其更适合 Agent 和工具使用场景。

开源策略

Mistral AI 继续坚持其开源策略，Mixtral 8x70B v2 以 Apache 2.0 许可证发布，包含模型权重、推理代码和微调工具。Mistral 表示开源是推动 AI 社区创新的核心方式。

原文链接: https://mistral.ai/news/mixtral-8x70b-v2

来源: VentureBeat AI