今天的AI情报
模型发布、技术更新与官方评测信号。只记录有来源的结果,缺测不补零。
OpenAI 发布 BioBasicsBench 湿实验基础技能基准
BioBasicsBench 以原始实验材料评估模型对常规湿实验任务的理解,覆盖五个领域的一百项任务;官方同时公布七个模型、三十七种模型与推理强度配置的结果。
- 基准覆盖一百项常规湿实验任务和五个领域
- 评测包含一万八千五百个模型结果
- 官方报告 GPT-6 Astra xhigh 得分 66.7%,GPT-6.1 Sol 得分 62.0%
情报流
vLLM 在暂停与休眠期间保留已卸载的 KV 层级
vLLM 调整 KV Connector 的暂停和休眠语义,使已经卸载到外部层级的 KV 数据可以跨暂停或休眠继续保留,面向异步强化学习等需要反复让推理引擎休眠的工作流。
vLLM 多模态编码器 CUDA Graph 支持共享缓冲区复用
vLLM 重构多模态编码器的 CUDA Graph 管理,使不同图实例可以复用共享图缓冲区,减少图捕获与运行时缓冲管理的重复开销。
SGLang 将 DSA 打包预填充 Top-K 移至 CUDA 执行
SGLang 为动态稀疏注意力的打包预填充路径增加 CUDA Top-K 后端,并接入索引器元数据和页分片注意力流程。
SGLang 在 GFX950 融合 Qwen3 的 FP8 输入量化、RMSNorm 与 SiLU
SGLang 为 GFX950 上的 Qwen3 Block-FP8 线性层加入融合边界算子,将 1×128 FP8 输入量化并入 RMSNorm 与 SiLU 乘法路径。
SGLang 融合 DeepSeek V4.1 的 BF16 预填充索引器评分尾处理
SGLang 在 NVIDIA 路径融合 DeepSeek V4.1 预填充索引器的 BF16 评分归约与尾处理,减少索引器评分阶段的独立操作。
SGLang 为 DSA 解码加入 DCP8 融合索引器 Top-K
SGLang 在 NVIDIA 解码路径中加入 DCP8 融合索引器 Top-K,把跨分片索引合并与候选选择整合为专用 CUDA 内核。
llama.cpp 新增 MageVL-Cowork 多模态模型支持
llama.cpp 的多模态模块加入 MageVL-Cowork 模型转换、张量映射与视觉编码实现,并校验模型级 RoPE 频率张量的形状与类型。
llama.cpp 的 MoE 缓存可把未命中专家分流到 CPU
llama.cpp 为 MoE 缓存新增 CPU 分流比例,让部分缓存未命中的专家直接在主机端计算,并提供调优脚本估算缓存大小与 CPU 分担比例。
vLLM 将 MLA 解码输出上投影前移到 DCP 全对全合并之前
vLLM 调整解码上下文并行路径,先对 MLA 解码输出执行上投影,再进入全对全合并,以重排通信与计算的张量形态。
vLLM 的 MiniMax M3.1 NVFP4 稀疏解码内核直接输出 MXFP8 投影输入
vLLM 在 ROCm 的 MiniMax M3.1 稀疏解码路径中,让 NVFP4 内核直接生成后续输出投影所需的 MXFP8 输入,减少中间格式转换。
SGLang 使用 Reduce-Scatter 汇聚 DeepSeek V4.1 的 CP MoE 输出
SGLang 将 DeepSeek V4.1 上下文并行 MoE 输出的汇聚路径改为 Reduce-Scatter,以更直接地完成分片归约和结果分发。
SGLang 为 Kimi K3.1 加入可选持久化 MXFP4 解码 MoE 内核
SGLang 在 NVIDIA 路径新增可选的持久化 MXFP4 解码 MoE 内核,面向 Kimi K3.1 的低批量解码执行。
vLLM 将 DSpark 的 Markov 偏置与分块合并融合进 Gumbel 采样
vLLM 重构 DSpark 推测解码采样路径,把 Markov 偏置和分块结果合并融合进 Gumbel 采样步骤,减少独立算子与中间张量。
SGLang 融合 Gemma 4 的 TP 全归约、层尾处理与 FP8 量化
SGLang 在 NVLink Multicast 路径中,把 Gemma 4 的张量并行全归约、层尾处理和 FP8 量化合并为一条通信计算融合路径。
SGLang 在 GFX950 融合 Qwen3-Next 的 QK 归一化与部分 RoPE
SGLang 为 Qwen3-Next 的全注意力路径新增 Triton 融合内核,将 Q/K GemmaRMSNorm 与部分旋转位置编码合并执行。
SGLang 完成 Kimi K3.1 的预填充上下文并行与 MegaMoE 优化组合
SGLang 连续合入 Kimi K3.1 的预填充上下文并行、可中断预填充图、MegaMoE、DFlash 和解码 MoE 分片优化,形成一组可合并使用的长上下文推理路径。
SGLang 的 NVIDIA Megakernel 扩展到预填充与 Extend 阶段
SGLang 将 NVIDIA Megakernel 的覆盖范围从解码进一步扩展到预填充和 Extend 阶段,为更多请求阶段提供融合执行路径。
SGLang 在 ROCm 上加入 Quark INT4 W4A16 与 Strix Halo 内核
SGLang 为 ROCm 增加 Quark INT4 W4A16 推理,并为 Strix Halo 的 gfx1151 架构补充解码和预填充内核。
llama.cpp 新增 Kimi K3.1 Pro 文本模型支持
llama.cpp 为 Kimi K3.1 Pro 增加文本模型架构、转换与混合缓存支持,覆盖 DSA 索引器、KDA 层和量化权重处理。
vLLM 合入 Kimi K3.1 模型文件与 NVIDIA 专用解码路径
vLLM 新增 Kimi K3.1 的模型实现基础与 NVIDIA 专用解码路径,为该模型的服务化推理提供原生运行时支持。
vLLM 为 DSpark 推测解码加入滑动窗口 MLA 草稿层
vLLM 在 DSpark 推测解码路径加入滑动窗口 MLA 草稿层,扩展长上下文条件下的草稿模型执行方式。
vLLM 扩展 GLM-5.3 的 FP8 MoE TMA 内核至 SM100
vLLM 将 GLM-5.3 的 FP8 MoE TMA 优化扩展到 SM100 架构,提交说明给出的内核性能提升区间为 1.03 至 1.60 倍。
NVIDIA 开源 NCCL M2N Reshard 集合通信原语
NCCL M2N Reshard 面向分布式张量布局转换,只传输目标布局所需的最少数据;在 NeMo RL 的权重更新场景中,官方报告其相对 gather 加 broadcast 获得显著加速。
NVIDIA 公布 FLUX 3 Image Klein 在 Blackwell 上的 VisualGen 优化栈
NVIDIA 将低精度量化、稀疏注意力、缓存与多 GPU 扩展整合到 VisualGen 推理路径,并公布文本生成图像与图像生成图像的端到端加速数据。
Hugging Face 开源 Harness Adapters 让强化学习直接复用编码代理
Harness Adapters 将模型训练接口接入现有编码代理,使强化学习可在基本不修改代理实现的情况下运行,并加入阻断奖励投机工具调用的安全代理层。
llama.cpp 将多模态音频 Log-Mel 计算迁移到计算图
llama.cpp 将多模态音频前处理中的 Log-Mel 计算迁移到统一计算图,使该步骤可以由后端图调度与执行。
vLLM 让 Kimi K3 的 Latent MoE 尾部融合在休眠模式下保持可用
vLLM 修正 Kimi K3 的休眠模式路径,使 Latent MoE 尾部融合在权重休眠与恢复场景中仍能维持融合执行。
llama.cpp 的 WebGPU 后端实现 GroupNorm 内核
llama.cpp 为 WebGPU 后端加入 GroupNorm 着色器和算子调度支持,扩展浏览器与跨平台 GPU 后端可执行的模型算子集合。
SGLang 将 DSV4 紧凑目标验证压缩器接入融合内核
SGLang 将 DSV4 紧凑目标验证中比例一和比例二的压缩器改为通过融合内核运行,减少推测验证路径中的分散计算。
llama.cpp 在 Hexagon 后端融合 RMSNorm 与残差加法
llama.cpp 将后归一化残差加法融合进 Hexagon 的 RMSNorm 乘法路径,并新增专用融合操作以让中间值保留在 HVX 寄存器中。
SGLang 新增架构无关的 ATen 到 MLX 降低层
SGLang 的 Apple 后端新增架构无关的 ATen 到 MLX lowering 层,用统一转换层减少模型架构与 MLX 后端之间的直接耦合。
llama.cpp 扩展 Hexagon 卷积优化并加入三维卷积
llama.cpp 为 Hexagon 后端继续优化二维卷积实现,并加入三维卷积支持,扩大该加速后端可执行的算子范围。
Transformers 为 Gemma 4 的共享 KV 预填充加入提前截断
Transformers 在只保留末尾 logits 时,于最后一个拥有 KV 的层后停止共享 KV 预填充,并将切片逻辑推广到正数 logits 保留配置。
vLLM 的 W4A8 FP8 MoE 路径开始支持检查点权重
vLLM 扩展 W4A8 FP8 MoE 推理路径,使其可以加载对应格式的检查点权重,补齐量化 MoE 模型部署链路。
vLLM 新增 LFM3-Audio 模型支持
vLLM 合入 LFM3-Audio 的模型支持,使该音频模型进入其原生推理与服务运行时。