IBM 推出 vLLM-Hook MIA 插件，兼顾高吞吐推理与模型运行时可解释性

IBM 推出面向开源推理引擎 vLLM 的插件库 vLLM-Hook MIA，允许开发者在模型推理运行时低延迟监测与干预内部状态。该方案解决了以往可解释性工具必须关闭 CUDA Graphs 图回放并导致推理显著变慢的问题，在 Llama 8B 与 Qwen 1.5B 上的干预延迟开销仅约 2%，Llama 70B 仅约 6%。