如何通过 Green Contexts 控制 GPU 资源共享

NVIDIA 介绍了通过 Green Contexts 控制 GPU 资源共享的机制，以解决单进程内多任务并发执行时的资源调配难题。当前 GPU 应用常需在同一进程中同时运行数据预处理与模型推理、延迟敏感算子与高吞吐后台算子等多个独立组件。面对多个处理阶段共享单块 GPU 的场景，精确控制各组件间的 GPU 资源分配至关重要。