跳到正文
原文
OpenAI 官方动态·· 8 天前精选AI 评分68

GPT-6 优化提示词缓存:提升命中率并降低延迟与成本

Better prompt caching for GPT-6

AI 导读

OpenAI 介绍了 GPT-6 提示词缓存(prompt caching)的改进机制。该功能通过提高缓存命中率、增加新诊断工具、支持显式断点及控制项,帮助开发者降低模型调用的延迟和成本。

推荐理由

原文介绍了提示词缓存机制的具体改进方向,读者可以据此评估其对降低调用成本和延迟的作用。

来源:OpenAI 官方动态 · openai.com