Hacker News · AI· nlpnerd·· 19 days agoSelectedAI score62
Seldon 发布 Functions：将前沿模型调用编译为更快更省的专用程序
We fired the frontier model from two AI pipelines. Here are the receipts
Not yet translated; shown in Chinese.
AI guide
Seldon 推出 Seldon Functions，可将数据管道中的前沿大语言模型调用自动编译为由小模型、专用模型和确定性代码组成的多步骤程序，并通过 OpenAI 兼容端点一键切换。
Why it matters
文章详细公开了将前沿模型调用编译为专用管道的实验数据与收益平衡点，适合高吞吐量工程团队参考。
Source:Hacker News · AI · seldon-ai.com