Hacker News · AI· agustin018·· 3 小时前精选AI 评分67
FastAPI-stream-lease 开源：基于 Redis 的流式连接并发控制工具
FastAPI-stream-lease – Redis lease manager for FastAPI SSE/LLM streams
AI 导读
开源项目 FastAPI-stream-lease 发布，用于通过 Redis 跨 FastAPI 与 Starlette 多 Worker 限制同时处于活跃状态的 SSE、LLM token 流及 WebSocket 会话数。
推荐理由
原文给出了基于租约限制长连接并发的完整设计与降级机制，读者可以据此评估 LLM 流式服务中的连接治理方案。
来源：Hacker News · AI · github.com