大模型为何缺乏确定性以及如何在产品中构建确定性系统

大语言模型在实际生产中即使设定 temperature 0 和固定 seed 也无法保证输出完全确定，主要原因是服务端动态批处理时的底层 GPU 计算差异与模型静默更新。针对业务落地，架构上需将涉及资金与权限等核心判定交由硬编码规则、校准分类器或专用决策模型处理，仅让大语言模型负责非结构化文本读写。对于关键边界决策，团队应通过多次采样测试一致率，并直接持久化记录决策结果以实现系统可追溯与可复现。