高並行・ネットワーク切断環境におけるLiteLLMとReveniumのAI支出制限機能を実測検証

Stipendチームが、オープンソースのプロキシであるLiteLLMと商用プラットフォームのReveniumを対象にAI予算制限のストレステストを実施した。その結果、デフォルト設定では、トラフィック急増時やバックエンド障害時にいずれも予算を超過するリスクがあることが判明した。