Hacker News · AI· _____k·· 16 時間前厳選AI スコア77
Revolut、Claudeから内製モデルへの移行でAIコーディングコストを90%削減
Revolut slashes AI coding costs 10x by cutting out Claude and going self-hosted
AI ガイド
英フィンテック企業のRevolutは、標準のAIコーディングツールをClaudeなどの商用サービスから独自運用のオープンソースモデルに切り替え、推論コストを約90%削減したと発表した。同チームは56基のNvidia B200 GPUを用いてGLM-5.3をデプロイし、NVFP4量子化やPrefillとDecodeの分離といった最適化によって、256kコンテキストにおいて3秒未満のファーストトークンレイテンシ(TTFT)と200トークン/秒のインタラクティブなスループットを達成した。
推薦理由
元記事では、商用APIをオープンソースモデルへ置き換える際のハードウェア構成や推論最適化手法が具体的に示されており、コーディングモデルの内製化におけるコストや実装性を検証する上で有用なリファレンスとなっている。
出典:Hacker News · AI · theregister.com