AT&T、モデルルーティング技術を活用してAIコーディングのコストを56%削減
AT&TはLiteLLMを通じてモデルルーティング技術を導入し、従業員からの日常的な問い合わせを低コストのオープンソースAIモデルに振り分けることで、回答品質の低下をわずか2%に抑えながら、AIを活用したコーディングのコストを56%削減しました。同通信大手は、社内プラットフォーム「Ask AT&T」を通じて1日あたりおよそ450億トークンを処理しており、現在、従業員からのAI問い合わせの約40%をオープンソースモデルが処理しています。AT&TのVPであるMark Austin氏は、オープンソースモデルが独自モデルとの差を縮めており、性能面での差はわずか6~10か月分の進歩に相当すると指摘しました。これを受け、同社は近い将来、オープンソースモデルの利用率を60~70%に引き上げることを目指しています。 AT&T、モデルルーティング技術でAI問い合わせを振り分け モデルルーティングシステムは、AI問い合わせのトラフィックを振り分ける仕組みとして機能します。単純な質問は軽量で安価なモデルに振り分け、複雑なタスクはOpenAIやAnthropicの高性能モデルにルーティングします。この処理を担
OliverGrant·08-22 02:47
