BerriAI オープンソース LiteLLM エージェントプラットフォーム、 本番環境での複数AIエージェントの展開をサポート

robot
概要作成中
AIMPACT メッセージ、5 月 17 日(UTC+8)、BerriAIはLiteLLMエージェントプラットフォームのオープンソース化を発表しました。これはKubernetesを基盤としたセルフホスティング型インフラストラクチャプラットフォームであり、複数のAIエージェントを本番環境で運用するために設計されており、チームレベルのサンドボックス分離と永続化セッション管理を提供します。このプラットフォームは、Kubernetesのagent-sandbox CRDを通じてセッションレベルの独立したサンドボックス環境を実現し、状態管理、コンテナ再起動後のセッション永続化、チーム間の環境隔離などのコアな課題を解決します。ローカル開発にはkind(Kubernetes in Docker)を使用し、本番環境にはAWS EKSを推奨します。 技術スタックとして、プラットフォームはNext.jsを用いて管理パネルを構築し、TypeScriptの比率は92.8%、PostgreSQLを永続化ストレージとして採用しています。LiteLLMエージェントプラットフォームはLiteLLM Gatewayの上に構築されており、Gatewayはモデルのルーティング、コスト追跡、レート制限を担当します。ローカル起動は2つのコマンドだけで可能です:bin/kind-up.shでkindクラスターを設定し、docker compose upでサービスを起動します。このプロジェクトはMITライセンスの下で公開されており、アルファ段階のプレビューです。
原文表示
このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております(表明・保証をするものではありません)。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。
  • 報酬
  • コメント
  • リポスト
  • 共有
コメント
コメントを追加
コメントを追加
コメントなし