AIMPACT メッセージ、5 月 17 日（UTC+8）、BerriAIはLiteLLMエージェントプラットフォームのオープンソース化を発表しました。これはKubernetesを基盤としたセルフホスティングインフラストラクチャプラットフォームであり、複数のAIエージェントを本番環境で運用するために設計されており、チームレベルのサンドボックス分離と永続化セッション管理を提供します。このプラットフォームは、Kubernetesのagent-sandbox CRDを通じてセッションレベルの独立したサンドボックス環境を実現し、状態管理、コンテナ再起動後のセッション永続化、チーム間の環境隔離などのコアな課題を解決します。ローカル開発にはkind（Docker上のKubernetes）を使用し、本番環境にはAWS EKSを推奨します。技術スタックとして、プラットフォームはNext.jsを用いて管理パネルを構築し、TypeScriptの比率は92.8%、PostgreSQLを永続化ストレージとして採用しています。LiteLLMエージェントプラットフォームはLiteLLM Gatewayの上に構築されており、Gatewayはモデルのルーティング、コスト追跡、レート制限を担当します。ローカル起動は2つのコマンドだけで可能です：bin/kind-up.shでkindクラスターを設定し、docker compose upでサービスを起動します。このプロジェクトはMITライセンスの下で公開されており、アルファ段階のプレビューです。

原文表示

このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております（表明・保証をするものではありません）。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。

10 いいね

報酬
10
7
リポスト
共有

コメントを追加

AirdropArchivist

· 6時間前

agent-sandbox CRD のこの設計はなかなか良いもので、チーム間の隔離もついに自分たちで車輪を作る必要がなくなった

原文表示返信0

GasFeesForNightRuns

· 6時間前

二つのコマンドを実行するのは確かに良いが、セッションの永続化のパフォーマンスボトルネックについてはドキュメントに詳しく記載されていない

原文表示返信0

TheProphetOfToast

· 6時間前

状態管理 + 再起動復旧のコンビネーション技、長期稼働するエージェントサービスがついに休めるようになった

原文表示返信0

Lemon-FlavoredLiquidation

· 6時間前

多エージェントオーケストレーションの本格的なオープンソース実装がついに登場、以前はすべてお遊びのプロジェクトだった

原文表示返信0

Front-RunningArbitrage

· 6時間前

セルフホスティングに関して、Kubernetesのハードルがここにありますが、純粋なDocker Composeのダウングレード方案はありますか。

原文表示返信0

GateUser-991fc58a

· 6時間前

MITライセンスは良心的ですが、アルファ段階で本番環境に投入できますか？

原文表示返信0

WatercolorGlassBottle

· 6時間前

ついにチームがエージェントの状態永続化の部分を解決しました。kindのワンクリック起動は開発者にとって非常に便利です。

原文表示返信0

人気の話題
もっと見る
#
ShareYourUSStocksWinNvidia
3.29M 人気度
#
GatePartnersWithAlpacaToBridgeCryptoAndStocks
104.63K 人気度
#
IsraelStrikesIranBTCPlunges
52.69K 人気度
#
BTC触底66000
109.97K 人気度
#
ZECRalliesAgainstMarket
5.03M 人気度

ピン留め

サイトマップ

BerriAI オープンソース LiteLLM エージェントプラットフォーム、 本番環境での複数の AI エージェント展開をサポート

人気の話題

ShareYourUSStocksWinNvidia

GatePartnersWithAlpacaToBridgeCryptoAndStocks

IsraelStrikesIranBTCPlunges

BTC触底66000

ZECRalliesAgainstMarket

ピン留め

BerriAI オープンソース LiteLLM エージェントプラットフォーム、本番環境での複数の AI エージェント展開をサポート