AIMPACT メッセージ、5 月 17 日（UTC+8）、BerriAIはLiteLLMエージェントプラットフォームのオープンソース化を発表しました。これはKubernetesを基盤としたセルフホスティングインフラストラクチャプラットフォームであり、複数のAIエージェントを本番環境で運用するために設計されており、チームレベルのサンドボックス分離と永続化セッション管理を提供します。このプラットフォームは、Kubernetesのagent-sandbox CRDを通じてセッションレベルの独立したサンドボックス環境を実現し、状態管理、コンテナ再起動後のセッション永続化、チーム間の環境隔離などのコアな課題を解決します。ローカル開発にはkind（Docker上のKubernetes）を使用し、本番環境にはAWS EKSを推奨します。技術スタックとして、プラットフォームはNext.jsを用いて管理パネルを構築し、TypeScriptの比率は92.8%、PostgreSQLを永続化ストレージとして採用しています。LiteLLMエージェントプラットフォームはLiteLLM Gatewayの上に構築されており、Gatewayはモデルのルーティング、コスト追跡、レート制限を担当します。ローカル起動は2つのコマンドだけで可能です：bin/kind-up.shでkindクラスターを設定し、docker compose upでサービスを起動します。このプロジェクトはMITライセンスの下で公開されており、アルファ段階のプレビューです。

原文表示

このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております（表明・保証をするものではありません）。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。

10 いいね

報酬
10
5
2
共有

コメントを追加

GateUser-e6dafce6

· 6時間前

オープンソースエージェントプラットフォームが集中、BerriAIのこのバージョンはK8sとの深い統合による差別化

原文表示返信0

GateUser-f78f1f3e

· 7時間前

複数のチームが共有するクラスターで最も恐れるのは相互汚染であり、サンドボックス隔離が差し迫った問題を解決しました

原文表示返信0

HotAirBalloonViewing

· 7時間前

セルフホスティング＋K8sネイティブ、データに敏感な企業にとって最高の親和性

原文表示返信0

BetaParanoiac

· 7時間前

agent-sandbox CRD設計はちょっと面白い、細粒度の隔離は必須だ

原文表示返信0

RugCheckSkeptic

· 7時間前

BerriAIのこのオープンソース化により、クラウドネイティブAIインフラも再び盛り上がってきました

原文表示返信0

人気の話題
もっと見る
#
ShareYourUSStocksWinNvidia
23.99M 人気度
#
WinGoldBarsWithGrowthPoints
1.29M 人気度
#
IsraelStrikesIranBTCPlunges
52.41K 人気度
#
BTC触底66000
10.03K 人気度
#
MicroStrategySells32Bitcoins
13.64M 人気度

ピン留め

サイトマップ

BerriAI オープンソース LiteLLM エージェントプラットフォーム、 本番環境での複数AIエージェントの展開をサポート

人気の話題

ShareYourUSStocksWinNvidia

WinGoldBarsWithGrowthPoints

IsraelStrikesIranBTCPlunges

BTC触底66000

MicroStrategySells32Bitcoins

ピン留め

BerriAI オープンソース LiteLLM エージェントプラットフォーム、本番環境での複数AIエージェントの展開をサポート