MakeSomethingNew（東京都中央区）は2026年5月21日、大企業における生成AIとAI Agent活用を支援する「社内LLM基盤構築サービス」の提供を始めました。社内アプリやチャットUI、AI AgentからのLLM利用を一元化し、認証認可や監査対応を共通基盤として整備します。
部門ごとに個別のAIツールやAPI連携を導入すると、利用状況の把握が難しくなり、認証・ログ・セキュリティ設計が分散します。さらに、LLM APIのレート制限や障害が起きた際に業務へ影響が及ぶほか、コストやトークン量、レイテンシ、エラーの横断管理が困難になることが課題です。
同サービスは、Entra IDなど社内ID基盤と連携した認証認可に加え、Azure OpenAI、OpenAI API、Groq、OSS LLMなど複数モデルを束ねたルーティング機能を提供します。レート制限、速度、コスト、障害状況に応じて分岐・代替切替を行い、ユーザー・部門・アプリ・モデル単位でトークン使用量やレイテンシ、エラー、コストのログを可視化します。AI Agentが参照する社内データやツール、業務APIも管理可能な形で接続します。
企業の生成AI活用が試験導入から本格運用へ移る中、権限管理や監査ログ取得、障害時の代替ルート確保の重要性が増しています。今後は共通基盤の整備により、開発チームが認証やログ、ルーティングの実装負荷を下げ、業務特化のAgent設計に注力できる体制づくりが焦点になります。
【商品情報】
サービスページ：社内LLM基盤構築サービス
詳細URL：https://llm-infra.makesomethingnew.jp
Webサイト：https://makesomethingnew.jp
お問い合わせ：eiichi_sugiyama@makesomethingnew.jp