LLM技術とAIツールを比較して社内導入

概要
AIチャットツール導入の目的
LLMおよびAIチャットツールの選定
AIチャットボットの導入
- Slack連携機能
まとめ

概要

近年大規模言語モデル (LLM) 技術の発達に伴い、社内でもGitHub Copilotをはじめとする各種AIツールの導入が進んでいます。本件ではLLM技術を用いたAIチャットツールとしてAmazon Bedrockおよび Bedrock Claude Chat を導入した経緯について紹介します。

AIチャットツール導入の目的

2022年末にOpenAI社よりChatGPT 3.5がリリースされて以降LLM技術およびAIチャットボットが急速に普及し、様々な分野で活用されるようになりました。弊社でもGitHub Copilotによるコード生成補助などでAI技術の導入による社内業務効率化が進められており、また生成AIと映像を組み合わせた新たなサービスの創出が進んでいます。一方でAIチャットサービスについては社内機密情報・個人情報を扱わない範囲で個別に使用することが認められているだけで、本格的な社内業務改善に用いるのには難しい状況でした。そこで、社内業務効率化のため、あるいはより高度なAIツール導入の足がかりとするため、また生成AIを用いたサービス創出のための経験値を積むために社内AIチャットボットを導入することにしました。

LLMおよびAIチャットツールの選定

LLMおよびAIチャットツールを選定するにあたり下記の点を考慮しました。 LLMの提供においてはサービスプロバイダが入力を再学習のために使用したり不正使用レビューのため閲覧することが多いため、機密情報・個人情報の扱いについては通常のSaaSサービスと比べ追加の検討が必要になります。

LLM性能
- 同世代のLLMと比較して十分な性能を持つこと
AIチャット機能
- ユーザーごとのチャット履歴の保存ができること
- 検索拡張生成 (RAG) による社内ナレッジに基づくAIチャットボットの提供
- その他高度な機能 (Agent、外部ツールアクセス等)
管理機能
- SSO
- ユーザーごとの費用の確認
コンプライアンス
- LLMの入力が再学習に使用されないかオプトアウトが可能であること
- LLMの入力が人間のレビューに使用されないかオプトアウトが可能であること
費用
- 安価であること

機密情報・個人情報とLLM

SaaSとしてLLMまたはAIチャットサービスを使用する場合、個人情報を入力することは第三者提供にあたり、ユーザー本人の同意が必要になります。一般にGMail, Google Drive等クラウドサービスで個人情報を扱うには、対象サービスがいわゆるクラウド例外 (個人情報の保護に関する法律についてのガイドライン Q7-53 等) に該当する必要があります。

LLMへの入力が再学習など出力の生成以外の用途に用いられる場合、クラウド例外に該当しません。(https://www.ppc.go.jp/news/careful_information/230602_AI_utilize_alert/) またLLMへの入力が不正検知などのために人間によるレビューが行われる場合、クラウド例外に該当しなくなるという見解があります。【AI】生成AIとクラウド例外

本件では再学習および人間によるレビューが行われないことを条件に、機密情報 (社内秘情報・機密保持契約にカバーされるものを除く) および個人情報の扱いが可能な社内AIチャットボットの導入を進めました。

LLMの比較表

名称	Chatbot Arena Score		再学習	レビュー
OpenAI ChatGPT	GPT-4o-2024-08-06	1264	有り (オプトアウト可)	人力レビュー (オプトアウト申請可)
OpenAI ChatGPT API	ChatGPT-4o-latest	1338	無し (オプトイン)	人力レビュー (オプトアウト申請可)
Anthropic Claude	Claude 3.5 Sonnet	1268	有り (オプトアウト可)	人力レビュー (オプトアウト申請可)
Anthropic Claude API	Claude 3.5 Sonnet	1268	有り (オプトアウト可)	人力レビュー (オプトアウト申請可)
Google Gemini	Gemini-1.5-Pro-002	1304	有り	人力レビュー
Azure OpenAI	GPT-4o-2024-08-06	1264	無し	人力レビュー (オプトアウト申請可)
Amazon Bedrock	Claude 3.5 Sonnet	1268	無し	自動レビュー

※ Chatbot Arena Leaderboard (2024-10-14) より

※ 不正検知レビューのオプトアウトは申請が受諾される必要があります

AIチャットツールの比較表

	提供方法	対応モデル	SSO	カスタムプロンプト	RAG	Reasoning	外部ツール	コンテンツ編集	費用
OpenAI ChatGPT	SaaS	ChatGPT	ChatGPT Enterprise (SAML)	GPTs	GPTs	o1-mini	Bing, DALL-E, Code Interpreter, Retrieval, Custom Actions	Canvas	>= $30/user/month (Enterprise)
Anthropic Claude	SaaS	Claude	Claude Enterprise	Projects	Projects	-	-	Artifacts	>= $30/user/month (Enterprise)
Google AI Studio	SaaS	Gemini	Google Workspace	-	-	-	-	-	従量課金
Bedrock Claude Chat	セルフホスト (UI) + SaaS (LLM)	Bedrock (Claude等)	Amazon Cognito (SAML/OIDC)	BOT	BOT	ReAct	DuckDuckGo	-	インフラ料金 + API従量課金

Bedrock Claude Chat

Bedrock Claude Chat はAmazonによって開発されているチャットボットUIで、Amazon Bedrock基盤モデルによりAnthropic Claude等を利用可能です。ユーザーはCDKを使用して自身のAWS環境にソフトウェアをデプロイすることができます。 Bedrock Claude Chatは必要な条件を満たし、費用がSaaS製品と比べ非常に安価であるためこれを導入しました。

LLM: Anthropic Claude 3.5 Sonnetが使用でき、選定当時での最高性能
AIチャット: ユーザーごとのチャット履歴の保存、RAG等必要な機能が使用可能
SSO: Amazon CognitoによるSSOが使用可能
コンプライアンス: 再学習および人間によるレビューが行われない
費用: 比較的安価なLLM APIが使用でき、インフラ費用が非常に安価 (月額数百ドル程度)

Bedrock Claude Chat 画面イメージ

AIチャットボットの導入

Bedrock Claude Chatをデプロイし、全社利用を開始しました。ユーザーはSSOでアプリにログインし、一般的なAIチャットボットとして使用することができます。

またユーザー権限でボットを作成することができ、カスタムプロンプトの設定や外部URLまたはドキュメントを知識ソースとしてRAG機能を構成し、共有することができます。現在セーフィー製品の仕様のQ&Aボットなどいくつかの公開ボットが稼働しています。

Slack連携機能

Bedrock Claude ChatにはAPI公開機能があり、こちらを利用してSlackとの連携機能を開発しました。suzuki-safie/slack-chatbot-fn SlackのCustom FunctionとしてBedrock Claude ChatのBotの公開APIを呼ぶことで、Slack上からチャットボットの機能を利用することができます。

まとめ

社内AIチャットボットとしてBedrock Claude Chatを全社導入し、社内業務改善に使用可能なツールを安価に導入することに成功しました。この導入により、AIを活用した業務効率化の基盤が整いました。

今後は以下の取り組みを通じて、AIチャットボットの活用をさらに推進していく予定です：

利用方法の周知と活用促進
- RAG（検索拡張生成）などの高度な機能の使用方法について、社内トレーニングや事例共有を実施
- ユーザーの利用体験を向上させ、AIチャットボットの日常的な活用を促進
開発用途での利用拡大
- GitHubのコードリポジトリをソースとしたRAGの構築
生成AIを用いた新サービスの創出
- AIチャットボット以外の用途でのBedrock基盤モデルの活用
- 社内アプリケーションやサービスへのAI機能の組み込み