生成AIに自社データを活用するRAG。技術要素や導入事例、注意点とは？

ChatGPTやGeminiなどをはじめとする生成AIサービスを業務で活用するにあたり、Webで提供される標準サービスやAPIだけでは、自社のデータに基づいた回答を得ることが難しいという課題があります。

その解決策として普及が進んでいるのが「RAG：Retrieval Augmented Generation（検索拡張生成）」という技術です。

本記事では、生成AI活用の課題やRAGの概要、構築に求められる技術要素などについて解説します。

企業が直面する生成AI活用の課題

企業に生成AIを導入する際には、情報源の問題、機密情報の流出リスク、データの配置場所といった課題に直面します。

Webベースの情報源による回答の限界

汎用的な生成AIサービスは、学習データとして主にインターネット上の公開情報を使用しています。
当然ながら企業の内部資料や社内ルール、製品仕様書といった固有の情報を参照することはできません。

たとえば、「新製品Xについて、他社との差別化ポイントを教えて」「昨年度のプロジェクトAで発生した課題と対策を整理して」といった自社の業務に関する質問は、プロンプトなどにて情報を与えていない限り的確な回答を得ることは不可能です。

そのため、生成AIに対して「業務で効果を十分に実感できない」といった状況に陥る企業も少なくありません。
より価値ある生成AI活用を実現するために、自社で蓄積した知識や情報をベースに回答してほしいというニーズが高まっています。

セキュリティやガバナンスを左右するデータ配置

汎用的な回答しか行えない生成AIをカスタマイズする方法としては、学習済みである大規模言語モデル（LLM）のパラメーターを微調整する「ファインチューニング」という方法があります。

これをうまく行えば、自社に適したAI環境を手に入れられるものの、難易度が高い方法であり、LLMや機械学習、データサイエンスの知識が必要になるという課題があります。

もう1つ、ChatGPT（OpenAI）などのWebサービスが提供するファインチューニングのサービス利用する場合、ここに自社独自のデータをLLMに追加学習させると、追加された学習データを事業者側に送信することになります。

もちろん、チューニングされたモデルは事業者側の管理によって決して他社が利用できないようになっており、また、一般的なLLMサービスであれば、それをモデルの学習に使用しないと定めているケースがほとんどです。
そのため、直ちに情報漏えいに発展するリスクは低いと言えますが、一度送信したデータは自社による管理が及ばないものであり、セキュリティやガバナンス上リスクが残る行為と言えます。

生成AIの課題を解決する「RAG」とは

生成AIが自社データに基づく回答を実現したり、生成AI特有のハルシネーション（事実と異なる情報をもっともらしく回答すること）を防ぐ技術に、より障壁の低い方法として「RAG」が知られています。

RAGの概要・仕組み

RAGとは、簡単に言えば、AIに独自のデータベースから情報を探させて、その情報をもとに回答させる仕組みです。
インターネット上の一般的な知識だけでなく、自社が持つ固有の情報に基づいて、正確な回答を生成できるようになります。

料理を作る手順に例えると次のようになります。
自社独自の食材を入れる冷蔵庫（データベース）を用意しておき、ユーザーから「この料理を作ってほしい」とリクエスト（質問）が来ると、AIが冷蔵庫の中から質問と最も関連性の高い食材（ドキュメント）を瞬時に探し出し、最後に、探し出した食材（関連情報）とユーザーの質問を組み合わせて、LLMに渡します。

LLMは、この新しいレシピ（情報）をもとに、スムーズで自然な言葉を使って回答を生成します。

RAGに必要な技術要素

RAGの実装における特に重要な技術要素として、以下の3つが挙げられます。

1．データベースの構築

自社の情報を格納する検索用データベースを構築します。これが先述した例の冷蔵庫に該当します。
情報はトピックや段落ごとの小さな単位に分割（チャンキング）され、コンピュータが理解しやすいベクトル形式で保存されます。
ベクトルとは、文章の意味をコンピュータが理解できる数値の組み合わせに変換したものです。

2．セマンティック検索

ユーザーの質問と合う情報を正確に見つける検索機能も必要です。
RAGでは単純なキーワード検索を行うのでなく、質問の意図や文脈を理解して関連性の高い情報を抽出します。

ユーザーが検索したキーワードと完全に一致しなくても、求めている答えに最も近い情報を特定できるようになります。
例えるなら、「にんじん」という言葉で検索するのではなく、「カレーライスに合う野菜」といった意味合いで検索するイメージです。

3．LLMへのプロンプトの設計

検索された情報とユーザーの質問を組み合わせて、自然で正確な回答を作り上げます。
ここで重要なのは、LLMに与えるプロンプトの設計です。
「与えられた情報のみを使用する」「分からないことは分からないと答える」といった制約を設けることで、ハルシネーションを防ぎ、信頼性の高い回答を得ることができます。

また、回答の根拠となった情報源を明示させることで、透明性も確保されます。

オンプレミス環境での生成AI構築

RAGを取り入れた生成AIシステムは、クラウドとオンプレミスどちらの環境でも構築可能です。
しかし、機密性の高い情報を扱う場合や企業独自のシステム要件がある場合、自社内にシステムを構築するオンプレミス環境が有力な選択肢となります。

オンプレミスの主なメリット

オンプレミス環境で構築する生成AIには、いくつかのメリットがあります。

最も重要なのはセキュリティやガバナンスの向上です。
企業の機密情報や個人情報がインターネット上に送信されることなく、すべて社内で処理されるため、情報漏えいのリスクを減らすことができます。特に機密性を重視する業界には欠かせません。

さらに、ベンダーロックインを防ぎ、自由にシステムをコントロールできる点もメリットです。
オンプレミスであれば会社の業務に合わせて機器やソフトウェアを自由に選択でき、すでに使っている社内システムと連携させることが可能です。

また、特定のプラットフォーマーの値上げやサービス変更・終了、仕様変更に左右されることなく、安定してシステムを運用し続けられます。

オンプレミスの場合、コストメリットが得られる場合もあります。
オンプレミスは初期投資が高額になりやすいですが、月額利用料などの固定費用がかからず、使用量に応じた追加料金も発生しないため、長期間・大規模に利用する場合はクラウドよりも総コストを抑えられる可能性があります。

オンプレミスの生成AIに必要なインフラ

オンプレミス環境で生成AIを構築するためには、適切なハードウェアやソフトウェアが必要です。

ハードウェアに関しては、AIの処理に適したGPUが性能を左右する重要な要素です。
現在の主流はNVIDIA製のGPUで、大規模なものであればデータセンター向けのA100やH100などが使われ、小規模なものであればコンシューマ向けハイエンドモデルのRTX 4090なども使用されます。
中規模のAIモデルなら12GB以上、大規模なモデルなら24GB以上のメモリを持つGPUが推奨されます。

ソフトウェアに関しては、AIモデルを効率よく動作させる「推論エンジン」を用いたり、コンテナ環境でシステムを構築する場合は、複数のシステムをまとめて管理する「コンテナ管理基盤（コンテナ化・オーケストレーション）」、RAGに必要な「ベクトルデータベース」などを組み合わせます。
これらのソフトウェアを適切に設定・運用することで、企業のニーズに最適化されたRAGを構築できます。

自社データとRAGを活かしたAI基盤の効果・注意点

ここでは、実際のユースケースとともにRAGベースの生成AI基盤の効果やポイント、構築時の注意点について解説します。

RAGベース生成AI基盤のユースケースと効果

以下、3つのユースケースを紹介します。

内部ドキュメントの要約・回答

外資系コンサルティング企業では、RAGを活用した社内向けAI対話システムを導入し、内部ドキュメントの自動要約や回答を実現しました。
特筆すべきは、ハルシネーション軽減対策に、生成AIが回答した内容の根拠としてファイル名やページ番号を示せる点です。
これにより、回答内容の評価・検証が容易になりました。

このAI対話システムによって、顧客企業のイノベーション推進といった知的業務に集中できるようになっています。

カスタマーサポートの強化

SaaS企業が開発した生成AIエージェントは、300件を超える導入事例や活用ガイド、セキュリティホワイトペーパーなどの自社データをRAGに登録しています。
「同社のサービス導入を検討している」など、さまざまなユーザーからの問い合わせに最適な回答を提供。

また、「外部連携はどのように行えばよいか」など、自社データのみならず、外部データを必要とする回答の場合は、外部データソースを元に整理して回答します。
生成AIエージェントが従業員に代わって24時間365日対応してくれるため、カスタマーサポート業務の効率化やコスト削減につなげることが可能です。

マーケティング分析

あるヘルステック企業では、ドラッグストア検索予約サイトといったさまざまなサービスを提供しています。
サービスごとに専門用語やオペレーションが異なり、従業員によって理解度も異なるため、顧客からの問い合わせの回答にバラつきがありました。
そこで社内マニュアルを集約したAIチャットボットを構築し、従業員が顧客の対応をする前に正確な情報を確認できる体制を整えました。

わずか1カ月でChatGPT4ベースの検証環境をSlackアプリとして構築。現在は3つのサービス別チャットボットで社内検証を行い、新人教育用の社内ローンチを計画しています。

構築時の成功ポイントと注意点

RAGベースの生成AI導入を成功させるためには、いくつかの重要なポイントがあります。

まず、データ品質の確保です。
自社データを使用するとはいえ、信頼できる情報源からのデータ収集、最新データへの更新、不正確な情報の除去などが欠かせません。
質の低いデータを使用すると、AIが誤った情報を学習し、かえって業務に支障が出る可能性があります。

次に、人材の確保や育成です。
AI技術はもちろん、業界ならではの知識・経験を持つ人材や、システム運用を改善できる体制の構築が必要です。社内で補えない場合は、外部リソースに頼ることも選択肢の1つです。

段階的な導入フローを採用することも重要です。
試験的なプロジェクトで成功を収めて社内の理解を得てから徐々に導入範囲を拡大し、最終的には全社での導入を目指します。

オンプレミスのRAGシステム構築を支援するソリューション

TD SYNNEXでは、オンプレミス環境にRAGを取り入れた生成AIシステムを構築するために役立つソリューションを提供しています。
その代表例を紹介します。

AI導入を迅速化するHPE Private Cloud AI

Hewlett Packard Enterprise（HPEを）が提供する「HPE Private Cloud AI」は、オンプレミスに生成AI環境を構築するためのITインフラとして有効です。

同ソリューションは、NVIDIAのGPUを搭載したHPEのサーバーをベースに、AI開発やシステム運用に必要なソフトウェアをあらかじめ組み合わせ、事前検証したうえで提供している垂直統合ソリューションです。

生成AIシステム環境では、ハードウェアからソフトウェアまでさまざまな技術を組み合わせる必要があり、それを自社で1つずつ選定するのは簡単ではなく、それを行うには専門的なスキルを持った人材が必要です。
HPE Private Cloud AIでは、そうした企業の課題を解消するものとして、インフラ構築にかかる作業負荷と時間を低減し、AIのアプリケーション開発というより重要な部分に専念することができます。

生成AIシステムについては、RAGシステム構築から、事前学習済みのオープンソースのLLMのファインチューニングまでさまざまな用途に活用可能です。

RAGシステム構築をneoAIがサポート

もちろん、AIシステムを開発するためのハードウェアやソフトウェアを整備したとしても、それらはあくまで道具にすぎません。
AIシステム構築には、LLMの特性や機械学習、アルゴリズムなどさまざまな知識が必要であり、自社が期待する回答を生成するRAGシステムを構築するには別途専門的な知見が必要です。

TD SYNNEXでは、東京大学 松尾研究室発のスタートアップ企業であるneoAIのソリューションを活用したオンプレミス環境でのRAGシステム構築の支援が可能です。

まとめ

企業における生成AI活用の課題は、自社固有データの活用の難しさや機密情報の流出リスクにあります。
この課題を解決する技術がRAGです。

RAGは自社データベースから関連情報を検索し、それを基に生成AIが回答する仕組みとして、ハルシネーションの防止と情報の透明性確保をサポートします。

特にセキュリティを重視する企業には、オンプレミス環境での生成AI構築が有効です。
初期投資は必要ですが、データ主権の維持、ベンダーロックインの回避、長期的なコスト削減といったメリットがあります。

生成AIのシステム環境にはさまざまな技術要素が必要です。
それらを包括的にサポートできる企業の力を得ながら、ぜひセキュリティと業務効率を両立できる生成AI活用を実現してみてください。

「実践的AI活用」の最前線がわかる資料を公開中！