はじめに
今年に入り、当社は複数の企業さま向けに Retrieval-Augmented Generation（RAG） を用いたAI検索／チャットシステムを構築してきました。 その中でOpenAIやGemeni以外のオープンウェイトのLLMを使った案件が複数あったため、「なぜオープンウェイトのLLMを選択したのか」と「実際にどのような業務価値が生まれたのか」を、匿名事例を交えながらご紹介します。
オープンウェイトLLMを採用した理由
- 機密保持／情報漏えいリスクを最小化 SaaS 型 API（OpenAI、Google Gemini など）は「学習に使われない設定」が可能とはいえ、完全オフラインを求めるお客さまには不安が残ります。
- ネットワークを閉域化・隔離可能 自社クラウドやオンプレ環境に LLM をデプロイし、アクセス制御や監査ログを既存ポリシーに統合できます。
- カスタマイズ自由度 モデル圧縮や多言語強化など、ユースケースに合わせた微調整が容易です。
一方、API利用で問題ない企業さまには、OpenAI／Google等のSDKを組み込んだRAGも迅速にご提供しています。
システム構成（代表例）
| レイヤ | 採用技術（例） | 補足 |
|---|---|---|
| LLM | Google Gemma、Meta Llama 3、Mistral など | 要件に応じて 2B～70B まで選択 |
| ベクトルDB | Qdrant | 高速検索 + スカラ値フィルタリング |
| メインDB | PostgreSQL | ユーザー管理, アクセス権管理など |
| API | FastAPI | Python 製・高性能 ASGI |
| フロント | Remix (React) | CSR/SSR 両対応、社内 SSO 連携実績あり |
※ Elasticsearch/OpenSearch を組み合わせた全文検索構成も選択可
できること — 業務フローに“埋め込める”AI
- 社内版NotebookLM ユーザーがドラッグ＆ドロップで資料をアップロード → 数分で専用 RAG が生成 アップロードしなければ通常の ChatGPT ライクな対話も可能
- コレクション／権限管理 部門・プロジェクト単位で閲覧範囲を制御し、成果物をワンクリックで共有
- 対話ログ共有 「自分が聞いた質問と回答」をチームメンバーへ引用・転送してナレッジを蓄積
- 議事録の要約 & タスク抽出 iPhoneなどのVoiceメモを利用した会議音声文字起こしやZoom録画テキストを投入すると、要約＋To-Do リストを即生成
こうした仕組みにより、資料作成・企画立案・問い合わせ対応が最短ルートで完結。 「検索にかける時間を80%削減」「企画書ドラフト作成を従来比1/5に短縮」といった成果が報告されています。
AI導入でお悩みの皆さまへ
- クラウドAPIを活用したスピード優先プラン
- オープンウェイトLLMを社内環境に完全閉域構築するセキュリティ重視プラン
―― 貴社の情報ガバナンスと開発スピード、どちらも妥協しない最適解をご提案します。 まずはお気軽にご相談ください。担当コンサルタントがユースケースをヒアリングし、最短5営業日で PoC（概念実証）をお届けします。
AI導入にお困りの方へ
自社のセキュリティポリシーに応じてOpenAI等のLLMを使うバターン、オープンウェイトのLLMを使うパターンなど御社の状況にあった環境をご提案致します。 まずは一度ご相談ください！
