技術ブログ

生成AIをシステムに組み込むコツ:判断型SLMの「2段構え」構成と安全対策

技術ブログ担当

社内の勉強会(WG)で話し合った内容をもとに、生成AIを業務システムに組み込むときの設計の考え方と、AIを安全に使うための注意点をご紹介します。「AIに問い合わせを自動で振り分けさせたい」「AIの判断結果をプログラムでそのまま使いたい」と考えている方に役立つ内容です。

生成AIをプログラムに組み込むときの3つの壁

たとえば、届いた問い合わせメールを「営業部」「契約部」「技術部」のどこが対応すべきか自動で振り分けるシステムを考えてみます。LLM(大規模言語モデル:ChatGPT や Claude のような文章を生成するAI)にこの判断を任せると、WG では次の3つの課題が挙がりました。

  1. 出力形式が崩れる(パースエラー):「JSON形式だけで答えて」と指示しても、「以下が回答のJSONです:」といった余計な文章が付いたり、閉じ括弧が欠けたりします。プログラム側で読み取り(パース)に失敗し、処理が止まる原因になります。
  2. 存在しない選択肢を答える(ハルシネーション):決めた3つの部署以外に、「テクニカル部」のような存在しない部署名を勝手に作ってしまうことがあります。
  3. どれくらい自信があるのか分からない:「技術部」と答えても、それがほぼ確実なのか、契約部と迷った末のギリギリの判断なのかが数値で分かりません。そのため「自信が低いときは人に回す」といった分岐が作れません。

「判断」に特化した小型モデルを前に置く

こうした課題への答えとして WG で紹介されたのが、判断型の SLM(小型言語モデル)です。文章を生成するのではなく、あらかじめ決めた選択肢の中から選ぶ・分類する・スコアを付けることだけに特化したモデルです。返ってくるのは決めた形のデータだけなので、余計な文章が混ざったり、選択肢にない答えが返ったりする心配がありません。さらに、すべての選択肢について「どれくらい当てはまるか」を数値で返してくれます。

デモで見た出力の例

WG では、手元のパソコン上で動かした判断型モデルに「ログインできなくなりました。先週にプラン変更したばかりです。」という問い合わせを判定させるデモを行いました。結果はすぐに、次のような形で返ってきました。

{
  "status": "ログインできなくなりました。先週にプラン変更したばかりです。",
  "instruction": "どの部署が対応すべき問い合わせですか?",
  "choice": {
    "技術部": 0.7133,
    "契約部": 0.1950,
    "営業部": 0.0900
  },
  "prediction": "技術部"
}

技術部が約71%、契約部が約20%という数値は、そのままプログラムの条件分岐に使えます。たとえば次のように数行で書けます。

if (choice.技術部 > 0.7) { routeTo("tech_support"); } else if (choice.契約部 > 0.3) { ccTo("contract_team"); }

「プラン変更」に触れているので契約部も一定の数値になっている、という点も読み取れます。AIの判断を、決まった動きをするプログラムの部品として扱えるのが大きな利点です。

「2段構え」の構成

この特性を活かす構成として WG で話し合ったのが、2段構えのAIゲートウェイ構成です。

  • 1段目:速くて安価な判断型 SLM がすべての入力を受け、分類・確信度(どれくらい確からしいか)の評価・ふるい分けを行います。
  • 2段目:確信度が低いもの(例:0.7未満)や、自由な文章を書く必要があるものだけを、高性能な LLM や人の確認に回します。

心理学でいう「速く直感的に判断するシステム1」と「じっくり考えるシステム2」に例えると分かりやすく、判断型 SLM がシステム1、LLM がシステム2の役割を担います。何でも LLM に投げる設計に比べ、応答が速くなり、高価な LLM の呼び出し回数も減らせるため、コストの抑制にもつながります。

万能ではない点にも注意

判断型 SLM の知識量や文脈を読み取る力は、もとになっているモデルの規模に左右されます。複雑な分析や未知の概念について、誤った判断を完全に防げるわけではありません。だからこそ、確信度の低いものを2段目に回す構成が大切になります。

どんな場面で使えるか

WG では、次のような使いどころが挙がりました。

  • メールの自動振り分け・スパム判定:担当部署を判定し、スパムらしさを0〜1の数値で出して、危険度の高いメールを自動で隔離します。
  • コンテンツの判定:記事の重要度を0〜100で採点し、80以上のときだけ画像生成を動かす、という段階的な仕組みにすることで、画像生成に使う GPU(計算資源)の無駄づかいを抑えられたという実践例が共有されました。
  • RAG の再ランキング:RAG(社内文書などを検索してから回答を生成する仕組み)で、検索結果を質問との合い具合で並べ直し、上位のものだけを LLM に渡すことで、精度と速度の両立を図ります。
  • 商品などのカテゴリ分類:大量の商品データを「テレビ」「冷蔵庫」「カメラ」のように分類し、当てはまる確率も出します。
  • IoT・エッジ機器への組み込み:メモリや計算力が限られる機器にも載せやすく、ネットワークが切れた状態での判定にも使えます。

安全に使うために:「ローカルなら安全」とは限らない

AI 活用と並んで、WG ではセキュリティの話題も多く取り上げました。

ローカルAIでも外部への通信を見張る

自社のパソコンやサーバーで動かすローカルAIは「データが外に出ないから安全」と考えられがちです。しかし WG では、オープンウェイトモデル(中身が公開され自由に動かせるモデル)が、指示していないのに外部へデータを送ろうとした、という検証報告が話題になりました。ローカルで動かす場合でも、外部への通信を制限する仕組み(Egress フィルタリング)と、通信記録の監視を行うことが望ましいと考えています。

開発ツールの拡張機能と内蔵ブラウザ

AI 開発支援ツールの拡張機能が改ざんされて配布された事例や、ツールに内蔵されたブラウザの弱点も話題になりました。Webページに隠された指示でAIを操る「間接的プロンプトインジェクション」などが代表例です。拡張機能は発行元を確認してから入れ、入れたものを定期的に見直すことが大切です。

AIで一人ひとりに合わせた詐欺メール

公開情報をAIで分析し、相手に合わせた自然な詐欺メールを作る手口も出てきています。文面の自然さや差出人表示を過信せず、メール内のリンクから直接ログインしないといった基本ルールを徹底することが有効です。

基本の対策

  • パスワードの使い回しをやめ、パスワード管理ツールを使う
  • システム同士の連携に与える権限は必要最小限にする
  • 保存期限を過ぎた個人情報や機密データは消去する
  • 事故が起きたときの連絡先と初動の手順を事前に決めておく

まとめ

生成AIをシステムに組み込むときは、「何でも LLM に任せる」のではなく、判断に特化した小型モデルを前に置き、確信度に応じて LLM や人に回す2段構えが有効です。そして、ローカルAIや開発ツールも「安全なはず」と思い込まず、通信や拡張機能を確認する習慣を持つことが大切です。速さ・コスト・安全性のバランスを取りながら、AI を業務に取り入れていきましょう。

記事一覧へ戻る

AI・開発・補助金を相談する