執筆時の生成AI活用:構造と表現の2段階レビューが示すAI活用方法 ~ AI生成トリセツの「限界」と「可能性」を見極める(2) ~

通算 第56号

 仕様書だけではAIが良いトリセツを作れない―。前回の検証で、「AI生成のトリセツは、インプットする『コア情報』の品質に依存する」という結論が得られました。今回は、仕様書・研修資料・議事録といった、内容も形式も異なる「散在する情報源」から、AIが矛盾なく網羅的な「コア情報」を自動生成できるか、その真価に挑みます。
 実験でAIは驚くべき統合能力を見せたものの、その成果物にはまだ「欠落」がありました。この課題を解決する過程で、AI活用の新たな可能性を見出しました。AIを単なる 「生成者」 としてだけでなく、厳格な 「評価者」 として欠落情報を指摘させるのです。そして、生成した情報の欠落を指摘する 「構造レビュー」 と、最終的な文章の 「表現レビュー」 を分離する 「二段階品質レビュー」 の有効性が明らかになりました。
 AIを「単一のツール」から、役割の異なる 「専門家チーム」 へと進化させる、新しい活用方法の姿を示唆しています。本検証が提示する、情報設計の未来をぜひご覧ください。

【補足情報】
▼検証資料について 本記事の検証に使用した生成AIで読み込んだ入力資料や使用したプロンプト、AIが生成したコア情報、評価結果の詳細は、資料編ページに掲載しております。ご自身で実際に試される際にご活用ください。(資料編ページはこちらへ
▼使用した生成AIについて 検証にはGoogle Geminiを使用しています。Geminiをカスタマイズする「Gem」という機能を利用しており、これは無料版のGeminiからも利用可能です。(Geminiのページはこちらへ) 

目次

1.はじめに

 前回の記事では、AIに無機質な 「製品仕様書」 だけを与え、トリセツの自動生成に挑みました。その結果、文章の体裁はプロフェッショナルであるものの、ユーザーの安全や目的といった本質的な情報が欠落した 「不完全なトリセツ」 が生成されることを確認しました。さらに、AI自身はその 「重大な欠落」に気づけない という、結果も確認できました。この検証から得られたことは、トリセツの自動生成は「AIに与える 『コア情報の品質』 に依存して、成果が大きく影響を受ける」ということでした。

では、その質の高い「コア情報」は、一体どこから手に入れればよいのでしょうか。

 現実の執筆業務では、最初から完璧な情報が一つにまとまっているようなことは、ほぼありません。多くの場合、本当に必要な情報は、「仕様書」だけではなく、 「トレーニング資料」や 「担当者との会議内容」 といった、社内の様々な場所に、異なる形式で散らばっており、まさに 「情報のカオス」状態 から必要な情報を拾い歩くということが日常です。そして、かき集めた情報からトリセツ制作に必要となる 「コア情報」 の整理作業が不可欠ですが、この地道な作業に、最も多くの時間と労力が費やされていると言っても過言ではありません。

 そこで今回は、この 「情報のカオス」 からAIと共に価値ある情報を紡ぎ出す活用法に挑戦します。形式の異なる複数の情報源から、AIは矛盾なく情報を統合し、網羅的なトリセツの 「コア情報」 を自動で生成することができるのでしょうか。

今回の実験では、AIに以下の3つの「情報の断片」を与え、「情報統合能力」を検証していきます。

AIに読み込ませる3つの「情報の断片」
題材は、前回も使用した架空の製品、スマートコーヒーメーカー「Aromagic X 」です。
1.製品仕様情報: 資料1-A:スマートコーヒーメーカー「Aromagic X 」製品仕様書
2.社内向けトレーニング資料(抜粋): 資料1-B: スマート連携機能 セットアップ手順
3.設計・開発担当者との会議内容(抜粋): 資料1-C:トレーニング研修の録音(録音データの文字起こし)

執筆時の生成AI活用:これまでの記事
・第1回 校正ルールに基づいた校正にチャレンジ
・第2回 自分流に書いた後で用語表記ルールに沿って校正する
・第3回 シンプルな用語置換を超える表現の変換にチャレンジ
・第4回 トリセツからFAQもガイドも自動作成してみる

<AI生成トリセツの「限界」と「可能性」を見極める>
・第1回 仕様書から自動生成するトリセツの限界
・第2回 構造表現の2段階レビューが示すAI活用方法(今回)

2.挑戦:散在する情報から「コア情報」を生成する

 前回作成したカスタム生成AI トリセツ自動生成アシスタント を使用して、3つの入力情報から、トリセツ作成の元情報となる「コア情報」を生成します。生成AIへのカスタム指示を今回の目的に合わせて修正したプロンプト(コア情報生成用のプロンプト全文はこちらへ)を実行時に指示して、コア情報を作成しました。

スマートコーヒーメーカー「Aromagic X」取扱説明書 コア情報 (冒頭部分)


1. 製品概要
製品名: スマートコーヒーメーカー「Aromagic X」
製品コンセプト: 「あなただけのバリスタを、すぐそばに。」をコンセプトにしたスマートコーヒーメーカーです。 スマートフォンと連携し、豆の挽き方から温度、抽出量まで、あなただけの一杯を自由にカスタマイズできます。 プロが淹れたような本格的なコーヒーで、至福のひとときをお楽しみください。

2. 製品の仕様
型番: AMX-01
電源: 100V 50/60Hz
消費電力: 1200W
大きさ: 幅180mm x 奥行300mm x 高さ350mm
重さ: 4.5kg
タンク容量(水): 最大1.0L
コンテナ容量(コーヒー豆): 200g
通信方式: Bluetooth 5.0

3. 主な機能
自動豆挽き機能: コーヒー豆を自動で挽きます。挽き具合は5段階からお好みに合わせて選べます。
温度設定機能: 抽出するお湯の温度を85℃から95℃の間で設定でき、豆の個性を最大限に引き出します。
抽出量設定機能: 飲みたい量に合わせて抽出量を設定できます。
ミルク泡立て機能: 本格的なカフェラテやカプチーノも作れる、ミルク泡立て機能を搭載しています。
自動内部洗浄機能: 電源を入れた時や切った時に、内部を自動で洗浄するため、お手入れが簡単です。

(後略)

*)コア情報の全文は、こちらを参照ください。
資料3:スマートコーヒーメーカー「Aromagic X」取扱説明書 コア情報(v1)

 一見すると、3つの情報源が統合された完璧な「コア情報」が完成したように見えます。しかし、このドラフトには、まだいくつかの重大な「欠落」が残されていました。次の章では、AIとの対話を通じて、このドラフトを完璧なコア情報へと改善していくプロセスを追っていきます。

(参考:カスタム生成AIを作成する Gemマネジャーの概要)
・Gemの概要と基本的な動作については、以下の記事を参照ください。
  GeminiをカスタマイズできるGemとは 
・Gemの「知識」」機能を使うための手順については、以下の記事を参照ください。
  Gemの作成(Geminiのカスタマイズ)

3.検証:AIとの対話によるコア情報の改善プロセス

3.1 AIによる一次評価:「辛口」な欠陥指摘

 AIによってコア情報のドラフトが生成できたので、前回作成したIEC 82079-1を参考に作成した「ドキュメント品質チェックリスト」を使用して評価します。ただ、コア情報を生成した時と同じアシスタントに続けて評価を依頼するのでは、客観性に欠けるかもしれません。 そこで、一度会話をリセットし、まっさらな状態の別の「トリセツ自動生成アシスタント」 に、今度は 『品質評価の専門家』 としての役割を与え、評価を依頼します。AIの能力をより客観的に見極めます。品質評価用のプロンプトは資料4:ア情報の品質評価用プロンプトを参照ください。

<結果サマリ>

(画像クリックで拡大表示)

<結果詳細>
判定結果に対する理由や、何が不足しているのか等、指摘情報の詳細は、資料5:生成したコア情報(v1)のAIによる評価結果の詳細」を参照ください。

<まとめ>
この結果から、AIは客観的な評価者として、コア情報の「構造的な欠陥」を的確に指摘できることがわかりました。

3.2 AIによる指摘を修正し、更新版コア情報を完成させる

AIの評価指摘に基づき、現在の「コア情報」を修正して、更新版のコア情報を作成します。(具体的な修正内容は、更新版のコア情報を参照ください。)

<修正サマリ>

【安全性】に関する情報
不足していた点: 製品を安全に使うための注意事項が一切含まれていなかった。
・追記する情報案: ドラフトの冒頭(「2. 製品の仕様」の前)に、安全に関するセクションを新設します。

【目的志向】と【明瞭性】に関する情報
不足していた点: 「自動豆挽き機能」の目的(Why)や、「Bluetooth」という用語の簡単な説明がなかった。
・追記する情報案: ドラフトの「3. 主な機能」と「2. 製品の仕様」を修正・追記します。

【網羅性】に関する情報(トラブルシューティング)
不足していた点: 使用中に発生しうる問題と、その解決策が完全に欠落していた。
・追記する情報案: ドラフトの末尾に、ドラブルシューティングのセクションを新設します。

<更新版コア情報の完成>

これらの情報を、AIが生成した「コア情報ドラフト(第1稿)」に追記・統合することで、品質チェックリストの全項目をクリアする、「AI対応コア情報」が完成しました。

修正内容の詳細など、更新版のコア情報はこちらを参照ください。
資料6:スマートコーヒーメーカー「Aromagic X」取扱説明書 コア情報(v2)

3.3 AIによる最終評価と、見えてきた「2つの役割」

更新版コア情報の評価を、最初のコア情報評価と同様に行いました。(参考:資料4 コア情報の品質評価用プロンプト

<評価結果サマリ>

(画像をクリックで拡大表示)

<評価結果の詳細>
判定結果に対する理由や指摘情報の詳細は、資料7:更新版コア情報(v2)の評価結果の詳細を参照ください。

<AIレビューが示した「2つの役割」>
 修正を加えた「更新版コア情報」を、再度AIに評価させました。その結果、ほぼ全ての項目で 「〇(達成可能)」 という高い評価を得ることができ、作成したコア情報が、取扱説明書を作成するための情報源として、網羅的かつ適切であることを確認できました。
 しかし、注目すべきは、唯一 「△(一部達成可能)」 と評価された項目(専門用語の平易化)に対する、AIの指摘内容です。AIは、「消費電力: 1200W」という記述に対し、「他の機器との同時利用にご注意ください」といった、元のコア情報には書かれていない、専門家としての補足知識を提供してきました。

この結果は、AIがレビューパートナーとして、2つの重要な役割を果たせることを示唆しています。

  1. 役割①:品質評価者 与えられた基準(品質チェックリスト)に基づき、インプット情報の欠落や不備を厳格にチェックする役割。
  2. 役割②:執筆コンサルタント コア情報そのものは正しくても、「最終的に読者に届ける際には、このような配慮を加えた方が良い」と、一歩先の視点で改善提案を行う役割。

4.考察:AI評価の「甘辛」の謎を解き明かす

4.1 なぜ評価は「甘い→辛い」に変化したのか?

 前回の「仕様情報からトリセツを生成」したときのAIによる自己評価では、「品質チェックリスト」をほぼ達成できているという「甘い」結果でした(参考:前回の評価結果)。しかし今回の、最初に生成したコア情報のAIによる評価結果は、「達成可能」が一つもない、「辛い」結果となりました。
 この違いはどこから生まれたのでしょうか。この評価の差が、AIを評価パートナーとして使いこなす上での重要なこと なのかもしれません。理由を考えてみます。

<理由1:評価対象の違い ―「完成品(の体裁)」と「設計図」>
最も大きな理由は、AIに評価させた対象物そのものの違いです。

  • 前回の評価対象: 『取扱説明書』のドラフト 前回、AIが評価したのは体裁上は「取扱説明書」として完成しているように見えるドキュメントでした。そのため、「安全にご利用いただくために」というセクション(見出し)が存在していました。AIは、この 「セクションがある」という形式的な事実を捉え、「安全に関する情報は配置されている」と判断し、「〇(達成)」という甘めの評価を下しました。AIは、文章の 「体裁」 に惑わされ、その中身(本来あるべき「やけど注意」 )の 「欠落」 を見過ごしてしまったようです。
  • 今回の評価対象: 『コア情報』のドラフト 今回AIが評価したのは、まだ文章として整形されていない、情報のリストである 「コア情報」 です。ここには、「安全にご利用いただくために」というセクション自体が影も形もありません。評価の基準となる情報が完全に欠落しているため、AIは体裁に惑わされることなく、「情報が存在しない」という事実に基づき、 「×(達成困難)」 という厳格な評価を下すしかなかったようです。

<理由2:プロンプトによる「視点」のコントロール>
AIに与えた 「評価の指示(プロンプト)」 も、厳格な評価を後押ししたものと思われます。

  • 前回の指示(要約): 「この取扱説明書の品質を評価してください」 → AIは、完成品として目の前にある文章の良い点・悪い点を評価します。
  • 今回の指示(要約): 「このコア情報だけを元にして、最終的な取扱説明書を作れるか評価してください」 → AIは、目の前の情報を設計図とみなし、「この設計図で家を建てたら、欠陥住宅にならないか?」というような、より批判的・未来予測的な視点(ギャップ分析)で情報の過不足をチェックします。

4.2「二段階品質レビュー」の導入

 AIによる品質評価は、目的に応じて2つの異なる段階で活用することで、その真価を発揮できるのかもしれません。まず『設計図(コア情報)』の段階で構造的な欠陥を洗い出し、その上で『完成品』の表現を磨き上げるという、この二段階のレビューで使い分けるやり方です。構造レビューを省略して、いきなり完成品のレビューだけをAIに任せると、AIは表面的な体裁に惑わされ、その根底にある「情報の欠落」という最も重大な問題を見過ごしてしまう危険があるということは前回確認できたとおりです。

<第一段階:コア情報の「構造レビュー」>

  • 目的: 「情報の欠落」や「論理的な矛盾」 といった、ドキュメントの骨格に関わる重大な問題を、執筆の初期段階で発見すること。
  • 方法: 体裁を整える前の、情報のリストである 「コア情報」 をAIに提示し、「この設計図から、品質基準を満たす完璧な製品は作れるか?」と問いかけます。
  • 効果: 前回の検証で確認されたようにAIが体裁に惑わされることなく、情報源そのものに潜む根本的な欠陥(安全情報の欠落など)を厳格に指摘してくれます。これにより、手戻りの大きい修正を未然に防ぎます。

<第二段階:完成品の「表現レビュー」>

  • 目的: 「読者にとっての分かりやすさ」 「スタイルガイドの遵守」 「誤字脱字」 といった、文章の肉付けや仕上げに関する品質 をチェックすること。
  • 方法: 人間がコア情報に基づいて執筆・整形した後の、最終的な 「取扱説明書(完成品)」 をAIに提示し、「この文章は、読者にとって分かりやすいか?ルールは守られているか?」と問いかけます。
  • 効果: AIは、その言語能力を活かして、人間が見落としがちな細かな表現のニュアンスや、表記の揺れなどを効率的に発見してくれます。

5.総括:AIは「対話」を通じて、「専門家チーム」へと進化する

 今回の検証は、現実の執筆業務で直面する 「情報のカオス」 から始まりました。技術的な『仕様書』、形式的な『トレーニング資料』、そして口語的な『会議の録音』…。これら散在する情報から、AIは統合能力を発揮し、コア情報のドラフトを生成しました。
 しかし、それはまだ完璧ではありませんでした。AIとの対話を通じたレビュープロセスを経て、不足した情報を加えることで、国際基準の品質チェックをクリアできる、網羅的な「AI対応コア情報」を完成させることができました。

 このプロセスから得られた一つ目の重要な教訓は、AIを活用した 「二段階品質レビュー」 の有効性です。まず、体裁を整える前の 『コア情報(設計図)』 の段階で、AIに 「構造レビュー」 をさせます。これにより、AIは体裁に惑わされることなく、「情報の欠落」といった、ドキュメントの骨格に関わる根本的な問題を指摘してくれました。そして、その設計図を元に完成品(トリセツ)を作成した後で、今度は 「表現レビュー」 を依頼すれば、AIは読者の視点に立った分かりやすさや、スタイルの一貫性をチェックする、最高の校正パートナーになります。

 そして、この二段階レビューを支える、さらに大きな視点が、二つ目の教訓である 「AIを専門家チームとして活用する」 という考え方です。これまでの検証と今回記事の執筆を通じ、自然とAIに異なる役割を与えていました。記事の構成を共に考える 「戦略パートナー」、情報を統合しドラフトを作成する 「生成担当(ビルダー)」、そして完成度を厳しくチェックする 「評価担当(インスペクター)」 です。
 AIを使いこなすとは、単一のツールとして命令するだけでなく、目的に応じてペルソナを切り替え、あたかも 「専門性の異なるアシスタントチーム」 を率いる編集長のように振る舞うことなのかもしれません。

このようにAIを活用することで、執筆業務は、具体的に次のような価値を得ることができます。

  • 手戻りの削減: 執筆初期の「構造レビュー」で情報の欠落を早期に発見できるため、後の工程での大幅な修正を防ぎます。
  • 品質の安定化: うっかり見落としがちな点をAIが客観的に指摘するため、属人性を排し、ドキュメント全体の品質底上げが期待できます。
  • ライターの本来業務への集中: 地道な情報の整理やレビュー作業をAIに任せることで、より創造的で、ユーザー視点に立った本質的な執筆に集中できます。

 さて、AIとを活用しながら、ようやく最高の「コア情報(設計図)」が完成しました。 この完璧な設計図を、AIという名の「超一流の建築家」に渡したとき、一体どんな素晴らしい「家(トリセツ)」が完成するのでしょうか。次回、その建築過程から完成までを、余すところなくお届けします。AIとの協業が生み出す、コンテンツ制作の未来を探ります。

<終わりー執筆時の生成AI活用:構造と表現の2段階レビューが示すAI活用方法>

関連記事のご案内

お問い合わせ

お気軽にお問い合わせください。
※株式会社情報システムエンジニアリングよりご案内させていただきます。

*)セールスに関してご返信はいたしませんので、あらかじめご了承ください。

個人情報の取り扱いについて

  • URLをコピーしました!
目次