『AI時代のトリセツ設計：AIは「文脈」の罠を乗り越えられるか？』の検証で使用した資料を掲載します。詳細についてご確認ください。実際にお手元で試すときにご活用いただけましたら幸いです。
この検証では、Google Geminiを使用しております。詳しくは、Geminiのページでご確認ください。
目次
資料１：実験Aに使用したプロンプト
資料２：実験Bに使用したプロンプト
資料３：実験結果Aに対する考察（詳細）
- AIは文脈を読もうと「努力」した AIは「粉全体」が「ドリッパーに入っているコーヒー粉」であると正しく推測しました。これは、ステップ1と2の情報（文脈）をある程度読み取ろうとした証拠です。
- 「初心者に説明」という指示が「創作」を誘発した AIは単にステップ3を抜き出すだけでなく、「蒸らし」という言葉や「の」の字で注ぐ、「ヤケド注意」といった、元のテキストにはない情報を大量に追加しました。これは、プロンプトの「初心者に説明してください」という部分をAIが重視し、「より親切な説明をするためには、自分の知識を補うべきだ」と判断（創作） した結果と考えられます。
- 「ソースへの忠実性」という観点では失敗 コーヒーの淹れ方としては親切な説明に見えますが、もしこれが「トリセツ」の情報だったらどうでしょうか？ソースに書かれていない手順（ 「の」の字）や用語（ 「蒸らし」 ）をAIが勝手に追加するのは、正確性が求められる技術情報としては重大な問題（ハルシネーションの一種）になる可能性があります。この観点では、AIは「ソースに忠実に情報を伝える」というタスクには失敗したと言えるでしょう。
- 「書籍モデル」のリスク 書籍モデルのように情報が連続していると、AIはどこまでがソースの情報で、 どこからが補足すべき知識なのか判断が曖昧になり 、結果として「創作」をしてしまうリスクがあるという問題点を浮き彫りにしました。
資料４：実験結果Bに対する考察（詳細）
- AIは指示された「塊」に集中した 実験Aでは「蒸らし」などの補足知識を広げていましたが、実験Bでは 「ステップ3：お湯を注ぐ」というカード（情報の塊）の内容に、より忠実に回答を生成しました。「（ステップ2で準備した）」という最小限の補足はありますが、元のテキストに書かれている「沸騰したお湯」 「ドリッパーに入っているコーヒー粉」 「全体が湿るように」 「ゆっくり」という要素を正確に抽出・再構成しています。
- 「創作」が大幅に抑制された 実験Aで見られた「蒸らし」 「の」の字で注ぐ、「ヤケド注意」といった、元のテキストにない 「創作」がほとんど見られません。情報がカードとして明確に区切られていたため、AIは「このカードの内容だけを説明すれば良い」と判断し、余計な知識を補う必要がないと考えた可能性があります。
- 「ソースへの忠実性」が高い 結果として、実験Bの回答は、実験Aに比べて元の取扱説明書（ソース）に対する忠実性が非常に高くなりました。取扱説明書の情報だけを正確に伝えたい、という観点では、こちらの方がはるかに望ましい結果です。
- 「カードモデル」の有効性を証明した この結果は、情報を自己完結した「塊（カード）」として設計することが、AIが「クセ1：つまみ食い」や「クセ2：創作してしまう」といった問題を回避し、指示された範囲の情報を正確に抽出・伝達する上で、非常に有効であるという仮説を強く裏付けています。「情報の作り方」がAIの振る舞いを変えています。
＜終わり ー AI時代のトリセツ設計：AIは「文脈」の罠を乗り越えられるか？（資料編）＞
