自主制作の記録
同じ質問をChatGPTに3回投げたら、3回とも違う答えが返ってきました。
「もう一度聞けば、同じような答えが出てくる」——そう思い込んでいました。実際に確かめてみます。
01
背景・理由
仕事でChatGPTに資料の構成案を頼んだとき、返ってきた案がしっくりきませんでした。言い方を変えず、もう一度同じ質問をしてみたところ、前回とはまったく違う構成案が届きました。偶然なのか、仕組みそのものなのか、自分の目で切り分けたいと思いました。
そこで、条件をそろえたうえで同じ質問を複数回投げ、答えがどれだけ変わるのかを確かめることにしました。
02
盛り込んだ条件
先に固定した条件です。
- 質問は「プレゼン資料の構成を考えて」の1文だけに固定
- 会話は毎回新しく始める。前回のやり取りは引き継がない
- 補足の指示や言い換えは足さない。1回目と同じ文言をそのまま使う
- 実施は3回。期間は数日にまたがってよい
- 届いた回答は編集せず、そのままの順で記録する
- この確認のための追加支出は0円
03
試行前の工程イメージ
始める前はこの3手で進めるつもりでした。
- 同じ質問を3回投げる条件をそろえたまま繰り返す
- 3回分の答えを並べる順番・項目・言い回しを見比べる
- 違いが出た理由を確認する公式の説明にあたる
04
使用プロンプト
3回とも同じ文言をそのまま使いました。条件をそろえるため、言い換えは一切していません。
05
結果
良かった成果
3回とも別物の構成案が返ってきました。1回きりの質問では気づけなかった揺れ幅を、自分の目で確かめられました。
期待に及ばなかった成果
いちばんの反省は、3回分の構成案そのものを保存していなかったことです。「順番も項目も違った」という事実は覚えているのに、どう違ったかを見せる現物が手元にありません。次回は回答の全文を保存してから見比べます。なぜその順番や言い回しになるのかという内部の計算過程も分からないため、確定的な理由は[要確認]のまま残しています。
向いていそうな人
1つの答えを鵜呑みにせず、複数の案を見比べたい人です。
そのままでは向きにくい場面
一度の質問で確定した唯一の答えを欲しい場面です。
06
次回の修正・改善プラン
次は3点だけ変えて、もう一度同じやり方を試します。
- 回数を5回以上に増やす3回では傾向と呼ぶには少ない
- 質問に条件を1つだけ足す揺れ幅がどう変わるか見る
- 重なる部分だけ抜き出す3回に共通する項目を記事にする
07
先行者として置いていく検討材料
- 回答はその場で全文保存する。「違った」という記憶だけでは、あとから見せる証拠になりません。
- この確認は費用0円・質問1文で再現できます。再現するなら、保存の準備をしてからどうぞ。