Claudeに反対尋問メモを頼む指示文、3段階で精度を上げる
生成AIへの指示文の書き方次第で、反対尋問の準備資料は大きく変わります。英国のチャンネル「Claude for Lawyers」は、架空の証言録取の記録をもとに、Claudeに反対尋問メモを作らせる指示を3段階で組み立てて見せました。各質問に根拠となる頁と行を付けさせる規則が、今回の中心となる工夫です。
- 各質問のあとに根拠の頁と行を示させ、記録を越える質問には「記録外」と付けさせます。
- 「使える」質問を1問1事実・はい／いいえで答えられるものと定義し、複合質問などを除外します。
- メモと記録が食い違えば記録が優先し、Claudeの監査後に弁護士自身も記録を開いて確認します。
一文の指示が残す空白
題材は架空の証言録取の記録1頁です。食品を供給するHarlan Supplyは請求代金の未払いを主張しています。相手方のBrightwater Foodsは納品の遅れを理由に支払いを止めています。証人は相手方の受入責任者であるKaren Doyle氏です。
Doyle氏は遅延が「たいてい」あったと述べますが、根拠の記録は助手がつけており、問題が起きたときしか見ないと答えています。多くの人が書くのは「この記録からDoyle氏の反対尋問メモを作って」という一文です。動画はこの一文に誤りはないとしつつ、誰が何に使うのか、良い質問の条件、記録を越えてよい範囲が抜けていると指摘します。
Claudeはその空白を推測で埋めるため、一般的なメモになりやすいといいます。紙の上では整って見えても、証人に説明の余地を与える質問や、答えを先取りした質問が紛れ込むという指摘です。動画は「悪い質問は役に立たないだけでなく、証人に演台を与える」と述べています。
読み手とリスクを書く
2つ目の指示は6つの要素で組み立てます。自分の立場、資料の種類、求める作業、成果物の読み手、リスク、寄せたい方向と避けたい方向です。例ではHarlan Supply側の訴訟代理人であることを示します。読み手は記録を横に開いて法廷で使う弁護士本人だと書き込みます。
リスクを示すのは「説明で答えられる質問は、質問しないより悪い」という一文です。方向性は短い誘導尋問に寄せ、開かれた質問や記録に裏付けのない内容から離れるよう指定します。慎重にという一般的な指示より、進む方向を示すほうがうまく働くという説明です。
それでも良い質問の定義はまだありません。そのため2つの事実を1問に束ねた複合質問が残りやすいと注意を促しています。証人は半分に同意し、残りを静かに否定できるからです。
使える質問の定義
3つ目の指示は3行を加え、指示を仕様書に近づけます。1行目は「使える」の定義で、1問1事実、はい・いいえで答えられることを求めます。さらに全ての質問を、Brightwater側に納品遅延の直接の記録がないという1つの論点へ向けさせる設計です。
2行目は除外の一覧で、複合質問、開かれた質問、議論的な質問を退けさせます。3行目が今回新しく加えた規則です。各質問のあとに根拠となる頁と行を示させ、記録を越える質問には「記録外」と付けさせます。メモを照合でき、Claudeが記録を越えた箇所も見えるようになると説明しています。
結果の見方も具体的です。証人は書面での苦情について「そうは思わない」と答えており、断定する質問は記録を越えます。「半分以上」という答えを百分率に置き換えていれば、数字の創作です。記録外の印は書類や別の証人など他の出典が要るという目印で、その質問を禁じるものではないといいます。
自己点検と人の確認
仕上げにClaude自身に監査をさせます。引用した行が質問の前提と一致するかを確かめて食い違いを挙げさせ、説明で答えられる質問に目印を付けさせます。そのうえで記録を開き、自分でも確認するという手順です。監査は明らかな不一致を拾い、人の確認は微妙なずれを拾う役割だと話しています。
限界も示されています。Claudeは引用を確認しても行を人と違う意味に読むことがあり、頁や行番号を誤ることもあります。メモと記録が食い違えば記録が優先し、頁と行の規則がその食い違いを見つけやすくするとしています。
記録をClaudeに入れる前には、事務所の方針と裁判所の規則を確認するよう求めています。保護命令や秘密保持契約が資料の扱いを制限しうるためです。段階的な指示はテンプレートとして保存でき、時系列表や依頼者への最初の書簡にも応用できると締めくくっています。
本記事は掲載時点の情報です。発言の引用は日本語に訳し、引用の横の時刻からその場面を再生できます。