ルールブックを、授業でそのまま使える説明に。

分析(精度監査)

論文までの工程表 全体 81%(39 / 48 工程)

次にやること:カルカソンヌ21(基本ルール):人の判定 残り 40 件(約24分) (ほか 5 件:ボムバスターズ:人の判定 残り 39 件(約23分)/メソス:人の判定 残り 53 件(約31分)/モダンアート:人の判定 残り 44 件(約26分)…)

残りの判定作業の推定:約 165 分(実績 35 秒/件 × 未判定件数。実績が無いゲームは 60 秒/件で仮定)

INTED2027 アブストラクト投稿:締切 2026-11-19(あと 2 日)

ゲームPDF化抽出層・条件人の判定AI判定確認・修正再判定Web条件突き合わせ
軽 SCOUT✓✓ PDF+Web検索✓✓✓0/44—✓—
軽 ロイヤルターフ✓✓ PDF+Web検索✓✓✓0/45—✓—
軽 デクリプト✓✓ PDF+Web検索✓✓✓0/51—✓—
中 カルカソンヌ21(基本ルール)✓✓ PDFのみ✓0/40✓0/40—✓—
中 ボムバスターズ✓✓ PDFのみ✓0/39✓0/39—✓—
中 メソス✓✓ PDFのみ✓0/53✓0/53—✓—
やや重 モダンアート✓✓ PDFのみ✓0/44✓0/44—✓—
やや重 ラー✓✓ PDFのみ✓0/50✓0/50—✓—
やや重 パンデミック✓✓ PDFのみ✓0/54✓0/54—✓—

薄い見出しの列(確認・修正/再判定/Web条件/突き合わせ)は任意の工程で、進捗率には入れていません。

手動の工程

rule013 以降に抽出したゲーム 27 件(うち集計対象 27 件)。各ゲームの判定は「確認・修正」タブ(人)と「監査」タブ(AI)で付けます。

指標の定義:厳格精度=○÷判定済み/寛容精度=(○+△)÷判定済み/幻覚率=⊘÷判定済み/再現率=(○+△)÷(○+△+見落とし)。見落としは、人基準=人が追加したルール数、AI基準=AI判定の missing 数。

ゲーム別
ゲーム層条件抽出判定済○△×⊘見落厳格精度寛容精度幻覚率再現率AI寛容精度κ抽出秒判定分秒/件費用頁MB集計
SCOUT
2026-11-04 18:22
軽PDF+Web検索4444430100 98% 98% 0% 100% 100%0.32130.442.85849円20.7○
SCOUT
2026-11-04 18:27
軽Web検索のみ3535313100 89% 97% 0% 100% 100%0.86153.113.122129円20.7○
SCOUT
2026-11-04 18:32
軽PDF+Web検索48000000 — — — — 100%—170.20—70円20.7○
デクリプト
2026-11-04 19:14
軽PDF+Web検索5151500100 98% 98% 0% 100% 100%0.50176.2232775円123.0○
デクリプト
2026-11-04 19:27
軽Web検索のみ44000000 — — — — 100%—184.20—115円123.0○
デクリプト
2026-11-04 19:32
軽PDF+Web検索49000000 — — — — 100%—148.40—66円123.0○
ロイヤルターフ
2026-11-04 18:43
軽PDF+Web検索4545440100 98% 98% 0% 100% 100%0.00182.224.13271円82.6○
ロイヤルターフ
2026-11-04 18:54
軽Web検索のみ45000000 — — — — 100%—220.20—171円82.6○
ロイヤルターフ
2026-11-04 19:01
軽PDF+Web検索47000000 — — — — 100%—171.10—83円82.6○
カルカソンヌ21(基本ルール)
2026-11-04 19:38
中PDFのみ40000000 — — — — 100%—116.80—50円73.6○
カルカソンヌ21(基本ルール)
2026-11-04 19:45
中Web検索のみ42000000 — — — — 95%—140.20—83円73.6○
カルカソンヌ21(基本ルール)
2026-11-04 19:48
中PDF+Web検索41000000 — — — — 100%—156.20—75円73.6○
ボムバスターズ
2026-11-04 19:51
中PDFのみ39000000 — — — — 100%—1250—55円84.6○
ボムバスターズ
2026-11-04 19:54
中Web検索のみ30000000 — — — — 100%—148.20—120円84.6○
ボムバスターズ
2026-11-04 19:57
中PDF+Web検索45000000 — — — — 100%—176.20—84円84.6○
メソス
2026-11-04 20:01
中PDFのみ53000000 — — — — 100%—192.70—79円84.6○
メソス
2026-11-04 20:05
中Web検索のみ51000000 — — — — 98%—206.70—184円84.6○
メソス
2026-11-04 20:11
中PDF+Web検索63000000 — — — — 100%—276.90—119円84.6○
パンデミック
2026-11-04 20:34
やや重PDFのみ54000000 — — — — 100%—176.30—75円85.3○
パンデミック
2026-11-04 20:37
やや重Web検索のみ49000000 — — — — 100%—181.10—90円85.3○
パンデミック
2026-11-04 20:42
やや重PDF+Web検索57000000 — — — — 100%—224.20—103円85.3○
モダンアート
2026-11-04 20:13
やや重PDFのみ44000000 — — — — 100%—122.10—52円61.6○
モダンアート
2026-11-04 20:17
やや重Web検索のみ43000000 — — — — 98%—153.20—98円61.6○
モダンアート
2026-11-04 20:20
やや重PDF+Web検索56000000 — — — — 100%—178.30—72円61.6○
ラー
2026-11-04 20:23
やや重PDFのみ50000000 — — — — 100%—154.30—67円82.6○
ラー
2026-11-04 20:27
やや重Web検索のみ49000000 — — — — 100%—188.20—100円82.6○
ラー
2026-11-04 20:31
やや重PDF+Web検索57000000 — — — — 100%—168.20—72円82.6○
全体・層別・条件別(集計対象のみ、人の判定)
グループゲーム数抽出合計判定済厳格精度(プール)[Wilson 95%CI]寛容精度(プール)幻覚率(プール)再現率(プール)寛容精度 平均±SD(ゲーム単位)平均秒平均費用
全体27127117596.0% [92.0%, 98.0%]97.7% [94.3%, 99.1%]0.0% [0.0%, 2.1%]100.0% [97.8%, 100.0%]97.7% ± 0.417189円
層:軽940817596.0% [92.0%, 98.0%]97.7% [94.3%, 99.1%]0.0% [0.0%, 2.1%]100.0% [97.8%, 100.0%]97.7% ± 0.417192円
層:中94040—————17194円
層:やや重94590—————17281円
条件:PDFのみ62800—————14863円
条件:Web検索のみ93883588.6% [74.0%, 95.5%]97.1% [85.5%, 99.5%]0.0% [0.0%, 9.9%]100.0% [89.8%, 100.0%]97.1%175121円
条件:PDF+Web検索1260314097.9% [93.9%, 99.3%]97.9% [93.9%, 99.3%]0.0% [0.0%, 2.7%]100.0% [97.3%, 100.0%]97.8% ± 0.218078円
確信度 × 判定(全ゲームをプール、人の判定)
確信度○ 正しい△ 軽微な誤り× 重大な誤り⊘ 幻覚計誤り率(△×⊘)
確実155320160 3%
やや不確か1102013 15%
要確認20002 0%

確信度 low の誤り率が high より高ければ、AIの自己申告した確信度が校正されていると言える。

種別 × 判定(全ゲームをプール、人の判定)
種別○ 正しい△ 軽微な誤り× 重大な誤り⊘ 幻覚計誤り率(△×⊘)
勝利条件1500015 0%
敗北条件10001 0%
ゲーム終了条件1300013 0%
主要ルール96320101 5%
人数による違い2101022 5%
初回は省略可60006 0%
特殊な場合のルール1601017 6%
人とAIの判定の一致(全ゲームをプール)

両方が判定したルール 175 件/一致 170 件(97%)/Cohen's κ = 0.632

人 \ AI○△×⊘
○ 正しい167100
△ 軽微な誤り0300
× 重大な誤り1300
⊘ 幻覚0000
判定者内一致(再判定、全ゲームをプール)

まだ再判定がありません(各ゲームの監査タブから)。

検定(人の判定を 正しい=○△/誤り=×⊘ の2値にして比較。集計対象のみ)
要因誤り率 [Wilson 95%CI]χ² 検定(独立性)
層軽:2.3% [0.9%, 5.7%](n=175)
—
条件PDF+Web検索:2.1% [0.7%, 6.1%](n=140)
Web検索のみ:2.9% [0.5%, 14.5%](n=35)
χ²(1) = 0.06、p = 0.800
期待度数 5 未満のセルあり(Fisher の正確検定を R で)
確信度(校正)確実:1.3% [0.3%, 4.4%](n=160)
やや不確か:15.4% [4.3%, 42.2%](n=13)
要確認:0.0% [0.0%, 65.8%](n=2)
χ²(2) = 10.80、p = 0.005
期待度数 5 未満のセルあり(Fisher の正確検定を R で)
種別勝利条件:0.0% [0.0%, 20.4%](n=15)
ゲーム終了条件:0.0% [0.0%, 22.8%](n=13)
主要ルール:2.0% [0.5%, 6.9%](n=101)
人数による違い:4.5% [0.8%, 21.8%](n=22)
特殊な場合のルール:5.9% [1.0%, 27.0%](n=17)
敗北条件:0.0% [0.0%, 79.3%](n=1)
初回は省略可:0.0% [0.0%, 39.0%](n=6)
χ²(6) = 2.35、p = 0.885
期待度数 5 未満のセルあり(Fisher の正確検定を R で)

人 vs AI の判定(McNemar、両方が判定した 175 件) 人○AI× 0 件/人×AI○ 4 件/χ²(1) = 2.25(連続性補正)、p = 0.134 AIが人より甘い(人×AI○が多い)か厳しいかの検定。

確信度の校正図(確信度ごとの誤り率と 95%CI)
確実
1.3%
n=160
やや不確か
15.4%
n=13
要確認
0.0%
n=2

縦軸=誤り率(0〜100%)。棒=誤り率、細い帯=Wilson 95%信頼区間。「要確認」の誤り率が「確実」より高ければ、AIの確信度は情報を持っている。

ルールブックの属性(集計対象のみ)
ゲームPDF頁容量MB文字情報写真抽出ルール数誤り率見落とし抽出秒秒/頁
SCOUT20.7画像のみ0442.3%0130.465.2
SCOUT20.7画像のみ0352.9%0153.176.6
SCOUT20.7画像のみ048—0170.285.1
デクリプト123.0画像のみ0512.0%0176.214.7
デクリプト123.0画像のみ044—0184.215.4
デクリプト123.0画像のみ049—0148.412.4
ロイヤルターフ82.6画像のみ0452.2%0182.222.8
ロイヤルターフ82.6画像のみ045—0220.227.5
ロイヤルターフ82.6画像のみ047—0171.121.4
カルカソンヌ21(基本ルール)73.6画像のみ040—0116.816.7
カルカソンヌ21(基本ルール)73.6画像のみ042—0140.220
カルカソンヌ21(基本ルール)73.6画像のみ041—0156.222.3
ボムバスターズ84.6画像のみ039—012515.6
ボムバスターズ84.6画像のみ030—0148.218.5
ボムバスターズ84.6画像のみ045—0176.222
メソス84.6画像のみ053—0192.724.1
メソス84.6画像のみ051—0206.725.8
メソス84.6画像のみ063—0276.934.6
パンデミック85.3画像のみ054—0176.322
パンデミック85.3画像のみ049—0181.122.6
パンデミック85.3画像のみ057—0224.228
モダンアート61.6画像のみ044—0122.120.4
モダンアート61.6画像のみ043—0153.225.5
モダンアート61.6画像のみ056—0178.329.7
ラー82.6画像のみ050—0154.319.3
ラー82.6画像のみ049—0188.223.5
ラー82.6画像のみ057—0168.221
PDFページ数との Spearman 順位相関

n が 9 程度なので、相関は探索的な記述にとどめる(p 値は R で)。属性が「—」のゲームは「記録を更新」を押すと保存ファイルから算出される。

幻覚の種類(AI判定、条件別)
条件拡張・別版の混入他ゲームの混入Web情報で検証不能根拠なしの創作(種類なし)計
Web検索のみ002002
出典ページの正答率(AI判定の page_ok、条件別)
条件判定できた件数ページ一致 [95%CI]
PDF+Web検索601100.0% [99.4%, 100.0%]
PDFのみ280100.0% [98.6%, 100.0%]
Web検索のみ51100.0% [93.0%, 100.0%]

web_unverifiable は「Webの情報としてはあり得るがルールブックで確認できない」もの。Webのみ条件の幻覚の内訳を見るときに使う。

誤りの種類(人の判定、重複あり)
数値0 0%
タイミング0 0%
条件・例外の抜け4 100%
解釈0 0%
範囲・まとめ方0 0%
出典ページ0 0%
その他0 0%
各ゲームの記録(層・条件・集計の可否)
g20261104_182207_889b06
g20261104_182755_f3521c
g20261104_183200_d092eb
g20261104_191439_5e5426
g20261104_192757_fcabd7
g20261104_193214_64b346
g20261104_184335_138222
g20261104_185418_19ade0
g20261104_190142_418e52
g20261104_193856_5ed27f
g20261104_194525_a6e46c
g20261104_194835_6b9894
g20261104_195127_b3b343
g20261104_195415_a019de
g20261104_195742_e9e419
g20261104_200149_416b0f
g20261104_200558_2e6fac
g20261104_201111_5b4311
g20261104_203422_4161bd
g20261104_203741_505f46
g20261104_204244_596279
g20261104_201351_c1885a
g20261104_201708_875dea
g20261104_202038_0c10bd
g20261104_202344_6cbc47
g20261104_202755_eeb76c
g20261104_203103_5d6268