ルールブックを、授業でそのまま使える説明に。
次にやること:カルカソンヌ21(基本ルール):人の判定 残り 40 件(約24分) (ほか 5 件:ボムバスターズ:人の判定 残り 39 件(約23分)/メソス:人の判定 残り 53 件(約31分)/モダンアート:人の判定 残り 44 件(約26分)…)
残りの判定作業の推定:約 165 分(実績 35 秒/件 × 未判定件数。実績が無いゲームは 60 秒/件で仮定)
INTED2027 アブストラクト投稿:締切 2026-11-19(あと 2 日)
rule013 以降に抽出したゲーム 27 件(うち集計対象 27 件)。各ゲームの判定は「確認・修正」タブ(人)と「監査」タブ(AI)で付けます。
指標の定義:厳格精度=○÷判定済み/寛容精度=(○+△)÷判定済み/幻覚率=⊘÷判定済み/再現率=(○+△)÷(○+△+見落とし)。見落としは、人基準=人が追加したルール数、AI基準=AI判定の missing 数。
| ゲーム | 層 | 条件 | 抽出 | 判定済 | ○ | △ | × | ⊘ | 見落 | 厳格精度 | 寛容精度 | 幻覚率 | 再現率 | AI寛容精度 | κ | 抽出秒 | 判定分 | 秒/件 | 費用 | 頁 | MB | 集計 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| SCOUT 2026-11-04 18:22 | 軽 | PDF+Web検索 | 44 | 44 | 43 | 0 | 1 | 0 | 0 | 98% | 98% | 0% | 100% | 100% | 0.32 | 130.4 | 42.8 | 58 | 49円 | 2 | 0.7 | ○ |
| SCOUT 2026-11-04 18:27 | 軽 | Web検索のみ | 35 | 35 | 31 | 3 | 1 | 0 | 0 | 89% | 97% | 0% | 100% | 100% | 0.86 | 153.1 | 13.1 | 22 | 129円 | 2 | 0.7 | ○ |
| SCOUT 2026-11-04 18:32 | 軽 | PDF+Web検索 | 48 | 0 | 0 | 0 | 0 | 0 | 0 | — | — | — | — | 100% | — | 170.2 | 0 | — | 70円 | 2 | 0.7 | ○ |
| デクリプト 2026-11-04 19:14 | 軽 | PDF+Web検索 | 51 | 51 | 50 | 0 | 1 | 0 | 0 | 98% | 98% | 0% | 100% | 100% | 0.50 | 176.2 | 23 | 27 | 75円 | 12 | 3.0 | ○ |
| デクリプト 2026-11-04 19:27 | 軽 | Web検索のみ | 44 | 0 | 0 | 0 | 0 | 0 | 0 | — | — | — | — | 100% | — | 184.2 | 0 | — | 115円 | 12 | 3.0 | ○ |
| デクリプト 2026-11-04 19:32 | 軽 | PDF+Web検索 | 49 | 0 | 0 | 0 | 0 | 0 | 0 | — | — | — | — | 100% | — | 148.4 | 0 | — | 66円 | 12 | 3.0 | ○ |
| ロイヤルターフ 2026-11-04 18:43 | 軽 | PDF+Web検索 | 45 | 45 | 44 | 0 | 1 | 0 | 0 | 98% | 98% | 0% | 100% | 100% | 0.00 | 182.2 | 24.1 | 32 | 71円 | 8 | 2.6 | ○ |
| ロイヤルターフ 2026-11-04 18:54 | 軽 | Web検索のみ | 45 | 0 | 0 | 0 | 0 | 0 | 0 | — | — | — | — | 100% | — | 220.2 | 0 | — | 171円 | 8 | 2.6 | ○ |
| ロイヤルターフ 2026-11-04 19:01 | 軽 | PDF+Web検索 | 47 | 0 | 0 | 0 | 0 | 0 | 0 | — | — | — | — | 100% | — | 171.1 | 0 | — | 83円 | 8 | 2.6 | ○ |
| カルカソンヌ21(基本ルール) 2026-11-04 19:38 | 中 | PDFのみ | 40 | 0 | 0 | 0 | 0 | 0 | 0 | — | — | — | — | 100% | — | 116.8 | 0 | — | 50円 | 7 | 3.6 | ○ |
| カルカソンヌ21(基本ルール) 2026-11-04 19:45 | 中 | Web検索のみ | 42 | 0 | 0 | 0 | 0 | 0 | 0 | — | — | — | — | 95% | — | 140.2 | 0 | — | 83円 | 7 | 3.6 | ○ |
| カルカソンヌ21(基本ルール) 2026-11-04 19:48 | 中 | PDF+Web検索 | 41 | 0 | 0 | 0 | 0 | 0 | 0 | — | — | — | — | 100% | — | 156.2 | 0 | — | 75円 | 7 | 3.6 | ○ |
| ボムバスターズ 2026-11-04 19:51 | 中 | PDFのみ | 39 | 0 | 0 | 0 | 0 | 0 | 0 | — | — | — | — | 100% | — | 125 | 0 | — | 55円 | 8 | 4.6 | ○ |
| ボムバスターズ 2026-11-04 19:54 | 中 | Web検索のみ | 30 | 0 | 0 | 0 | 0 | 0 | 0 | — | — | — | — | 100% | — | 148.2 | 0 | — | 120円 | 8 | 4.6 | ○ |
| ボムバスターズ 2026-11-04 19:57 | 中 | PDF+Web検索 | 45 | 0 | 0 | 0 | 0 | 0 | 0 | — | — | — | — | 100% | — | 176.2 | 0 | — | 84円 | 8 | 4.6 | ○ |
| メソス 2026-11-04 20:01 | 中 | PDFのみ | 53 | 0 | 0 | 0 | 0 | 0 | 0 | — | — | — | — | 100% | — | 192.7 | 0 | — | 79円 | 8 | 4.6 | ○ |
| メソス 2026-11-04 20:05 | 中 | Web検索のみ | 51 | 0 | 0 | 0 | 0 | 0 | 0 | — | — | — | — | 98% | — | 206.7 | 0 | — | 184円 | 8 | 4.6 | ○ |
| メソス 2026-11-04 20:11 | 中 | PDF+Web検索 | 63 | 0 | 0 | 0 | 0 | 0 | 0 | — | — | — | — | 100% | — | 276.9 | 0 | — | 119円 | 8 | 4.6 | ○ |
| パンデミック 2026-11-04 20:34 | やや重 | PDFのみ | 54 | 0 | 0 | 0 | 0 | 0 | 0 | — | — | — | — | 100% | — | 176.3 | 0 | — | 75円 | 8 | 5.3 | ○ |
| パンデミック 2026-11-04 20:37 | やや重 | Web検索のみ | 49 | 0 | 0 | 0 | 0 | 0 | 0 | — | — | — | — | 100% | — | 181.1 | 0 | — | 90円 | 8 | 5.3 | ○ |
| パンデミック 2026-11-04 20:42 | やや重 | PDF+Web検索 | 57 | 0 | 0 | 0 | 0 | 0 | 0 | — | — | — | — | 100% | — | 224.2 | 0 | — | 103円 | 8 | 5.3 | ○ |
| モダンアート 2026-11-04 20:13 | やや重 | PDFのみ | 44 | 0 | 0 | 0 | 0 | 0 | 0 | — | — | — | — | 100% | — | 122.1 | 0 | — | 52円 | 6 | 1.6 | ○ |
| モダンアート 2026-11-04 20:17 | やや重 | Web検索のみ | 43 | 0 | 0 | 0 | 0 | 0 | 0 | — | — | — | — | 98% | — | 153.2 | 0 | — | 98円 | 6 | 1.6 | ○ |
| モダンアート 2026-11-04 20:20 | やや重 | PDF+Web検索 | 56 | 0 | 0 | 0 | 0 | 0 | 0 | — | — | — | — | 100% | — | 178.3 | 0 | — | 72円 | 6 | 1.6 | ○ |
| ラー 2026-11-04 20:23 | やや重 | PDFのみ | 50 | 0 | 0 | 0 | 0 | 0 | 0 | — | — | — | — | 100% | — | 154.3 | 0 | — | 67円 | 8 | 2.6 | ○ |
| ラー 2026-11-04 20:27 | やや重 | Web検索のみ | 49 | 0 | 0 | 0 | 0 | 0 | 0 | — | — | — | — | 100% | — | 188.2 | 0 | — | 100円 | 8 | 2.6 | ○ |
| ラー 2026-11-04 20:31 | やや重 | PDF+Web検索 | 57 | 0 | 0 | 0 | 0 | 0 | 0 | — | — | — | — | 100% | — | 168.2 | 0 | — | 72円 | 8 | 2.6 | ○ |
| グループ | ゲーム数 | 抽出合計 | 判定済 | 厳格精度(プール)[Wilson 95%CI] | 寛容精度(プール) | 幻覚率(プール) | 再現率(プール) | 寛容精度 平均±SD(ゲーム単位) | 平均秒 | 平均費用 |
|---|---|---|---|---|---|---|---|---|---|---|
| 全体 | 27 | 1271 | 175 | 96.0% [92.0%, 98.0%] | 97.7% [94.3%, 99.1%] | 0.0% [0.0%, 2.1%] | 100.0% [97.8%, 100.0%] | 97.7% ± 0.4 | 171 | 89円 |
| 層:軽 | 9 | 408 | 175 | 96.0% [92.0%, 98.0%] | 97.7% [94.3%, 99.1%] | 0.0% [0.0%, 2.1%] | 100.0% [97.8%, 100.0%] | 97.7% ± 0.4 | 171 | 92円 |
| 層:中 | 9 | 404 | 0 | — | — | — | — | — | 171 | 94円 |
| 層:やや重 | 9 | 459 | 0 | — | — | — | — | — | 172 | 81円 |
| 条件:PDFのみ | 6 | 280 | 0 | — | — | — | — | — | 148 | 63円 |
| 条件:Web検索のみ | 9 | 388 | 35 | 88.6% [74.0%, 95.5%] | 97.1% [85.5%, 99.5%] | 0.0% [0.0%, 9.9%] | 100.0% [89.8%, 100.0%] | 97.1% | 175 | 121円 |
| 条件:PDF+Web検索 | 12 | 603 | 140 | 97.9% [93.9%, 99.3%] | 97.9% [93.9%, 99.3%] | 0.0% [0.0%, 2.7%] | 100.0% [97.3%, 100.0%] | 97.8% ± 0.2 | 180 | 78円 |
| 確信度 | ○ 正しい | △ 軽微な誤り | × 重大な誤り | ⊘ 幻覚 | 計 | 誤り率(△×⊘) |
|---|---|---|---|---|---|---|
| 確実 | 155 | 3 | 2 | 0 | 160 | 3% |
| やや不確か | 11 | 0 | 2 | 0 | 13 | 15% |
| 要確認 | 2 | 0 | 0 | 0 | 2 | 0% |
確信度 low の誤り率が high より高ければ、AIの自己申告した確信度が校正されていると言える。
種別 × 判定(全ゲームをプール、人の判定)| 種別 | ○ 正しい | △ 軽微な誤り | × 重大な誤り | ⊘ 幻覚 | 計 | 誤り率(△×⊘) |
|---|---|---|---|---|---|---|
| 勝利条件 | 15 | 0 | 0 | 0 | 15 | 0% |
| 敗北条件 | 1 | 0 | 0 | 0 | 1 | 0% |
| ゲーム終了条件 | 13 | 0 | 0 | 0 | 13 | 0% |
| 主要ルール | 96 | 3 | 2 | 0 | 101 | 5% |
| 人数による違い | 21 | 0 | 1 | 0 | 22 | 5% |
| 初回は省略可 | 6 | 0 | 0 | 0 | 6 | 0% |
| 特殊な場合のルール | 16 | 0 | 1 | 0 | 17 | 6% |
両方が判定したルール 175 件/一致 170 件(97%)/Cohen's κ = 0.632
| 人 \ AI | ○ | △ | × | ⊘ |
|---|---|---|---|---|
| ○ 正しい | 167 | 1 | 0 | 0 |
| △ 軽微な誤り | 0 | 3 | 0 | 0 |
| × 重大な誤り | 1 | 3 | 0 | 0 |
| ⊘ 幻覚 | 0 | 0 | 0 | 0 |
まだ再判定がありません(各ゲームの監査タブから)。
| 要因 | 誤り率 [Wilson 95%CI] | χ² 検定(独立性) |
|---|---|---|
| 層 | 軽:2.3% [0.9%, 5.7%](n=175) | — |
| 条件 | PDF+Web検索:2.1% [0.7%, 6.1%](n=140) Web検索のみ:2.9% [0.5%, 14.5%](n=35) | χ²(1) = 0.06、p = 0.800 期待度数 5 未満のセルあり(Fisher の正確検定を R で) |
| 確信度(校正) | 確実:1.3% [0.3%, 4.4%](n=160) やや不確か:15.4% [4.3%, 42.2%](n=13) 要確認:0.0% [0.0%, 65.8%](n=2) | χ²(2) = 10.80、p = 0.005 期待度数 5 未満のセルあり(Fisher の正確検定を R で) |
| 種別 | 勝利条件:0.0% [0.0%, 20.4%](n=15) ゲーム終了条件:0.0% [0.0%, 22.8%](n=13) 主要ルール:2.0% [0.5%, 6.9%](n=101) 人数による違い:4.5% [0.8%, 21.8%](n=22) 特殊な場合のルール:5.9% [1.0%, 27.0%](n=17) 敗北条件:0.0% [0.0%, 79.3%](n=1) 初回は省略可:0.0% [0.0%, 39.0%](n=6) | χ²(6) = 2.35、p = 0.885 期待度数 5 未満のセルあり(Fisher の正確検定を R で) |
人 vs AI の判定(McNemar、両方が判定した 175 件) 人○AI× 0 件/人×AI○ 4 件/χ²(1) = 2.25(連続性補正)、p = 0.134 AIが人より甘い(人×AI○が多い)か厳しいかの検定。
確信度の校正図(確信度ごとの誤り率と 95%CI)縦軸=誤り率(0〜100%)。棒=誤り率、細い帯=Wilson 95%信頼区間。「要確認」の誤り率が「確実」より高ければ、AIの確信度は情報を持っている。
| ゲーム | PDF頁 | 容量MB | 文字情報 | 写真 | 抽出ルール数 | 誤り率 | 見落とし | 抽出秒 | 秒/頁 |
|---|---|---|---|---|---|---|---|---|---|
| SCOUT | 2 | 0.7 | 画像のみ | 0 | 44 | 2.3% | 0 | 130.4 | 65.2 |
| SCOUT | 2 | 0.7 | 画像のみ | 0 | 35 | 2.9% | 0 | 153.1 | 76.6 |
| SCOUT | 2 | 0.7 | 画像のみ | 0 | 48 | — | 0 | 170.2 | 85.1 |
| デクリプト | 12 | 3.0 | 画像のみ | 0 | 51 | 2.0% | 0 | 176.2 | 14.7 |
| デクリプト | 12 | 3.0 | 画像のみ | 0 | 44 | — | 0 | 184.2 | 15.4 |
| デクリプト | 12 | 3.0 | 画像のみ | 0 | 49 | — | 0 | 148.4 | 12.4 |
| ロイヤルターフ | 8 | 2.6 | 画像のみ | 0 | 45 | 2.2% | 0 | 182.2 | 22.8 |
| ロイヤルターフ | 8 | 2.6 | 画像のみ | 0 | 45 | — | 0 | 220.2 | 27.5 |
| ロイヤルターフ | 8 | 2.6 | 画像のみ | 0 | 47 | — | 0 | 171.1 | 21.4 |
| カルカソンヌ21(基本ルール) | 7 | 3.6 | 画像のみ | 0 | 40 | — | 0 | 116.8 | 16.7 |
| カルカソンヌ21(基本ルール) | 7 | 3.6 | 画像のみ | 0 | 42 | — | 0 | 140.2 | 20 |
| カルカソンヌ21(基本ルール) | 7 | 3.6 | 画像のみ | 0 | 41 | — | 0 | 156.2 | 22.3 |
| ボムバスターズ | 8 | 4.6 | 画像のみ | 0 | 39 | — | 0 | 125 | 15.6 |
| ボムバスターズ | 8 | 4.6 | 画像のみ | 0 | 30 | — | 0 | 148.2 | 18.5 |
| ボムバスターズ | 8 | 4.6 | 画像のみ | 0 | 45 | — | 0 | 176.2 | 22 |
| メソス | 8 | 4.6 | 画像のみ | 0 | 53 | — | 0 | 192.7 | 24.1 |
| メソス | 8 | 4.6 | 画像のみ | 0 | 51 | — | 0 | 206.7 | 25.8 |
| メソス | 8 | 4.6 | 画像のみ | 0 | 63 | — | 0 | 276.9 | 34.6 |
| パンデミック | 8 | 5.3 | 画像のみ | 0 | 54 | — | 0 | 176.3 | 22 |
| パンデミック | 8 | 5.3 | 画像のみ | 0 | 49 | — | 0 | 181.1 | 22.6 |
| パンデミック | 8 | 5.3 | 画像のみ | 0 | 57 | — | 0 | 224.2 | 28 |
| モダンアート | 6 | 1.6 | 画像のみ | 0 | 44 | — | 0 | 122.1 | 20.4 |
| モダンアート | 6 | 1.6 | 画像のみ | 0 | 43 | — | 0 | 153.2 | 25.5 |
| モダンアート | 6 | 1.6 | 画像のみ | 0 | 56 | — | 0 | 178.3 | 29.7 |
| ラー | 8 | 2.6 | 画像のみ | 0 | 50 | — | 0 | 154.3 | 19.3 |
| ラー | 8 | 2.6 | 画像のみ | 0 | 49 | — | 0 | 188.2 | 23.5 |
| ラー | 8 | 2.6 | 画像のみ | 0 | 57 | — | 0 | 168.2 | 21 |
n が 9 程度なので、相関は探索的な記述にとどめる(p 値は R で)。属性が「—」のゲームは「記録を更新」を押すと保存ファイルから算出される。
| 条件 | 拡張・別版の混入 | 他ゲームの混入 | Web情報で検証不能 | 根拠なしの創作 | (種類なし) | 計 |
|---|---|---|---|---|---|---|
| Web検索のみ | 0 | 0 | 2 | 0 | 0 | 2 |
| 条件 | 判定できた件数 | ページ一致 [95%CI] |
|---|---|---|
| PDF+Web検索 | 601 | 100.0% [99.4%, 100.0%] |
| PDFのみ | 280 | 100.0% [98.6%, 100.0%] |
| Web検索のみ | 51 | 100.0% [93.0%, 100.0%] |
web_unverifiable は「Webの情報としてはあり得るがルールブックで確認できない」もの。Webのみ条件の幻覚の内訳を見るときに使う。
| 数値 | 0 | 0% |
| タイミング | 0 | 0% |
| 条件・例外の抜け | 4 | 100% |
| 解釈 | 0 | 0% |
| 範囲・まとめ方 | 0 | 0% |
| 出典ページ | 0 | 0% |
| その他 | 0 | 0% |