第4回 決定木・ランダムフォレスト
このページの使い方
- 画面上部の帯が緑になるまで待つ(Rの準備。初回は数十秒かかる)。
- Ⅰ・Ⅱで手法のしくみを読み、黒い枠のRプログラムを「▶ 実行」で動かす。
- Ⅳの例題を、ステップの順に実行する(前のステップで作ったものを後で使うため)。
- Ⅴで、生成AIに自分のテーマのデータとプログラムを作らせて分析する。
- 最後の「課題用プログラム」で、データ作成 → プログラム → 実行 → 考察 を行い、レポートにまとめる。
黒い枠のプログラムは自由に書き換えてよい。「元のコードに戻す」で元に戻る。
今日の目標
- 決定木が「質問を順に重ねてデータを分ける」手法であることを説明できる。
- 決定木が質問を選ぶ基準(ジニ不純度)を、手計算とRで確かめられる。
- 決定木の弱点(過学習・不安定さ)と、それを補うランダムフォレストの考え方を説明できる。
- Rで決定木とランダムフォレストを実行し、木の図・正解率・変数の重要度を読み取れる。
- 生成AIに作らせた自分のデータで同じ分析を行い、結果が妥当かを確かめられる。
Ⅰ 決定木のしくみ
あるカフェで、どんなお客さんが会員になるかを予測したいとする。手がかりは「月の来店回数」と「年齢層」である。 決定木(けっていぎ、decision tree)は、次の図のように「はい/いいえ」で答えられる質問を並べて、予測の答えを出す。
この木の使い方は簡単である。新しいお客さんが来たら、いちばん上の質問から答えていき、たどり着いた終点の答えが予測になる。
- 医師の問診(「熱はありますか」→「咳は出ますか」→…)、故障診断の手順書、電話の自動音声案内(「〇〇の方は1を押してください」)は、どれも人間が手で作った決定木である。機械学習の決定木は、この「質問の順番と境界値」をデータから自動で決める。
- この授業で扱う手法の中で、決定木は結果を人に説明できる数少ない手法である。ニューラルネットワーク(第10回)やランダムフォレストは精度が高くても「なぜその予測か」を説明しにくい。融資の審査や医療のように「理由を示す義務」がある場面では、今も決定木が選ばれる。
| 名前 | 意味 | 図1では |
|---|---|---|
| 根ノード(ねノード) | 最初の質問。全員がここから出発する | 「月の来店回数 ≥ 4?」 |
| 枝(えだ) | 質問の答え(はい/いいえ)ごとの分かれ道 | 「はい」「いいえ」の線 |
| 内部ノード | 途中にある質問(図1にはない) | ― |
| 葉(は) | それ以上分けない終点。ここに予測の答えが書かれる | 「会員になる」「会員にならない」 |
| 深さ | 根から葉までに通る質問の数 | 1 |
決定木は、カテゴリを当てる「分類」にも、数値を当てる「回帰」にも使える。今回は分類を扱う。
図1の木は、次の10人のデータから作った。
| 客番号 | 来店回数(月) | 年齢層 | 会員 |
|---|---|---|---|
| 1 | 8 | 若者 | はい |
| 2 | 6 | 大人 | はい |
| 3 | 7 | 若者 | はい |
| 4 | 2 | 若者 | いいえ |
| 5 | 5 | 大人 | はい |
| 6 | 1 | 大人 | いいえ |
| 7 | 3 | 若者 | いいえ |
| 8 | 9 | 大人 | はい |
| 9 | 2 | 大人 | いいえ |
| 10 | 3 | 若者 | はい |
会員「はい」が6人、「いいえ」が4人である。Rでも表示してみよう。
質問の候補はたくさんある。「来店回数 ≥ 4?」「来店回数 ≥ 7?」「年齢層は若者?」などである。決定木は、この中から分けた後のグループが、なるべく一種類だけになる質問を選ぶ。
| 分けた後のグループ | よい質問か | |
|---|---|---|
| 理想 | 片方は全員「はい」、もう片方は全員「いいえ」 | とてもよい |
| まあまあ | 片方はほぼ「はい」、もう片方はほぼ「いいえ」 | よい |
| だめ | どちらのグループも「はい」と「いいえ」が半々のまま | 分けた意味がない |
この「混ざり具合」を数で表したものを不純度という。数が小さいほど、グループがそろっている。
よく使われる不純度がジニ不純度である。
「はい6人・いいえ4人」のグループで計算してみる。
| 手順 | 計算 | 結果 |
|---|---|---|
| ① 割合を出す | はい 6÷10、いいえ 4÷10 | 0.6 と 0.4 |
| ② それぞれ2乗する | 0.6² = 0.36、0.4² = 0.16 | 0.36 と 0.16 |
| ③ 足す | 0.36 + 0.16 | 0.52 |
| ④ 1から引く | 1 − 0.52 | 0.48 |
いろいろな混ざり方で計算すると、次のようになる。
| はい:いいえ | 10:0 | 9:1 | 8:2 | 7:3 | 6:4 | 5:5 |
|---|---|---|---|---|---|---|
| ジニ不純度 | 0 | 0.18 | 0.32 | 0.42 | 0.48 | 0.50 |
| 状態 | 完全にそろう | ← そろっている 混ざっている → | 最も混ざる | |||
この式は、何を測っているのか
式だけ見ると意味が分かりにくいが、ジニ不純度には分かりやすい読み方がある。グループから2人を(戻しながら)取り出したとき、2人の答えが違っている確率である。全員「はい」なら誰を取り出しても同じで0、半々なら2回に1回は違うので0.5になる。
- 「ジニ」はイタリアの統計学者コッラド・ジニ(1884〜1965)の名前で、1912年に所得の格差を測る「ジニ係数」を提案した(0なら全員同じ所得、1なら1人が総取り)。ニュースで「日本のジニ係数は…」と出てくるのは、この格差の指標である。
- 決定木の「ジニ不純度」は、1984年の CART(ステップ14のトリビア)で採用されたもので、「2つ取り出して違う確率」という考え方が共通しているため、同じ名前が付いている。格差の指標と木の指標は、式の形は違うが同じ人に由来する。
- 不純度にはもう1つ「エントロピー(情報量)」という尺度もあり、クインランのID3・C4.5という決定木が使った。どちらを使っても、選ばれる質問はほとんど同じになる。
「はい」と「いいえ」の人数を動かして、ジニ不純度がどう変わるかを見てみよう。
ステップ5の計算を、Rの関数にする。
この関数 ジニ不純度 は、ステップ9でも使う。先に実行しておくこと。
図4の「2人取り出して違う確率」が本当に式の値と同じになるか、1万回の試行で確かめる。
読み取り方:1万回の試行で「2人の答えが違った割合」は0.48前後になり、式で計算したジニ不純度0.48と一致する。
カフェの10人を、2つの質問で分けてみる。分けた後は、2つのグループの不純度を人数で重みを付けて平均する。
| 分け方A:来店回数 ≥ 4? | 分け方B:年齢層は若者? | |
|---|---|---|
| 「はい」側 | 5人(はい5・いいえ0)→ 0 | 若者5人(はい3・いいえ2)→ 0.48 |
| 「いいえ」側 | 5人(はい1・いいえ4)→ 0.32 | 大人5人(はい3・いいえ2)→ 0.48 |
| 重み付き平均 | 5/10×0 + 5/10×0.32 = 0.16 | 5/10×0.48 + 5/10×0.48 = 0.48 |
| 分ける前からの減り方 | 0.48 → 0.16(0.32減った) | 0.48 → 0.48(減らない) |
やってみよう:自分で線を引いて、不純度をいちばん減らす
赤(40点中)と青の点を、縦か横の1本の線で分ける。線の位置を動かして、重み付きジニ不純度が最も小さくなる場所を探そう。決定木はこれを全候補について自動で行う。
決定木は、考えられる質問の候補をすべて試す。来店回数なら「≥2」「≥3」「≥5」…のように、データに出てくる値の数だけ候補がある。Rで全候補を計算させてみよう(ステップ7を先に実行しておくこと)。
読み取り方:「来店回数 ≥ 5」が最小(0.160)になる。データに来店回数4の人はいないので、「≥ 5」と図1の「≥ 4」は同じ分け方である(Rは3と5の間の値を境界に使う)。
Rの rpart 関数は、ステップ9の作業を自動で行う。
読み取り方:2) 来店回数>=4 5 0 はい は、「来店回数4以上の5人。予測は『はい』。間違いは0人」という意味である。手計算と同じ質問が選ばれた。
「いいえ」側の5人(はい1・いいえ4)はさらに分けられそうだが、Rは分けなかった。年齢層で分けても、どちらのグループも予測が「いいえ」のままで、間違いの数が減らないからである。
木はどこで止まるのか
読み取り方:既定の設定(minsplit = 20)では「10人では少なすぎる」として根ノードのまま何も分けない。止め条件は、少人数の偶然を覚えすぎないための安全装置である(ステップ12)。
決定木は、分けたグループの中で、また同じ手順(全候補を試す→最もよい質問を選ぶ)をくり返す。グループがそろうか、人数が少なくなったら止める。
数値の変数2つで考えると、1回の質問は「縦か横に1本の線を引く」ことに当たる。下の図は、アヤメの花(例題で使うデータ)を2つの質問で3品種に分けた様子である。
| 順 | 質問 | この質問で分かること |
|---|---|---|
| ① | 花びらの長さ < 2.45? | 「はい」ならセトサ(50本すべて正解) |
| ② | 花びらの幅 < 1.75? | 残りの100本を、バーシカラーとバージニカに分ける |
縦横の線しか引けないことの弱点
読み取り方:市松模様では、縦でも横でも1本の線では赤と青が半々のまま(不純度が減らない)なので、決定木は根ノードのまま止まり、正解率は0.5(当てずっぽう)になる。人間なら「縦横1本ずつ引けばよい」と分かるが、決定木は1本目で改善がない道を進まない。ランダムフォレスト(Ⅱ)は、抜き出した標本で点の数が偏るため1本目が引け、ほぼ100%当てる。決定木の弱点を、ランダムフォレストは「ばらつき」で乗り越える。
質問をどこまでも重ねれば、訓練に使ったデータは100%当てられるようになる。しかしそれは、データの偶然のばらつき(ノイズ)まで覚えた状態であり、新しいデータには当たらなくなる。これを過学習という。
| 木の深さ | 訓練データの正解率 | テストデータの正解率 | 状態 |
|---|---|---|---|
| 1 | 0.700 | 0.687 | 単純すぎる(学習不足) |
| 3 | 0.827 | 0.760 | ちょうどよい |
| 12 | 1.000 | 0.673 | 過学習(覚えすぎ) |
実力はテストデータの正解率で判断する。
たとえ話:過去問の答えを丸暗記した学生は、過去問(訓練データ)なら満点だが、本番の試験(テストデータ)では点が取れない。「問題の傾向」をつかんだ学生のほうが、本番に強い。深すぎる木は丸暗記の学生である。
庭木の手入れと同じように、育ちすぎた枝を切り落とすことを剪定という。Rの rpart では、次の手順で行う。
| 手順 | やること | Rの関数 |
|---|---|---|
| 1 | まず、限界まで深い木を作る | rpart(…, control = rpart.control(cp = 0)) |
| 2 | 枝の数ごとに、交差検証で誤差(xerror)を見積もる | printcp() |
| 3 | xerror が最も小さくなる複雑さ(cp)を選ぶ | which.min() |
| 4 | その cp で木を切り落とす | prune() |
cp(complexity parameter、複雑さのパラメータ):「この分岐で誤りが cp 以上減らないなら分けない」という基準。小さいほど木が大きくなる。
交差検証:訓練データをいくつかに分け、一部を検証用にして誤差を測ることをくり返す方法。
| 長所 | 短所 |
|---|---|
| ・結果が図で示され、人に説明しやすい ・数値とカテゴリの変数を混ぜて使える ・変数の単位をそろえる(標準化する)必要がない |
・深くすると過学習しやすい ・データが少し変わると、木の形が大きく変わる(不安定) ・境界が縦横の線だけなので、斜めの境界は苦手(図8・図9) |
この「不安定」という短所を補うのが、次のランダムフォレストである。
- Rの rpart が実装しているのは、1984年にブライマン・フリードマン・オルシェン・ストーンの4人の統計学者が本にまとめた CART(Classification And Regression Trees)である。「rpart」は recursive partitioning(再帰的分割)の略で、「分けた中をまた分ける」という手順そのものを指す。
- 同じころ、計算機科学の側ではクインランが ID3(1986年)と C4.5(1993年)を作った。こちらは不純度にエントロピーを使う。統計学と計算機科学が別々に同じ発想へたどり着いた例である。
- アヤメのデータ(例題2〜5)は、1936年に統計学者フィッシャーが論文で使ったもので、花はエドガー・アンダーソンがカナダのガスペ半島の同じ牧草地で同じ日に摘んだものである。90年近く前のデータが、今も機械学習の「最初の練習問題」として世界中で使われている。
Ⅱ ランダムフォレストのしくみ
同じ母集団から少しだけ違うデータを取り出して木を作ると、木の形はどれくらい変わるだろうか。5回試してみる。
読み取り方:最初の質問に使われる変数、境界値、葉の数が、回によって変わる。データのわずかな違いで結論が変わるのは、予測の道具としては困る。
多数の木=森(フォレスト)なので、ランダムフォレスト(random forest)と呼ぶ。
| 順 | やること | 目的 | Rの引数 |
|---|---|---|---|
| ① | 元のデータから、重複を許して同じ数だけ抜き出す(ブートストラップ標本) | 木ごとに少しずつ違うデータを用意する | ― |
| ② | 枝分かれのたびに、使える変数をランダムに一部だけに絞って木を作る | 木どうしが似すぎないようにする | mtry |
| ③ | ①②を何百回もくり返す | 木をたくさん作る | ntree(既定は500) |
| ④ | 全部の木に予測させ、多数決をとる(回帰なら平均) | 結果を安定させる | ― |
「正解率7割の木」を何本集めても7割のままではないか、と思うかもしれない。しかし木どうしが独立に間違えるなら、多数決の正解率は本数とともに上がる。3本なら「2本以上が正解する確率」で0.78、25本なら0.98になる。
やってみよう:木の本数と「似ている度合い」を変える
読み取り方:独立な木なら51本で0.999に達するが、相関0.5の「似た木」では0.76で頭打ち、相関0.9の「そっくりな木」では何本集めても0.72ほどである。多数決を効かせるには、木をわざとばらつかせる必要がある。それが次のブートストラップ(ステップ4)と変数のランダム選択(ステップ5)である。
- 1906年、統計学者ゴルトンは家畜の品評会で「牛の重さ当て」の投票約800票を調べ、投票の中央値が実際の重さにきわめて近いことを見つけた。1人1人は大きく外しても、独立した多くの推定を集めると正確になる。これは「群衆の知恵」と呼ばれ、ランダムフォレストはその機械学習版である。
- ただし条件がある。全員が同じ情報源(たとえば同じ噂)に頼っていると、同じ方向に外れて集めても直らない。ランダムフォレストが木を「わざと似ないように」作るのは、この条件を満たすためである。
10件のデータ(行番号1〜10)から、重複を許して10回抜き出す。同じ行が何度も選ばれることがあり、逆に一度も選ばれない行も出る。
| 行番号 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 合計 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 標本1で選ばれた回数 | 1 | 1 | 2 | 1 | 0 | 0 | 3 | 0 | 1 | 1 | 10 |
| 標本2で選ばれた回数 | 2 | 2 | 0 | 1 | 1 | 1 | 0 | 1 | 1 | 1 | 10 |
| 標本3で選ばれた回数 | 1 | 0 | 1 | 1 | 1 | 1 | 0 | 1 | 2 | 2 | 10 |
赤い「0」の行は、その木の訓練に使われなかったデータである。これを OOB(Out-Of-Bag、袋の外)という。平均すると、約3分の1(約37%)の行がOOBになる。
やってみよう:袋から引く
読み取り方:150件のデータで1000回試すと、選ばれない行の割合は平均0.367で、理論値 1/e = 0.368 と一致する。「約37%」は偶然の数ではなく、数学的に決まった値である。
アヤメのデータには説明変数が4つある。ランダムフォレストは、枝分かれのたびに、その中からランダムに一部(分類では既定で√4=2個)だけを候補にする。
| がく片の長さ | がく片の幅 | 花びらの長さ | 花びらの幅 | 選ばれた質問 | |
|---|---|---|---|---|---|
| 木1・1回目の分岐 | 候補 | 候補 | 花びらの長さ < 2.45 | ||
| 木1・2回目の分岐 | 候補 | 候補 | がく片の長さ < 6.2 | ||
| 木2・1回目の分岐 | 候補 | 候補 | 花びらの幅 < 0.8 |
(表の分岐は説明のための例である。)
こうすると、いつも同じ強い変数(花びら)ばかりが最初に使われることがなくなり、いろいろな見方をする木が育つ。似た木ばかりで多数決をとっても、安定にはつながらないからである(ステップ3)。
各行について、「その行を訓練に使わなかった木(その行がOOBだった木)」だけで多数決をとり、正解と比べる。これを全行で行ったときの誤りの割合をOOB誤り率という。
| 行 | OOBだった木 | その木たちの予測 | 多数決 | 正解 | 判定 |
|---|---|---|---|---|---|
| 行5 | 木1、木7、木9 … | バーシカラー、バーシカラー、バージニカ … | バーシカラー | バーシカラー | ○ |
| 行7 | 木2、木3、木8 … | バージニカ、バーシカラー、バージニカ … | バージニカ | バーシカラー | × |
訓練に使っていないデータで測るので、テストデータで測るのと近い意味を持つ。表の値は説明のための例である。
ランダムフォレストは木が数百本あるので、木の図を見て説明することはできない。代わりに「どの変数が予測に役立ったか」を数値で示す。
| 指標 | 考え方 |
|---|---|
| MeanDecreaseAccuracy (正解率の低下) | ある変数の値だけをでたらめに並べ替えて予測させ、正解率がどれだけ下がるかを見る。大きく下がるほど、その変数は重要である。 |
| MeanDecreaseGini (ジニ不純度の減少) | その変数を使った分岐で、ジニ不純度が合計でどれだけ減ったかを見る。 |
「並べ替え」のイメージ(花びらの長さの列だけを入れ替える):
| 元のデータ | 並べ替えた後 | |||
|---|---|---|---|---|
| 行 | 花びらの長さ | 品種 | 花びらの長さ | 品種 |
| 1 | 1.4 | セトサ | 5.6 | セトサ |
| 2 | 4.5 | バーシカラー | 1.4 | バーシカラー |
| 3 | 5.6 | バージニカ | 4.5 | バージニカ |
並べ替えた後は「花びらの長さ」と品種の関係が壊れる。それでも正解率がほとんど下がらなければ、その変数はあまり使われていなかったことになる。
| 決定木 | ランダムフォレスト | |
|---|---|---|
| 予測の精度 | 中程度 | 高いことが多い |
| 結果の安定性 | 低い(データで形が変わる) | 高い |
| 説明しやすさ | 高い(木の図で示せる) | 低い(重要度で補う) |
| 過学習 | 起こりやすい(剪定が必要) | 起こりにくい |
| 計算時間 | 短い | 長い(木の数だけかかる) |
| 向いている場面 | 「なぜそう予測したか」を説明したいとき | とにかく精度よく予測したいとき |
- 「ランダムフォレスト」を完成させたのは、CARTの著者でもあるレオ・ブライマン(1928〜2005)の2001年の論文である。先に1995年にティン・カム・ホーが「ランダムに変数を選んで木を作り、森にする」方法を発表しており、ブライマンはそれに自身の「ブートストラップで木を作る」方法(バギング)を組み合わせた。
- 「Random Forests」という名前は商標として登録され、商用ソフトに使われた。Rの
randomForestパッケージは、ブライマンとカトラーの元のプログラム(Fortran)をリャオとウィーナーがRに移植したものである。 - ブライマンは晩年の論文「統計モデリング:2つの文化」(2001年)で、「データの生まれ方を説明する」統計学と「とにかく当てる」機械学習の溝を指摘した。決定木(説明)とランダムフォレスト(予測)は、その2つの文化の両方を体現している。
Ⅲ 例題データ
このページでは、次の3つのデータが最初から用意されている。
| 名前 | 内容 | 使う場所 |
|---|---|---|
カフェ | カフェの客10人(来店回数・年齢層・会員) | Ⅰ(決定木のしくみ) |
タイタニック | タイタニック号の乗客714人(生死・船室等級・性別・年齢) | 例題1 |
アヤメ | アヤメの花150本(がく片・花びらの長さと幅・品種) | 例題2〜5 |
タイタニック
| 列名 | 意味 | 型 |
|---|---|---|
| 生死 | 死/生(死亡424人、生存290人) | カテゴリ(予測したい変数) |
| 船室等級 | 1等/2等/3等(数値の1〜3) | 数値 |
| 性別 | 男/女 | カテゴリ |
| 年齢 | 年齢(歳)。1歳未満は小数(例:0.42) | 数値 |
アヤメ(iris)
Rに最初から入っているデータ iris の列名と品種名を日本語にしたものを、アヤメ という名前で用意してある。アヤメの花150本について、がく片と花びらの長さ・幅を測り、品種を記録したデータである。
| 列名 | 意味 | 型 |
|---|---|---|
| がく片の長さ | がく片の長さ(cm) | 数値 |
| がく片の幅 | がく片の幅(cm) | 数値 |
| 花びらの長さ | 花びらの長さ(cm) | 数値 |
| 花びらの幅 | 花びらの幅(cm) | 数値 |
| 品種 | セトサ/バーシカラー/バージニカ(各50本) | カテゴリ(予測したい変数) |
最初の5行(各品種から抜粋):
| 行 | がく片の長さ | がく片の幅 | 花びらの長さ | 花びらの幅 | 品種 |
|---|---|---|---|---|---|
| 1 | 5.1 | 3.5 | 1.4 | 0.2 | セトサ |
| 2 | 4.9 | 3.0 | 1.4 | 0.2 | セトサ |
| 51 | 7.0 | 3.2 | 4.7 | 1.4 | バーシカラー |
| 52 | 6.4 | 3.2 | 4.5 | 1.5 | バーシカラー |
| 101 | 6.3 | 3.3 | 6.0 | 2.5 | バージニカ |
プログラムの中でこれらのデータを書き換えてしまったときは、ページを再読み込みすると元に戻る。
Ⅳ 例題1:タイタニック号 生死を分けた条件を決定木で探す
1912年、客船タイタニック号は氷山に衝突して沈没した。救命ボートは乗客全員分には足りなかった。 乗客714人のデータ(生死・船室等級・性別・年齢)から、どんな条件の人が生き残りやすかったかを、決定木で調べる。
見るところ:714人のうち、死亡424人・生存290人である。全体の生存率は 290÷714 ≒ 0.41(41%)。
決定木を作る前に、条件ごとの生存率を見て、生死を分けた条件を予想してみよう。
| 条件 | 生存率の違い | 差の大きさ |
|---|---|---|
| 性別 | 男 0.205、女 0.755 | とても大きい |
| 船室等級 | 1等 0.656、2等 0.480、3等 0.239 | 大きい |
| 年齢層 | 6歳以下 0.702、それ以外は 0.3〜0.4 程度 | 幼い子だけ高い |
考えてみよう:最初の質問(根ノード)に選ばれるのは、どの変数だろうか。
最初は木の深さを2までに制限して、大きな傾向だけを見る。
図の見方:各箱の1行目が予測(死/生)、2行目が「死」と「生」の割合、3行目が全体に占める人数の割合である。緑が濃いほど生存率が高い。
表の1〜4行目は、木の図の葉を左から順に並べたものである。
やってみよう:木をたどる
自分(や架空の乗客)の条件を選んで、深さ2の木をたどってみよう。
| 順 | 木の質問 | 分かること |
|---|---|---|
| 1 | 性別は男か | 最も大きく生死を分けたのは性別(「女性と子どもを先に」救命ボートへ乗せたと伝えられている) |
| 2(男性) | 年齢 ≥ 6.5 か | 男性でも6歳以下の子どもは生存率が高い |
| 2(女性) | 船室等級 ≥ 2.5 か | 女性でも3等船室の人は生存率が約半分に下がる |
正解率:決定木は 0.803、「全員が死亡」と予測した場合は 0.594 である。質問を3つ使うだけで、正解率が約0.2上がった。
考えてみよう:制限なしの木には、「女性・3等・5.5〜12歳 → 8人全員が死亡」という葉がある。8人だけのデータから「この年齢の女の子は助からない」と言ってよいだろうか。 このように、少人数の偶然まで覚えてしまうのが過学習である(Ⅰのステップ12、例題3で詳しく扱う)。
やってみよう:乗客 の数値を書き換えて、自分や家族が乗っていたらどうなるかを予測してみよう(船室等級は1〜3、性別は「男」か「女」)。
同じデータで、決定木とランダムフォレスト(Ⅱ)をテストデータで比べる。分け方は第7回以降の授業と同じ(set.seed(1)、70%:30%)にしてあるので、後の回で結果を見比べられる。
読み取り方:テストデータ214人で、決定木 0.738、ランダムフォレスト 0.771、全員「死」と答えると 0.556。変数の重要度は性別が圧倒的で、次が船室等級、年齢の順である。第7回(SVM)、第10回(ニューラルネットワーク)でも同じデータを同じ分け方で使うので、手法ごとの正解率を見比べてほしい。
Ⅳ 例題2:アヤメの品種を決定木で分類する
見るところ:セトサ(緑)は花びらが小さく、他の2品種と離れている。バーシカラーとバージニカは一部が重なっている。
品種 ~ . は「品種を、残りすべての列で予測する」という意味である。
| 表示 | 意味 |
|---|---|
1) root 150 100 セトサ | 根ノード。150本。いちばん多い品種で予測すると100本間違える |
2) 花びらの長さ< 2.45 50 0 セトサ | 花びらの長さが2.45未満の50本。予測はセトサ。間違い0本 |
* | 葉(終点)であることを示す |
(0.00 0.91 0.09) | そのノードに含まれる品種の割合(セトサ、バーシカラー、バージニカの順) |
見るところ:各箱の1行目が予測、2行目が品種ごとの本数、3行目が全体に占める割合である。
赤い点線で区切られた長方形が、それぞれの葉に対応する(図7と同じ)。
読み取り方:混同行列の対角線(左上から右下)が正解した数である。ここでの正解率は、木を作ったデータそのもので測ったので、実力より高めに出る。本当の実力は例題5で測る。
Ⅳ 例題3:過学習と剪定
アヤメはきれいに分かれるデータなので、過学習が見えにくい。そこで、ノイズを含む練習用データを作って確かめる。
点線(特徴1+特徴2=1)の右上はA、左下はBになりやすい。ただし2割はわざと逆にしてある。この「2割の逆転」は偶然のノイズなので、覚えても新しいデータの予測には役立たない。
見るところ:訓練データの正解率は深くするほど上がり、最後は1.000になる。テストデータの正解率は深さ3あたりで最大になり、その後は下がる(図10と同じ結果)。
読み取り方:nsplit は分岐の数、rel error は訓練データでの誤差、xerror は交差検証での誤差である。グラフでは、葉を増やすと訓練データの誤差(青)は0まで下がるが、交差検証の誤差(赤)は途中から上がる。赤が最も低いあたりが、ちょうどよい木の大きさである。
考えてみよう:深い木(葉60枚)と剪定した木(葉7枚)では、どちらがテストデータでよく当たったか。それはなぜか。
Ⅳ 例題4:ランダムフォレスト
| 表示 | 意味 |
|---|---|
| Number of trees: 500 | 作った木の本数 |
| No. of variables tried at each split: 2 | 分岐のたびに候補にした変数の数(mtry) |
| OOB estimate of error rate | OOB誤り率(Ⅱのステップ5) |
| Confusion matrix | OOBでの混同行列。class.error は品種ごとの誤り率 |
見るところ:森$err.rate の各行は、木を1本ずつ増やしたときの誤り率である。木が少ないうちは誤り率が上下するが、100本を超えるあたりから安定する。木を増やしても過学習はしにくい。
読み取り方:花びらの長さと花びらの幅が上位にくる。図7で決定木が使った質問とも一致する。
読み取り方:type = "prob" の結果は、500本の木のうち、その品種に投票した木の割合である。割合が1に近いほど、木たちの意見がそろっている。
Ⅳ 例題5:決定木とランダムフォレストの実力を比べる
見るところ:どちらも訓練データの正解率はテストデータより高い。比べるべきは右の列(テストデータ)である。
1回の分け方だけでは、たまたまの結果かもしれない。分け方を20通り変えて、正解率のばらつきを見る(実行に少し時間がかかる)。
考えてみよう:平均とばらつき(箱の高さ)の両方で比べると、どちらの手法がよいと言えるか。
Ⅴ 自分の興味のあるデータで分析する
このページの生成AIに、データとRのプログラムを作らせて実行する。上から順にボタンを押していけばよい。
最初にボタンを押したとき、授業用パスコードを聞かれる。授業で伝えたものを入力する。
テーマの例:カフェの会員になるか/部活を続けるか/映画がヒットするか/ペットを飼うか
テーマ: 行数:
追加の希望(なくてよい):
(30秒〜1分ほどかかる)ステップ2のプログラムが下の枠に入る。「▶ 実行」を押す。プログラムは自分で書き換えてもよい。
エラーが出たら: (直したプログラムが上の枠に入るので、もう一度「▶ 実行」を押す)
| 観点 | 確かめ方 |
|---|---|
| 重要な変数は意図どおりか | 「データの説明」で予測に関係しそうな列が、木の上のほうや重要度の上位に来ているか |
| 過学習していないか | 訓練データとテストデータの正解率に大きな差がないか |
| 本当に予測できているか | 正解率が、「いちばん多いクラスを常に答える」場合の正解率より高いか |
| プログラムは正しいか | エラーが出なくても、予測したい列や訓練・テストの分け方が意図どおりかを、コメントと出力で確かめる |
| 結果を言い過ぎていないか | 生成AIのデータは架空である。現実の傾向として主張しない |
(参考)生成AIに送った指示文を見る
データを作る指示
(まだ送っていません)
プログラムを書く指示
(まだ送っていません)
課題
このページの最後にある「課題用:生成AIで決定木・ランダムフォレスト分析」を利用して、自分で決めたテーマのデータ(生成AIを利用して良い)で決定木とランダムフォレストによる分類を行い、その結果を3ページ程度のレポートにして提出せよ。レポートの形式は自由である。
なおファイル名は 学生番号_名前.docx とする。たとえば k24x7777_東女花子.docx である。
(提出方法・期限はWebClassの指示に従うこと)
レポートに入れるとよいもの(例)
- テーマと、なぜそのテーマを選んだか
- データの説明(行数、予測したい列とそのカテゴリ、予測に使う列)
- 決定木の図と、最初の質問(根ノード)の読み取り
- 決定木とランダムフォレストの、テストデータの正解率の比較表。「多いほうを常に答えた場合」との比較
- 変数の重要度のグラフと、データを作らせたときの「関係が強い列」との照合
- 考察:過学習が見えるか(訓練とテストの差)、どちらの手法がよいか、データは架空であることの注意
生成AIの考察は、そのまま写さず、実行結果の数値と見比べて確かめてから、自分の言葉で書き直すこと。AIの考察に誤りや言い過ぎを見つけたら、それもレポートに書いてよい。
課題用:生成AIで決定木・ランダムフォレスト分析(データ作成 → プログラム → 実行 → 考察)
テーマを決めて、上から順に4つのボタンを押していけばよい。結果はレポートの材料として使う。
最初にボタンを押したとき、授業用パスコードを聞かれる。授業で伝えたものを入力する。
テーマの例:カフェの会員になるか/部活を続けるか/映画がヒットするか/ペットを飼うか/試験に合格するか
テーマ: 行数:
追加の希望(なくてよい):
(30秒〜1分ほどかかる)[2]のプログラムが下の枠に入る。「▶ 実行」を押す。図は右クリック(スマートフォンでは長押し)で保存するか、スクリーンショットを撮ってレポートに貼る。
エラーが出たら: (直したプログラムが上の枠に入るので、もう一度「▶ 実行」を押す)
[3]の実行結果(文字の出力)を生成AIに渡して、考察を書かせる。図そのものは渡さない。
(30秒〜1分ほどかかる)テーマ、データの説明、プログラム、実行結果、AIの考察を1つの文章にまとめてコピーする。Wordに貼り付けて、レポートの下書きに使う。
(参考)生成AIに送った指示文を見る
[1]データを作る指示
(まだ送っていません)
[2]プログラムを書く指示
(まだ送っていません)
[4]考察を書く指示
(まだ送っていません)