R を準備しています…
機械学習の基礎(東京女子大学 2026年度後期)
第4回 決定木・ランダムフォレスト
管理

第4回 決定木・ランダムフォレスト

このページの使い方

  1. 画面上部の帯が緑になるまで待つ(Rの準備。初回は数十秒かかる)。
  2. Ⅰ・Ⅱで手法のしくみを読み、黒い枠のRプログラムを「▶ 実行」で動かす。
  3. Ⅳの例題を、ステップの順に実行する(前のステップで作ったものを後で使うため)。
  4. Ⅴで、生成AIに自分のテーマのデータとプログラムを作らせて分析する。
  5. 最後の「課題用プログラム」で、データ作成 → プログラム → 実行 → 考察 を行い、レポートにまとめる。

黒い枠のプログラムは自由に書き換えてよい。「元のコードに戻す」で元に戻る。

今日の目標

  1. 決定木が「質問を順に重ねてデータを分ける」手法であることを説明できる。
  2. 決定木が質問を選ぶ基準(ジニ不純度)を、手計算とRで確かめられる。
  3. 決定木の弱点(過学習・不安定さ)と、それを補うランダムフォレストの考え方を説明できる。
  4. Rで決定木とランダムフォレストを実行し、木の図・正解率・変数の重要度を読み取れる。
  5. 生成AIに作らせた自分のデータで同じ分析を行い、結果が妥当かを確かめられる。

Ⅰ 決定木のしくみ

ステップ1決定木は「質問を重ねて答えを出す」しくみ

あるカフェで、どんなお客さんが会員になるかを予測したいとする。手がかりは「月の来店回数」と「年齢層」である。 決定木(けっていぎ、decision tree)は、次の図のように「はい/いいえ」で答えられる質問を並べて、予測の答えを出す。

カフェの会員を予測する決定木の図
図1 カフェの会員を予測する決定木と、木の部品の名前

この木の使い方は簡単である。新しいお客さんが来たら、いちばん上の質問から答えていき、たどり着いた終点の答えが予測になる。

例:月に6回来る人 →「来店回数 ≥ 4?」に「はい」→ 予測は「会員になる」
20の質問ゲーム
図2 決定木は「20の質問」ゲームと同じ。よい質問は候補をうまく分ける質問である
トリビア:決定木は「人間らしい」機械学習
  • 医師の問診(「熱はありますか」→「咳は出ますか」→…)、故障診断の手順書、電話の自動音声案内(「〇〇の方は1を押してください」)は、どれも人間が手で作った決定木である。機械学習の決定木は、この「質問の順番と境界値」をデータから自動で決める。
  • この授業で扱う手法の中で、決定木は結果を人に説明できる数少ない手法である。ニューラルネットワーク(第10回)やランダムフォレストは精度が高くても「なぜその予測か」を説明しにくい。融資の審査や医療のように「理由を示す義務」がある場面では、今も決定木が選ばれる。
ステップ2木の部品の名前を覚える
名前意味図1では
根ノード(ねノード)最初の質問。全員がここから出発する「月の来店回数 ≥ 4?」
枝(えだ)質問の答え(はい/いいえ)ごとの分かれ道「はい」「いいえ」の線
内部ノード途中にある質問(図1にはない)―
葉(は)それ以上分けない終点。ここに予測の答えが書かれる「会員になる」「会員にならない」
深さ根から葉までに通る質問の数1

決定木は、カテゴリを当てる「分類」にも、数値を当てる「回帰」にも使える。今回は分類を扱う。

ステップ3元のデータを見る

図1の木は、次の10人のデータから作った。

客番号来店回数(月)年齢層会員
18若者はい
26大人はい
37若者はい
42若者いいえ
55大人はい
61大人いいえ
73若者いいえ
89大人はい
92大人いいえ
103若者はい

会員「はい」が6人、「いいえ」が4人である。Rでも表示してみよう。

ステップ4「よい質問」とは何か

質問の候補はたくさんある。「来店回数 ≥ 4?」「来店回数 ≥ 7?」「年齢層は若者?」などである。決定木は、この中から分けた後のグループが、なるべく一種類だけになる質問を選ぶ。

分けた後のグループよい質問か
理想片方は全員「はい」、もう片方は全員「いいえ」とてもよい
まあまあ片方はほぼ「はい」、もう片方はほぼ「いいえ」よい
だめどちらのグループも「はい」と「いいえ」が半々のまま分けた意味がない

この「混ざり具合」を数で表したものを不純度という。数が小さいほど、グループがそろっている。

ステップ5混ざり具合を数にする:ジニ不純度

よく使われる不純度がジニ不純度である。

ジニ不純度 = 1 − (各グループの割合の2乗を、全部足したもの)

「はい6人・いいえ4人」のグループで計算してみる。

手順計算結果
① 割合を出すはい 6÷10、いいえ 4÷100.6 と 0.4
② それぞれ2乗する0.6² = 0.36、0.4² = 0.160.36 と 0.16
③ 足す0.36 + 0.160.52
④ 1から引く1 − 0.520.48

いろいろな混ざり方で計算すると、次のようになる。

はい:いいえ10:09:18:27:36:45:5
ジニ不純度00.180.320.420.480.50
状態完全にそろう← そろっている   混ざっている →最も混ざる
ジニ不純度の曲線
図3 「はい」の割合とジニ不純度の関係(2種類の場合)。半々で最大0.5、どちらかにそろうと0になる。

この式は、何を測っているのか

式だけ見ると意味が分かりにくいが、ジニ不純度には分かりやすい読み方がある。グループから2人を(戻しながら)取り出したとき、2人の答えが違っている確率である。全員「はい」なら誰を取り出しても同じで0、半々なら2回に1回は違うので0.5になる。

ジニ不純度の意味
図4 ジニ不純度=「2人取り出して答えが違う確率」。式の値と一致する
トリビア:ジニは「格差」を測った人
  • 「ジニ」はイタリアの統計学者コッラド・ジニ(1884〜1965)の名前で、1912年に所得の格差を測る「ジニ係数」を提案した(0なら全員同じ所得、1なら1人が総取り)。ニュースで「日本のジニ係数は…」と出てくるのは、この格差の指標である。
  • 決定木の「ジニ不純度」は、1984年の CART(ステップ14のトリビア)で採用されたもので、「2つ取り出して違う確率」という考え方が共通しているため、同じ名前が付いている。格差の指標と木の指標は、式の形は違うが同じ人に由来する。
  • 不純度にはもう1つ「エントロピー(情報量)」という尺度もあり、クインランのID3・C4.5という決定木が使った。どちらを使っても、選ばれる質問はほとんど同じになる。
ステップ6スライダーで確かめる

「はい」と「いいえ」の人数を動かして、ジニ不純度がどう変わるかを見てみよう。

はい: 6人
いいえ: 4人
ステップ7Rでジニ不純度を計算する

ステップ5の計算を、Rの関数にする。

この関数 ジニ不純度 は、ステップ9でも使う。先に実行しておくこと。

図4の「2人取り出して違う確率」が本当に式の値と同じになるか、1万回の試行で確かめる。

読み取り方:1万回の試行で「2人の答えが違った割合」は0.48前後になり、式で計算したジニ不純度0.48と一致する。

ステップ82つの質問を比べる

カフェの10人を、2つの質問で分けてみる。分けた後は、2つのグループの不純度を人数で重みを付けて平均する。

分け方Aと分け方Bの比較
図5 分け方A(来店回数)と分け方B(年齢層)の比較
分け方A:来店回数 ≥ 4?分け方B:年齢層は若者?
「はい」側5人(はい5・いいえ0)→ 0若者5人(はい3・いいえ2)→ 0.48
「いいえ」側5人(はい1・いいえ4)→ 0.32大人5人(はい3・いいえ2)→ 0.48
重み付き平均5/10×0 + 5/10×0.32 = 0.165/10×0.48 + 5/10×0.48 = 0.48
分ける前からの減り方0.48 → 0.16(0.32減った)0.48 → 0.48(減らない)
不純度をより大きく減らした「分け方A」のほうが、よい質問である。

やってみよう:自分で線を引いて、不純度をいちばん減らす

赤(40点中)と青の点を、縦か横の1本の線で分ける。線の位置を動かして、重み付きジニ不純度が最も小さくなる場所を探そう。決定木はこれを全候補について自動で行う。

線の向き:  位置: 0.50
ステップ9すべての候補を試して、いちばんよい質問を選ぶ

決定木は、考えられる質問の候補をすべて試す。来店回数なら「≥2」「≥3」「≥5」…のように、データに出てくる値の数だけ候補がある。Rで全候補を計算させてみよう(ステップ7を先に実行しておくこと)。

読み取り方:「来店回数 ≥ 5」が最小(0.160)になる。データに来店回数4の人はいないので、「≥ 5」と図1の「≥ 4」は同じ分け方である(Rは3と5の間の値を境界に使う)。

ステップ10Rに木を作らせて、手計算と比べる

Rの rpart 関数は、ステップ9の作業を自動で行う。

読み取り方:2) 来店回数>=4 5 0 はい は、「来店回数4以上の5人。予測は『はい』。間違いは0人」という意味である。手計算と同じ質問が選ばれた。

「いいえ」側の5人(はい1・いいえ4)はさらに分けられそうだが、Rは分けなかった。年齢層で分けても、どちらのグループも予測が「いいえ」のままで、間違いの数が減らないからである。

木はどこで止まるのか

止め条件
図6 rpart の4つの止め条件。上のプログラムで minsplit = 2, cp = 0 を付けた理由

読み取り方:既定の設定(minsplit = 20)では「10人では少なすぎる」として根ノードのまま何も分けない。止め条件は、少人数の偶然を覚えすぎないための安全装置である(ステップ12)。

ステップ11質問をくり返すと、平面が長方形に区切られる

決定木は、分けたグループの中で、また同じ手順(全候補を試す→最もよい質問を選ぶ)をくり返す。グループがそろうか、人数が少なくなったら止める。

数値の変数2つで考えると、1回の質問は「縦か横に1本の線を引く」ことに当たる。下の図は、アヤメの花(例題で使うデータ)を2つの質問で3品種に分けた様子である。

アヤメのデータを決定木で区切った図
図7 決定木は、平面を縦横の線で長方形に区切っていく(①→②の順に質問)
順質問この質問で分かること
①花びらの長さ < 2.45?「はい」ならセトサ(50本すべて正解)
②花びらの幅 < 1.75?残りの100本を、バーシカラーとバージニカに分ける

縦横の線しか引けないことの弱点

斜めの境界
図8 斜めの境界は「階段」で近似するしかない。細かくするには木を深くする必要がある
貪欲法の弱点
図9 「今いちばんよい質問」を1つずつ選ぶ(先読みしない)ので、1本目の線で何も改善しない形は苦手

読み取り方:市松模様では、縦でも横でも1本の線では赤と青が半々のまま(不純度が減らない)なので、決定木は根ノードのまま止まり、正解率は0.5(当てずっぽう)になる。人間なら「縦横1本ずつ引けばよい」と分かるが、決定木は1本目で改善がない道を進まない。ランダムフォレスト(Ⅱ)は、抜き出した標本で点の数が偏るため1本目が引け、ほぼ100%当てる。決定木の弱点を、ランダムフォレストは「ばらつき」で乗り越える。

ステップ12木を深くしすぎると「過学習」が起こる

質問をどこまでも重ねれば、訓練に使ったデータは100%当てられるようになる。しかしそれは、データの偶然のばらつき(ノイズ)まで覚えた状態であり、新しいデータには当たらなくなる。これを過学習という。

木の深さと正解率のグラフ
図10 木の深さと正解率(例題3のデータでRが計算した実際の値)
木の深さ訓練データの正解率テストデータの正解率状態
10.7000.687単純すぎる(学習不足)
30.8270.760ちょうどよい
121.0000.673過学習(覚えすぎ)
訓練データ:木を作るのに使ったデータ。テストデータ:木を作るときには見せず、実力を測るためにとっておいたデータ。
実力はテストデータの正解率で判断する。

たとえ話:過去問の答えを丸暗記した学生は、過去問(訓練データ)なら満点だが、本番の試験(テストデータ)では点が取れない。「問題の傾向」をつかんだ学生のほうが、本番に強い。深すぎる木は丸暗記の学生である。

ステップ13過学習を防ぐ:剪定(せんてい)

庭木の手入れと同じように、育ちすぎた枝を切り落とすことを剪定という。Rの rpart では、次の手順で行う。

手順やることRの関数
1まず、限界まで深い木を作るrpart(…, control = rpart.control(cp = 0))
2枝の数ごとに、交差検証で誤差(xerror)を見積もるprintcp()
3xerror が最も小さくなる複雑さ(cp)を選ぶwhich.min()
4その cp で木を切り落とすprune()
交差検証
図11 交差検証。訓練データだけで「見ていないデータでの誤差」を見積もる

cp(complexity parameter、複雑さのパラメータ):「この分岐で誤りが cp 以上減らないなら分けない」という基準。小さいほど木が大きくなる。
交差検証:訓練データをいくつかに分け、一部を検証用にして誤差を測ることをくり返す方法。

ステップ14決定木の長所と短所のまとめ
長所短所
・結果が図で示され、人に説明しやすい
・数値とカテゴリの変数を混ぜて使える
・変数の単位をそろえる(標準化する)必要がない
・深くすると過学習しやすい
・データが少し変わると、木の形が大きく変わる(不安定)
・境界が縦横の線だけなので、斜めの境界は苦手(図8・図9)

この「不安定」という短所を補うのが、次のランダムフォレストである。

トリビア:CART と ID3 ―― 2つの流れ
歴史
図12 決定木とランダムフォレストの歴史
  • Rの rpart が実装しているのは、1984年にブライマン・フリードマン・オルシェン・ストーンの4人の統計学者が本にまとめた CART(Classification And Regression Trees)である。「rpart」は recursive partitioning(再帰的分割)の略で、「分けた中をまた分ける」という手順そのものを指す。
  • 同じころ、計算機科学の側ではクインランが ID3(1986年)と C4.5(1993年)を作った。こちらは不純度にエントロピーを使う。統計学と計算機科学が別々に同じ発想へたどり着いた例である。
  • アヤメのデータ(例題2〜5)は、1936年に統計学者フィッシャーが論文で使ったもので、花はエドガー・アンダーソンがカナダのガスペ半島の同じ牧草地で同じ日に摘んだものである。90年近く前のデータが、今も機械学習の「最初の練習問題」として世界中で使われている。

Ⅱ ランダムフォレストのしくみ

ステップ1一本の木は不安定であることを確かめる

同じ母集団から少しだけ違うデータを取り出して木を作ると、木の形はどれくらい変わるだろうか。5回試してみる。

読み取り方:最初の質問に使われる変数、境界値、葉の数が、回によって変わる。データのわずかな違いで結論が変わるのは、予測の道具としては困る。

アイデア:一本の木に頼らず、たくさんの木を作って多数決をとれば、結果は安定するはずである。
多数の木=森(フォレスト)なので、ランダムフォレスト(random forest)と呼ぶ。
ステップ2全体の流れをつかむ
ランダムフォレストの流れ
図13 ランダムフォレストの流れ
順やること目的Rの引数
①元のデータから、重複を許して同じ数だけ抜き出す(ブートストラップ標本)木ごとに少しずつ違うデータを用意する―
②枝分かれのたびに、使える変数をランダムに一部だけに絞って木を作る木どうしが似すぎないようにするmtry
③①②を何百回もくり返す木をたくさん作るntree(既定は500)
④全部の木に予測させ、多数決をとる(回帰なら平均)結果を安定させる―
ステップ3なぜ多数決で当たるようになるのか

「正解率7割の木」を何本集めても7割のままではないか、と思うかもしれない。しかし木どうしが独立に間違えるなら、多数決の正解率は本数とともに上がる。3本なら「2本以上が正解する確率」で0.78、25本なら0.98になる。

多数決の効果
図14 独立な判断を多数決すると正解率が上がる。似た木ばかりでは効かない

やってみよう:木の本数と「似ている度合い」を変える

1本の正解率: 0.70  本数: 11  木どうしの似ている度合い:

読み取り方:独立な木なら51本で0.999に達するが、相関0.5の「似た木」では0.76で頭打ち、相関0.9の「そっくりな木」では何本集めても0.72ほどである。多数決を効かせるには、木をわざとばらつかせる必要がある。それが次のブートストラップ(ステップ4)と変数のランダム選択(ステップ5)である。

トリビア:群衆の知恵
  • 1906年、統計学者ゴルトンは家畜の品評会で「牛の重さ当て」の投票約800票を調べ、投票の中央値が実際の重さにきわめて近いことを見つけた。1人1人は大きく外しても、独立した多くの推定を集めると正確になる。これは「群衆の知恵」と呼ばれ、ランダムフォレストはその機械学習版である。
  • ただし条件がある。全員が同じ情報源(たとえば同じ噂)に頼っていると、同じ方向に外れて集めても直らない。ランダムフォレストが木を「わざと似ないように」作るのは、この条件を満たすためである。
ステップ4ブートストラップ標本とは

10件のデータ(行番号1〜10)から、重複を許して10回抜き出す。同じ行が何度も選ばれることがあり、逆に一度も選ばれない行も出る。

ブートストラップ
図15 袋から戻しながら引く。一度も引かれなかった行がOOB(袋の外)
行番号12345678910合計
標本1で選ばれた回数112100301110
標本2で選ばれた回数220111011110
標本3で選ばれた回数101111012210

赤い「0」の行は、その木の訓練に使われなかったデータである。これを OOB(Out-Of-Bag、袋の外)という。平均すると、約3分の1(約37%)の行がOOBになる。

やってみよう:袋から引く

読み取り方:150件のデータで1000回試すと、選ばれない行の割合は平均0.367で、理論値 1/e = 0.368 と一致する。「約37%」は偶然の数ではなく、数学的に決まった値である。

ステップ5変数のランダム選択とは

アヤメのデータには説明変数が4つある。ランダムフォレストは、枝分かれのたびに、その中からランダムに一部(分類では既定で√4=2個)だけを候補にする。

がく片の長さがく片の幅花びらの長さ花びらの幅選ばれた質問
木1・1回目の分岐候補候補花びらの長さ < 2.45
木1・2回目の分岐候補候補がく片の長さ < 6.2
木2・1回目の分岐候補候補花びらの幅 < 0.8

(表の分岐は説明のための例である。)

こうすると、いつも同じ強い変数(花びら)ばかりが最初に使われることがなくなり、いろいろな見方をする木が育つ。似た木ばかりで多数決をとっても、安定にはつながらないからである(ステップ3)。

ステップ6OOB誤り率:テストデータなしで実力を測る

各行について、「その行を訓練に使わなかった木(その行がOOBだった木)」だけで多数決をとり、正解と比べる。これを全行で行ったときの誤りの割合をOOB誤り率という。

行OOBだった木その木たちの予測多数決正解判定
行5木1、木7、木9 …バーシカラー、バーシカラー、バージニカ …バーシカラーバーシカラー○
行7木2、木3、木8 …バージニカ、バーシカラー、バージニカ …バージニカバーシカラー×

訓練に使っていないデータで測るので、テストデータで測るのと近い意味を持つ。表の値は説明のための例である。

ステップ7変数の重要度

ランダムフォレストは木が数百本あるので、木の図を見て説明することはできない。代わりに「どの変数が予測に役立ったか」を数値で示す。

指標考え方
MeanDecreaseAccuracy
(正解率の低下)
ある変数の値だけをでたらめに並べ替えて予測させ、正解率がどれだけ下がるかを見る。大きく下がるほど、その変数は重要である。
MeanDecreaseGini
(ジニ不純度の減少)
その変数を使った分岐で、ジニ不純度が合計でどれだけ減ったかを見る。

「並べ替え」のイメージ(花びらの長さの列だけを入れ替える):

元のデータ並べ替えた後
行花びらの長さ品種花びらの長さ品種
11.4セトサ5.6セトサ
24.5バーシカラー1.4バーシカラー
35.6バージニカ4.5バージニカ

並べ替えた後は「花びらの長さ」と品種の関係が壊れる。それでも正解率がほとんど下がらなければ、その変数はあまり使われていなかったことになる。

ステップ8決定木とランダムフォレストの比較
決定木ランダムフォレスト
予測の精度中程度高いことが多い
結果の安定性低い(データで形が変わる)高い
説明しやすさ高い(木の図で示せる)低い(重要度で補う)
過学習起こりやすい(剪定が必要)起こりにくい
計算時間短い長い(木の数だけかかる)
向いている場面「なぜそう予測したか」を説明したいときとにかく精度よく予測したいとき
使い分け
図16 使い分けの目安。両方やって比べるのが実務の基本
トリビア:ランダムフォレストは「商標」だった
  • 「ランダムフォレスト」を完成させたのは、CARTの著者でもあるレオ・ブライマン(1928〜2005)の2001年の論文である。先に1995年にティン・カム・ホーが「ランダムに変数を選んで木を作り、森にする」方法を発表しており、ブライマンはそれに自身の「ブートストラップで木を作る」方法(バギング)を組み合わせた。
  • 「Random Forests」という名前は商標として登録され、商用ソフトに使われた。Rの randomForest パッケージは、ブライマンとカトラーの元のプログラム(Fortran)をリャオとウィーナーがRに移植したものである。
  • ブライマンは晩年の論文「統計モデリング:2つの文化」(2001年)で、「データの生まれ方を説明する」統計学と「とにかく当てる」機械学習の溝を指摘した。決定木(説明)とランダムフォレスト(予測)は、その2つの文化の両方を体現している。

Ⅲ 例題データ

このページでは、次の3つのデータが最初から用意されている。

名前内容使う場所
カフェカフェの客10人(来店回数・年齢層・会員)Ⅰ(決定木のしくみ)
タイタニックタイタニック号の乗客714人(生死・船室等級・性別・年齢)例題1
アヤメアヤメの花150本(がく片・花びらの長さと幅・品種)例題2〜5

タイタニック

列名意味型
生死死/生(死亡424人、生存290人)カテゴリ(予測したい変数)
船室等級1等/2等/3等(数値の1〜3)数値
性別男/女カテゴリ
年齢年齢(歳)。1歳未満は小数(例:0.42)数値

アヤメ(iris)

Rに最初から入っているデータ iris の列名と品種名を日本語にしたものを、アヤメ という名前で用意してある。アヤメの花150本について、がく片と花びらの長さ・幅を測り、品種を記録したデータである。

列名意味型
がく片の長さがく片の長さ(cm)数値
がく片の幅がく片の幅(cm)数値
花びらの長さ花びらの長さ(cm)数値
花びらの幅花びらの幅(cm)数値
品種セトサ/バーシカラー/バージニカ(各50本)カテゴリ(予測したい変数)

最初の5行(各品種から抜粋):

行がく片の長さがく片の幅花びらの長さ花びらの幅品種
15.13.51.40.2セトサ
24.93.01.40.2セトサ
517.03.24.71.4バーシカラー
526.43.24.51.5バーシカラー
1016.33.36.02.5バージニカ

プログラムの中でこれらのデータを書き換えてしまったときは、ページを再読み込みすると元に戻る。

Ⅳ 例題1:タイタニック号 生死を分けた条件を決定木で探す

1912年、客船タイタニック号は氷山に衝突して沈没した。救命ボートは乗客全員分には足りなかった。 乗客714人のデータ(生死・船室等級・性別・年齢)から、どんな条件の人が生き残りやすかったかを、決定木で調べる。

救命ボートの定員
図17 救命ボートは乗船者の半分ほどの定員しかなかった。「誰が乗れたか」がデータに残っている
ステップ1-1データを確かめる

見るところ:714人のうち、死亡424人・生存290人である。全体の生存率は 290÷714 ≒ 0.41(41%)。

ステップ1-2まず自分で予想する:どの条件で生存率が違うか

決定木を作る前に、条件ごとの生存率を見て、生死を分けた条件を予想してみよう。

条件生存率の違い差の大きさ
性別男 0.205、女 0.755とても大きい
船室等級1等 0.656、2等 0.480、3等 0.239大きい
年齢層6歳以下 0.702、それ以外は 0.3〜0.4 程度幼い子だけ高い

考えてみよう:最初の質問(根ノード)に選ばれるのは、どの変数だろうか。

ステップ1-3決定木を作る(深さ2まで)

最初は木の深さを2までに制限して、大きな傾向だけを見る。

図の見方:各箱の1行目が予測(死/生)、2行目が「死」と「生」の割合、3行目が全体に占める人数の割合である。緑が濃いほど生存率が高い。

ステップ1-4木を読み取る

表の1〜4行目は、木の図の葉を左から順に並べたものである。

4つのグループの生存率
図18 決定木が見つけた4つのグループの生存率(緑:予測は「生」、赤:予測は「死」)

やってみよう:木をたどる

自分(や架空の乗客)の条件を選んで、深さ2の木をたどってみよう。

順木の質問分かること
1性別は男か最も大きく生死を分けたのは性別(「女性と子どもを先に」救命ボートへ乗せたと伝えられている)
2(男性)年齢 ≥ 6.5 か男性でも6歳以下の子どもは生存率が高い
2(女性)船室等級 ≥ 2.5 か女性でも3等船室の人は生存率が約半分に下がる

正解率:決定木は 0.803、「全員が死亡」と予測した場合は 0.594 である。質問を3つ使うだけで、正解率が約0.2上がった。

船室等級は1・2・3の数値なので、Rは「2.5以上か」という形で質問を作った(文字の出力では「船室等級>=2.5」、木の図では「船室等級 >= 3」と表示される)。どちらも「3等か、1等・2等か」という意味である。
ステップ1-5深さの制限をなくすと

考えてみよう:制限なしの木には、「女性・3等・5.5〜12歳 → 8人全員が死亡」という葉がある。8人だけのデータから「この年齢の女の子は助からない」と言ってよいだろうか。 このように、少人数の偶然まで覚えてしまうのが過学習である(Ⅰのステップ12、例題3で詳しく扱う)。

ステップ1-6架空の乗客の生存確率を予測する

やってみよう:乗客 の数値を書き換えて、自分や家族が乗っていたらどうなるかを予測してみよう(船室等級は1〜3、性別は「男」か「女」)。

ステップ1-7ランダムフォレストと比べる(Ⅱを読んでから)

同じデータで、決定木とランダムフォレスト(Ⅱ)をテストデータで比べる。分け方は第7回以降の授業と同じ(set.seed(1)、70%:30%)にしてあるので、後の回で結果を見比べられる。

読み取り方:テストデータ214人で、決定木 0.738、ランダムフォレスト 0.771、全員「死」と答えると 0.556。変数の重要度は性別が圧倒的で、次が船室等級、年齢の順である。第7回(SVM)、第10回(ニューラルネットワーク)でも同じデータを同じ分け方で使うので、手法ごとの正解率を見比べてほしい。

Ⅳ 例題2:アヤメの品種を決定木で分類する

ステップ2-1データを確かめる

見るところ:セトサ(緑)は花びらが小さく、他の2品種と離れている。バーシカラーとバージニカは一部が重なっている。

ステップ2-2決定木を作る

品種 ~ . は「品種を、残りすべての列で予測する」という意味である。

表示意味
1) root 150 100 セトサ根ノード。150本。いちばん多い品種で予測すると100本間違える
2) 花びらの長さ< 2.45 50 0 セトサ花びらの長さが2.45未満の50本。予測はセトサ。間違い0本
*葉(終点)であることを示す
(0.00 0.91 0.09)そのノードに含まれる品種の割合(セトサ、バーシカラー、バージニカの順)
ステップ2-3木を図にする

見るところ:各箱の1行目が予測、2行目が品種ごとの本数、3行目が全体に占める割合である。

ステップ2-4木の質問を散布図に重ねる

赤い点線で区切られた長方形が、それぞれの葉に対応する(図7と同じ)。

ステップ2-5予測して、正解率を出す

読み取り方:混同行列の対角線(左上から右下)が正解した数である。ここでの正解率は、木を作ったデータそのもので測ったので、実力より高めに出る。本当の実力は例題5で測る。

Ⅳ 例題3:過学習と剪定

アヤメはきれいに分かれるデータなので、過学習が見えにくい。そこで、ノイズを含む練習用データを作って確かめる。

ステップ3-1練習用データを作る

点線(特徴1+特徴2=1)の右上はA、左下はBになりやすい。ただし2割はわざと逆にしてある。この「2割の逆転」は偶然のノイズなので、覚えても新しいデータの予測には役立たない。

ステップ3-2木の深さと正解率の関係を見る

見るところ:訓練データの正解率は深くするほど上がり、最後は1.000になる。テストデータの正解率は深さ3あたりで最大になり、その後は下がる(図10と同じ結果)。

ステップ3-3深い木を作り、交差検証の誤差を見る

読み取り方:nsplit は分岐の数、rel error は訓練データでの誤差、xerror は交差検証での誤差である。グラフでは、葉を増やすと訓練データの誤差(青)は0まで下がるが、交差検証の誤差(赤)は途中から上がる。赤が最も低いあたりが、ちょうどよい木の大きさである。

ステップ3-4剪定して、テストデータで比べる

考えてみよう:深い木(葉60枚)と剪定した木(葉7枚)では、どちらがテストデータでよく当たったか。それはなぜか。

Ⅳ 例題4:ランダムフォレスト

ステップ4-1ランダムフォレストを作る
表示意味
Number of trees: 500作った木の本数
No. of variables tried at each split: 2分岐のたびに候補にした変数の数(mtry)
OOB estimate of error rateOOB誤り率(Ⅱのステップ5)
Confusion matrixOOBでの混同行列。class.error は品種ごとの誤り率
ステップ4-2木の本数と誤り率

見るところ:森$err.rate の各行は、木を1本ずつ増やしたときの誤り率である。木が少ないうちは誤り率が上下するが、100本を超えるあたりから安定する。木を増やしても過学習はしにくい。

ステップ4-3変数の重要度

読み取り方:花びらの長さと花びらの幅が上位にくる。図7で決定木が使った質問とも一致する。

ステップ4-4新しい花の品種を予測する

読み取り方:type = "prob" の結果は、500本の木のうち、その品種に投票した木の割合である。割合が1に近いほど、木たちの意見がそろっている。

Ⅳ 例題5:決定木とランダムフォレストの実力を比べる

ステップ5-1訓練データとテストデータに分けて比べる

見るところ:どちらも訓練データの正解率はテストデータより高い。比べるべきは右の列(テストデータ)である。

ステップ5-2分け方を20通り変えて比べる

1回の分け方だけでは、たまたまの結果かもしれない。分け方を20通り変えて、正解率のばらつきを見る(実行に少し時間がかかる)。

考えてみよう:平均とばらつき(箱の高さ)の両方で比べると、どちらの手法がよいと言えるか。

Ⅴ 自分の興味のあるデータで分析する

このページの生成AIに、データとRのプログラムを作らせて実行する。上から順にボタンを押していけばよい。

最初にボタンを押したとき、授業用パスコードを聞かれる。授業で伝えたものを入力する。

ステップ1テーマを決めて、データを作らせる

テーマの例:カフェの会員になるか/部活を続けるか/映画がヒットするか/ペットを飼うか

テーマ:  行数:

追加の希望(なくてよい):

(30秒〜1分ほどかかる)
ステップ2分析のプログラムを書かせる
(20〜40秒ほどかかる)
ステップ3プログラムを実行する

ステップ2のプログラムが下の枠に入る。「▶ 実行」を押す。プログラムは自分で書き換えてもよい。

エラーが出たら: (直したプログラムが上の枠に入るので、もう一度「▶ 実行」を押す)

ステップ4結果が妥当かを確かめる
観点確かめ方
重要な変数は意図どおりか「データの説明」で予測に関係しそうな列が、木の上のほうや重要度の上位に来ているか
過学習していないか訓練データとテストデータの正解率に大きな差がないか
本当に予測できているか正解率が、「いちばん多いクラスを常に答える」場合の正解率より高いか
プログラムは正しいかエラーが出なくても、予測したい列や訓練・テストの分け方が意図どおりかを、コメントと出力で確かめる
結果を言い過ぎていないか生成AIのデータは架空である。現実の傾向として主張しない
(参考)生成AIに送った指示文を見る

データを作る指示

(まだ送っていません)

プログラムを書く指示

(まだ送っていません)

課題

このページの最後にある「課題用:生成AIで決定木・ランダムフォレスト分析」を利用して、自分で決めたテーマのデータ(生成AIを利用して良い)で決定木とランダムフォレストによる分類を行い、その結果を3ページ程度のレポートにして提出せよ。レポートの形式は自由である。

なおファイル名は 学生番号_名前.docx とする。たとえば k24x7777_東女花子.docx である。

(提出方法・期限はWebClassの指示に従うこと)

レポートに入れるとよいもの(例)
  1. テーマと、なぜそのテーマを選んだか
  2. データの説明(行数、予測したい列とそのカテゴリ、予測に使う列)
  3. 決定木の図と、最初の質問(根ノード)の読み取り
  4. 決定木とランダムフォレストの、テストデータの正解率の比較表。「多いほうを常に答えた場合」との比較
  5. 変数の重要度のグラフと、データを作らせたときの「関係が強い列」との照合
  6. 考察:過学習が見えるか(訓練とテストの差)、どちらの手法がよいか、データは架空であることの注意

生成AIの考察は、そのまま写さず、実行結果の数値と見比べて確かめてから、自分の言葉で書き直すこと。AIの考察に誤りや言い過ぎを見つけたら、それもレポートに書いてよい。

課題用:生成AIで決定木・ランダムフォレスト分析(データ作成 → プログラム → 実行 → 考察)

テーマを決めて、上から順に4つのボタンを押していけばよい。結果はレポートの材料として使う。

最初にボタンを押したとき、授業用パスコードを聞かれる。授業で伝えたものを入力する。

[1]データを生成AIに作らせる

テーマの例:カフェの会員になるか/部活を続けるか/映画がヒットするか/ペットを飼うか/試験に合格するか

テーマ:  行数:

追加の希望(なくてよい):

(30秒〜1分ほどかかる)
[2]分析とグラフのRプログラムを生成AIに書かせる
(20〜40秒ほどかかる)
[3]プログラムを実行して、結果を見る

[2]のプログラムが下の枠に入る。「▶ 実行」を押す。図は右クリック(スマートフォンでは長押し)で保存するか、スクリーンショットを撮ってレポートに貼る。

エラーが出たら: (直したプログラムが上の枠に入るので、もう一度「▶ 実行」を押す)

[4]実行結果をもとに、生成AIに考察を書かせる

[3]の実行結果(文字の出力)を生成AIに渡して、考察を書かせる。図そのものは渡さない。

(30秒〜1分ほどかかる)
まとめレポートの材料をまとめてコピーする

テーマ、データの説明、プログラム、実行結果、AIの考察を1つの文章にまとめてコピーする。Wordに貼り付けて、レポートの下書きに使う。

(参考)生成AIに送った指示文を見る

[1]データを作る指示

(まだ送っていません)

[2]プログラムを書く指示

(まだ送っていません)

[4]考察を書く指示

(まだ送っていません)