第7回 サポートベクターマシン(SVM)
このページの使い方
- 画面上部の帯が緑になるまで待つ(Rの準備。初回は数十秒かかる)。
- Ⅰでしくみを読み、黒い枠のRプログラムを上から順に「▶ 実行」で動かす。
- Ⅲの例題を、ステップの順に実行する。
- Ⅳで、生成AIに自分のテーマのデータとプログラムを作らせて分析する。
- 最後の「課題用プログラム」で、データ作成 → プログラム → 実行 → 考察 を行い、レポートにまとめる。
黒い枠のプログラムは自由に書き換えてよい。「元のコードに戻す」で元に戻る。
今日の目標
- SVMが「マージンが最大になる境界」を選ぶ手法であり、境界が少数の点(サポートベクター)だけで決まることを説明できる。
- サポートベクター、コスト C、カーネル、γ(ガンマ)の意味を説明できる。
- 直線で分けられないデータを、カーネルを使って分けられることを確かめられる。
- 交差検証でパラメータを選び、テストデータで正解率を測り、ほかの手法と比べられる。
- 生成AIに作らせた自分のデータで同じ分析を行い、結果が妥当かを確かめられる。
Ⅰ サポートベクターマシンのしくみ
40人の学生について、1週間の勉強時間と出席率、試験の合否を記録した。2つの数値を縦横にとって点を打つと、合格(青)と不合格(赤)がおおよそ分かれている。 新しい学生が合格するかを予測するには、2つのグループの間に境界線を引けばよい。
決定木(第4回)は縦と横の線だけで区切った。SVMは斜めの線や曲線も使って区切ることができる。
図1の3本はどれも、今あるデータを正しく分けている。しかし線①や②は点のすぐそばを通っているので、少し違う位置に新しい点が来ると間違えやすい。線③は両側の点から離れていて「余裕」がある。
境界線から最も近い点までの距離をマージンという。道路のたとえで言えば、道の幅の半分である。SVMはマージンが最大になる線を選ぶ。
やってみよう:線を動かして、マージンを最大にする
2つのスライダーで線の向きと位置を変え、赤と青を正しく分けたうえで、マージン(緑の帯の幅)をできるだけ大きくしよう。○で囲まれた点が、そのときの「いちばん近い点」である。
なぜ「幅の広い道」がよいのか:ずれに強い
図1の3本の線は、どれも今の18点を全部正しく分けている。違いが出るのは新しい点が来たときである。新しい点は、今ある点とまったく同じ位置には来ない。少しずれた位置に現れる。線のすぐそばに点があると、少しのずれで反対側に入ってしまう。
読み取り方:ずれが0.3のとき、線①・②は新しい点の約4.5%を間違えるが、SVMの線は約0.2%しか間違えない。今のデータを全部当てる線はたくさんあるが、その中で「新しいデータに強い」線を1本選ぶ基準が、マージン最大化である。
図4で○で囲んだ、マージンの端にある点をサポートベクターという。境界線は、この少数の点だけで決まる。ほかの点を動かしたり消したりしても、マージンの外にある限り境界は変わらない。手法の名前は、この点に由来する(「ベクター」は点の位置を表す数の組、「サポート」は境界を支えているという意味)。
| 図の要素 | 意味 |
|---|---|
| 背景の色 | SVMの予測(赤:不合格、青:合格) |
| 太い実線 | 境界線(決定値 = 0) |
| 細い点線 | マージンの端(決定値 = −1 と +1) |
| 黒い丸で囲んだ点 | サポートベクター(40人中11人) |
背景の色分けと線は、このページに用意した関数 境界を描く() で描いている。
決定値:境界からの「標高」
SVMは、点ごとに決定値という数を計算する。決定値は「境界からどれだけ離れているか」を表す目盛で、0 が境界、+1 と −1 がマージンの端である。地図の標高にたとえると、境界が海岸線(標高0)、マージンの端が標高±1の等高線にあたる。符号で予測が決まり(このデータでは+なら合格)、0から遠いほど予測に自信がある。
読み取り方:勉強9時間・出席95%の学生は決定値 +3.71 で「自信をもって合格」。勉強5時間の学生は、出席70%なら −0.20(不合格)、出席85%なら +0.64(合格)で、どちらも境界のそばにいる。
決定値の符号の向き(+が合格か不合格か)は、Rが2つのクラスをどちらから数えるかで決まる。colnames(attr(..., "decision.values")) が「合格/不合格」なら、+が合格である。
やってみよう:決定値メーター
勉強時間と出席率を動かして、決定値(標高)がどう変わるかを見よう。「本当の結果」を選ぶと、ステップ4で使う「はみ出しの罰」も表示される。
本当の結果:
Rで確かめる:サポートベクターだけで境界を作り直す
読み取り方:サポートベクター以外の人を全員消しても、境界は同じで、40人の予測はすべて一致する。データのほとんどは、境界を決めるのに使われていない。これがSVMの特徴である。
SVMの理論を作ったヴァプニクは、「少数の点だけに頼るほど、新しいデータでも当たりやすい」という考え方(統計的学習理論)を示した。たくさんの点を覚え込むのではなく、境界の近くにある大事な点だけを覚える。これは、試験勉強で「教科書を丸暗記する」のではなく「迷いやすい問題だけ覚える」のに似ている。
1人ずつ順にデータから外してSVMを作り直し、外した1人を当てられるかを調べる方法を1つ抜き交差検証という。サポートベクターでない人を外しても境界は変わらず、その人はマージンの外にいるので必ず当たる。だから、間違える可能性があるのはサポートベクターだけで、誤り率は「サポートベクターの数 ÷ 人数」より大きくならない。ヴァプニクが示した性質である。
結果は誤り率 0.05(40人中2人)で、上限 0.275(11÷40)を下回る。
実際のデータは、ステップ3のようにきれいには分かれない。そこで、いくつかの点がマージンの内側や反対側にはみ出すことを許す(ソフトマージン)。はみ出しにどれだけ罰を与えるかを決めるのがコスト C である。
| C | はみ出し | マージン | サポートベクター | 危険 |
|---|---|---|---|---|
| 小さい | 多く許す | 広い | 多い | 大まかすぎて当たらない(学習不足) |
| 大きい | ほとんど許さない | 狭い | 少ない | 訓練データに合わせすぎる(過学習) |
たとえるなら、C は「先生の厳しさ」である。厳しい先生(C 大)は1人の例外も許さず、境界を細かく調整して全員を正しく分けようとする。ゆるい先生(C 小)は多少の例外には目をつぶり、全体として広い道路を通そうとする。
Rで確かめる:マージンの幅を数字で見る
読み取り方:C を 0.05 → 1 → 100 と大きくすると、マージンの幅は 2.34 → 0.93 → 0.25 と狭くなり、サポートベクターは 28 → 11 → 5 個と減る。
罰の付け方を数字で見る(ヒンジ損失)
はみ出しの罰は、決定値(ステップ3)を使って次のように決める。正解が合格なら+1、不合格なら−1を「正解の符号」とし、決定値 × 正解の符号(正しい側への入り方)を計算する。
| 正しい側への入り方 | 点のいる場所 | 罰 |
|---|---|---|
| 1 以上 | マージンの外(正しい側) | 0 |
| 0〜1 | マージンの内側(予測は正しい) | 1 − 入り方(0〜1) |
| 0 より小さい | 境界の反対側(予測の誤り) | 1 − 入り方(1より大きい) |
読み取り方:40人中31人は罰0、8人がマージンの内側、1人が反対側(予測の誤り)である。SVMは「道の狭さ + C × 罰の合計」が最も小さくなる線を選ぶ。C が大きいほど罰を重く見て、道を狭くしてでも罰を減らそうとする。
1995年にコルテスとヴァプニクがソフトマージンを発表した論文の題名は「Support-Vector Networks」である。当時はニューラルネットワークが人気で、新しい手法も「ネットワーク」と名づけられた。「サポートベクターマシン」という呼び名が広まったのは、その後である。
はみ出しを許すソフトマージンは、1995年にコリーナ・コルテスとヴァプニクが発表した。コルテスはベル研究所でこの研究を行い、のちにGoogleの研究所(ニューヨーク)の責任者になった。ソフトマージンがなければ、SVMは「きれいに分かれるデータ」にしか使えなかった。
内側に赤、外側に青がドーナツ状に並んだデータは、どんな直線を引いても分けられない。しかし「中心からの距離の2乗」という新しい数を作ると、その数だけで分けられる。
たとえるなら、床にばらまいた赤と青のビー玉が、どう線を引いても分けられないとき、赤いビー玉だけ持ち上げると、空中で1枚の板(平面)を差し込んで分けられる。「持ち上げる高さ」が新しい特徴である。
新しい特徴をどう作ればよいかは、ふつうは分からない。SVMの計算は「2つの点がどれだけ似ているか」だけを使って進められるので、この「似ている度合い」を別の式に取り換えるだけで、特徴を実際に作らずに次元を上げたのと同じ効果が得られる。この式をカーネル、この工夫をカーネルトリックという。
| カーネル | Rでの指定 | 「似ている度合い」の決め方 | 境界の形 | 使いどころ |
|---|---|---|---|---|
| 線形 | kernel = "linear" | ふつうの内積 | 直線(平面) | 列が多いとき、まず試す |
| RBF(ガウス) | kernel = "radial"(既定) | 距離が近いほど1に近く、遠いほど0に近い(図8の山) | なめらかな曲線 | 最もよく使われる |
| 多項式 | kernel = "polynomial" | 内積の2乗・3乗など | 2次・3次などの曲線 | 関係の形が分かっているとき |
カーネルトリックを数字で確かめる
「次元を上げずに、上げたのと同じ計算ができる」とはどういうことか。2次元の点 (横, 縦) を、3次元の点 (横², √2×横×縦, 縦²) に写す場合で確かめる。
読み取り方:どちらも25になる。SVMの計算には点どうしの「似ている度合い」しか出てこないので、近道の式(カーネル)を使えば、写した先の点を一度も作らずに済む。
- RBFカーネル exp(−γ × 距離²) を「写してから内積」の形に書き直すと、写す先は無限個の特徴を持つ空間になる。無限個の特徴を実際に作ることはできないが、近道の式なら一瞬で計算できる。
- 「どんな式なら、どこかの空間での内積として使えるか」を保証する定理(マーサーの定理)は、1909年にイギリスの数学者ジェームズ・マーサーが発表した。SVMより80年以上前の数学が、機械学習を支えている。
RBFカーネルの境界は「山の足し合わせ」でできる
RBFカーネルのSVMは、各サポートベクターの位置に山を立て(青は+の山、赤は−の山)、足し合わせた高さが0になる所を境界にする、と考えると分かりやすい。
読み取り方:線形カーネルの正解率は 0.71 にとどまるが、RBFカーネルは 1.0(全問正解)で、境界が円になる。
- マージンを最大にする線形の方法は、1960年代のソ連で、ヴァプニクとチェルヴォネンキスが考えた。カーネルの考え方も同じ1964年、同じ研究所の別のチーム(アイゼルマンら)が発表していた。
- 1990年末、ヴァプニクはアメリカのベル研究所に移った。同じ部屋のイザベル・ギヨンが「アイゼルマンのカーネルを組み合わせよう」と提案したが、ヴァプニクはかつてのライバルのアイデアだったため、はじめは乗り気でなかったという。ギヨンの夫ボサーが試してみると、うまくいった。
- この研究室には、ヤン・ルカン、ヨシュア・ベンジオ(どちらも後に深層学習でチューリング賞)もいた。1990年代、SVMとニューラルネットワークは、手書き文字の認識などで競い合っていた。
RBFカーネルには、1つの点の影響がどこまで届くか(図8の山の広さ)を決める γ がある。
| γ | 山の形 | 1つの点の影響 | 境界の形 | 危険 |
|---|---|---|---|---|
| 小さい | 広い | 遠くまで届く | なめらか(直線に近い) | 学習不足 |
| 大きい | 細い | すぐ近くだけ | 点ごとに曲がる、細かい形 | 過学習 |
やってみよう:点を置いて、γ を変える
線の上をクリックして点を置き(左クリック=青、右クリックまたは Shift+クリック=赤)、γ のスライダーを動かそう。紫の線が「山の合計」、緑の点線が境界である。
見本の点では、赤の中に青が、青の中に赤が1つずつ混ざっている。γ が小さいとこれらは「例外」として無視され、γ が大きいとこの1点のために境界が作られる。
読み取り方:γ = 50 では、点1つ1つを囲むような境界になり、訓練データの正解率は高いが、新しいデータにはあてはまりにくい。
Rで確かめる:過学習を新しいデータで測る
読み取り方:γ = 50 は、訓練データでは全問正解だが、新しい40人では 0.525(当てずっぽうと変わらない)。訓練データの正解率が高いことと、新しいデータに当たることは別である。
C と γ を、たとえ話でもう一度整理する
RBFカーネルのSVMには、つまみが2つある。C(ステップ4)と γ(このステップ)である。どちらも「大きくしすぎると過学習、小さくしすぎると学習不足」なので混ざりやすいが、回しているものが違う。
| つまみ | 決めること | たとえ① 教室 | たとえ② 服の仕立て | 小さいと | 大きいと |
|---|---|---|---|---|---|
| C | はみ出し(例外)への罰の重さ | 先生の厳しさ | 仕立て屋のこだわり(体型にどこまで合わせるか) | 例外を大目に見る。道は広く、境界は大まか | 1人の例外も許さない。道は狭く、例外に合わせて境界を動かす |
| γ | 1つの点の影響が届く範囲 | 1人の声の届く範囲(拡声器 ↔ ひそひそ声) | 生地のやわらかさ(どれだけ細かく曲がるか) | みんなの声が混ざり、境界はなめらか | すぐ隣にしか届かず、点ごとに小さな「島」ができる |
C:先生の厳しさ
ゆるい先生(C が小さい)は、★ の1人が反対側にはみ出していても「全体として広い道が通るなら、それでよい」と考える。厳しい先生(C が大きい)は、★ も必ず正しい側に入れようとして、道を狭くしてでも境界を動かす。
どちらがよいかは、★ がたまたまの例外なのか、大事な手がかりなのかで決まる。たまたまの例外に合わせると、新しいデータでは外れやすい(過学習)。
γ:声の届く範囲
RBFカーネルのSVMでは、サポートベクターの1つ1つが「ここは青だよ」「ここは赤だよ」と声を出していて、各場所の予測は、届いた声の合計で決まる(図9の山の足し合わせと同じ)。γ は、その声がどこまで届くかを決める。
- γ が小さい = 拡声器:声が遠くまで届くので、離れた点の声も混ざる。例外の1人の声は、まわりの大勢の声にかき消される。境界はなめらかになる。
- γ が大きい = ひそひそ声:声はすぐ隣にしか届かない。例外の1人のまわりには、その人の声しか聞こえない小さな「島」ができる。どの点からも遠い場所には、だれの声も届かない。
声の強さは、距離が離れるほど exp(−γ × 距離²) で弱まる。数字で見ると、γ の違いは大きい(距離は、svm() が標準化した単位。1 は「ばらつき1つ分」離れていることを表す)。
読み取り方:γ = 0.05 では、ばらつき2つ分離れても声の強さは 0.819 で、ほとんど弱まらない。γ = 50 では、ばらつき0.5つ分離れただけで 0.000 になり、すぐ隣の点にしか届かない。なお、e1071 の svm() は γ を指定しないとき「1 ÷ 予測に使う列の数」を使う(2列なら 0.5)。
よくある混乱:C と γ はどう違うのか
| C を大きくする | γ を大きくする | |
|---|---|---|
| 変わるもの | 例外にどれだけ合わせようとするか(やる気) | 境界がどれだけ細かく曲がれるか(できること) |
| 服のたとえ | 仕立て屋が体の線に合わせようとする | 生地がやわらかくなり、細かい線にも沿える |
| 線形カーネルでは | 効く(ステップ4) | ない(γ はRBFカーネルだけの値) |
生地がやわらかくても(γ 大)、仕立て屋がこだわらなければ(C 小)、服はゆったりしたままである。逆に、こだわりの強い仕立て屋(C 大)でも、生地が固ければ(γ 小)細かい形は作れない。両方を大きくすると、体にぴったりすぎて、少し体型が変わると着られない服になる。これが過学習である。
やってみよう:2つのつまみを回す
試験のデータ(40人)で、C と γ を4通りずつ、合わせて16通りのSVMを作った結果である。ボタンを押して、境界の形と数値の変わり方を見よう。新しい40人はステップ7の「新しいデータ」である。
表示は、ブラウザ上のRで e1071 の svm() を実行して前もって計算した結果である。ステップ7のRで同じ値を確かめられる。
C と γ の組み合わせを何通りも試し、交差検証(第4回 Ⅰのステップ13)で最も誤りの少ない組み合わせを選ぶ。e1071 の tune() が自動で行う。
なぜ「訓練データの正解率」で選んではいけないのか
いちばん簡単な選び方は「作るのに使ったデータ(訓練データ)で正解率を測り、いちばん高い組み合わせを選ぶ」である。しかし図11-4のとおり、C = 10 では γ = 0.05、5、50 がそろって訓練データの正解率 1.0 になり、区別がつかない。むしろ、γ を大きくして点1つ1つを囲むほど、訓練データの正解率は上がっていく。
たとえるなら、過去問を丸暗記した人と、本当に分かっている人は、同じ過去問では見分けられない。見分けるには、初めて見る問題を解かせるしかない。機械学習では、作るのに使っていないデータで正解率を測る。
では、データを1回だけ分けて確かめればよいか
40人を「訓練30人」と「テスト10人」に分け、30人で作ったSVMを10人で採点すればよさそうに見える。しかし、この方法には2つの弱点がある。
- 運に左右される:テストが10人だけだと、1人当たるか外れるかで正解率が 0.1 も動く。図11-5では、同じ γ = 50 でも、分け方しだいで 0.3 にも 0.9 にもなった。たまたま易しい10人がテストに回ると、過学習したモデルも良く見えてしまう。
- データがもったいない:テストに回した10人は、SVMを作るのに使えない。データが少ないときほど痛い。
読み取り方:γ = 0.05 は 0.8〜1.0、γ = 50 は 0.3〜0.9 とばらつく。分け方10 では γ = 50 が 0.9 になり、1回だけの結果を見ると「γ = 50 も悪くない」と思い込んでしまう。
交差検証:班で順番に「テスト役」を回す
交差検証は、1回だけ分ける方法の2つの弱点を、テスト役を交代することで解決する。
- 40人を、4人ずつ10班にランダムに分ける。
- 1回目は1班がテスト役。残り9班(36人)でSVMを作り、1班の4人を当てられるか採点する。
- 2回目は2班がテスト役。残り9班でSVMを作り直して、2班の4人を採点する。
- これを10班が1回ずつテスト役になるまで繰り返す。
- 10回の誤りを合計し、40人で割る。これが交差検証の誤り率である。
たとえるなら、クラスで問題を出し合う勉強会で、班ごとに順番に試験官役を担当するやり方である。試験官役の班は、その回は勉強に加わらない。全員が1回ずつ試験官になるので、40人全員が「初めて見る問題」として1回ずつ使われ、しかも毎回36人分のデータでSVMを作れる。テストが40人分になるので、運によるばらつきも小さくなる。
やってみよう:交差検証を1回ずつ進める
「次の回へ」を押すと、1つの班がテスト役になる。上は γ = 0.05、下は γ = 50(どちらも C = 10)。テスト役の4人について、当たれば ○、外れれば × がつく。
Rで確かめる:交差検証を自分で書く
tune() の中でしていることを、自分で書くと次のようになる。
読み取り方:γ = 0.05 は10回の誤りの合計が1人で誤り率 0.025、γ = 50 は13人で 0.325 になる。上の「やってみよう」と同じ班分けである。tune() は班分けの乱数の使い方が少し違うので、次の表の値(0.05 と 0.3)とは少しずれる。
tune() がしていること:16通り × 10回
tune() は、C の候補4つ × γ の候補4つ = 16通りの組み合わせのそれぞれについて、上の交差検証(SVMを10回作り直す)を行う。合わせて160個のSVMを作り、交差検証の誤り率がいちばん小さい組み合わせを選ぶ。
読み取り方:表の数値は交差検証の誤り率で、図11-7と同じである。cost = 10、gamma = 0.05 のとき最も小さい(0.05)。γ が大きい行ほど誤り率が高く、過学習していることが分かる。
set.seed() の数を変えると選ばれる組み合わせが変わることがある。読み取り方:このデータでは、乱数を5通り変えても、毎回 C = 10、γ = 0.05 が選ばれる(誤り率は 0.025〜0.05)。選ばれる組み合わせが乱数によって入れかわるときは、候補の間の差が小さく、どれを選んでも大差ないと考えてよい。
データの3つの役割:練習問題・模試・本番
交差検証で C と γ を選んだ後の正解率は、まだ「模試の成績」である。16通りの中からいちばん良いものを選んでいるので、少し甘めに出やすい。本当の実力は、選ぶのに一度も使っていないテストデータで測る。例題2では、tune() に訓練データだけを渡し、選んだモデルをテストデータで1回だけ採点している。
- よく使われるのは5分割と10分割である。e1071 の
tune()の既定も10分割である。 - 分割を増やすほど、毎回の訓練データは全体に近づくが、SVMを作り直す回数が増えて時間がかかる。40人を40分割にすると、1人ずつテスト役になる。これがステップ3のトリビアで紹介した1つ抜き交差検証である。
SVMは点どうしの距離を使う。年齢(0〜80)と船室等級(1〜3)のように単位の大きさが違う列をそのまま使うと、年齢の差ばかりが距離に効いてしまう。e1071 の svm() は、列ごとに平均0・ばらつき1にそろえる標準化を自動で行う(scale = TRUE が既定)。
SVMはもともと「2つに分ける」手法である。3つ以上のクラスがあるときは、2クラスずつの組み合わせごとにSVMを作り、多数決で決める(1対1法)。例題1-2で、アヤメの3品種をこの方法で分類する。
| 用語 | 意味 |
|---|---|
| マージン | 境界から最も近い点までの距離。SVMはこれを最大にする |
| サポートベクター | マージンの端やその内側にあり、境界を決める点 |
| コスト C | はみ出しへの罰の大きさ。大きいほど訓練データに合わせる |
| カーネル | 点の「似ている度合い」の式。取り換えると曲がった境界が作れる |
| γ | RBFカーネルの山の細さ。大きいほど複雑な境界になる |
| 決定木 | ナイーブベイズ | SVM | |
|---|---|---|---|
| 境界の形 | 縦横の線 | 確率の掛け算で決まる | 直線・自由な曲線 |
| 結果の説明しやすさ | 高い(木の図) | 中(確率表) | 低い(境界の図は2列まで) |
| 扱いやすいデータ | 数値とカテゴリが混ざっていてよい | カテゴリ | 数値(カテゴリは数値に直す) |
| 調整するパラメータ | cp(木の大きさ) | ほとんどない | C、γ |
e1071 の svm() は、台湾大学の林智仁(チー・ジェン・リン)らが作った LIBSVM というプログラムを呼び出している。LIBSVM は Python の scikit-learn など多くのソフトでも使われていて、世界中のSVMの計算の多くが、この同じプログラムで動いている。
| 年 | 使われた場面 | SVMが向いていた理由 |
|---|---|---|
| 1997 | 写真の中から人の顔を見つける(オスナら) | 「顔か、顔でないか」の2クラスに分ける問題になる |
| 1998 | ニュース記事などの文書を分野別に分ける(ヨアヒムス) | 列(単語)が何万あっても、線形SVMはマージンで安定して分けられる |
| 2002 | がんに関わる遺伝子を選ぶ(ギヨンら) | 人数が少なく、列(遺伝子)が何千もあるデータに強い |
| 2002 | 手書き数字(MNIST)を読む(デコステとシェルコフ) | テスト1万字で誤り0.56%。同じ表に載ったニューラルネットワーク LeNet-5 の 0.8% を下回った |
- ベル研究所では1995年、SVMのヴァプニクと、上司のラリー・ジャッケルが「高級ディナー」を賭けたと伝えられている。ジャッケルは「2000年までに、大きなニューラルネットワークがなぜうまくいくのかが理論的に分かる」に、ヴァプニクは「2005年には、だれも(1995年の)ニューラルネットワークを使っていない」に賭けた。立ち会ったヤン・ルカンは、のちに「2人とも負けた」と紹介している。
- 2012年、画像認識の大会で深層学習(ニューラルネットワーク)が大差で優勝し、画像・音声ではSVMから深層学習へ主役が移った。ヴァプニク本人も、2014年にFacebook(現Meta)のAI研究所に加わった。
- それでもSVMは、データが数百〜数千件と少ないときや、列が多いときには今でも有力な手法である。深層学習は大量のデータがないと力を発揮しにくい。
選択肢を押すと、正解と解説が表示される。
Ⅱ 例題データ
| 名前 | 内容 | 使う場所 |
|---|---|---|
試験 | 学生40人の1週間の勉強時間(時間)・出席率(%)・合否。授業用に作った架空のデータ | Ⅰ |
アヤメ | アヤメの花150本(第4回と同じ) | 例題1 |
タイタニック | タイタニック号の乗客714人(第4回・第6回と同じ) | 例題2 |
ドーナツ型のデータ(Ⅰのステップ5)と新しい40人(Ⅰのステップ7)はプログラムの中で作る。データを書き換えてしまったときは、ページを再読み込みすると元に戻る。
Ⅲ 例題1:アヤメの品種をSVMで分類する
第4回で、セトサはほかの2品種と簡単に分けられた。ここでは、重なりのあるバーシカラーとバージニカを、花びらの長さと幅で分ける。
読み取り方:境界線は斜めに引かれている(決定木の縦横の線との違いに注目)。2つの品種が重なっている付近の点が、サポートベクターになっている(100本中19本)。
読み取り方:テストデータ45本のうち44本を正しく分類した(正解率 0.978)。SVMは2つのクラスを分ける手法だが、e1071 は3クラス以上のときも「2クラスずつの組み合わせ」で自動的に処理する。
Ⅲ 例題2:タイタニック号の生死を予測し、これまでの手法と比べる
第4回(決定木)、第6回(ナイーブベイズ)で使ったタイタニックのデータを、SVMで予測する。同じ訓練データ・テストデータで3つの手法を公平に比べる。
SVMは数値を使って距離を測るので、性別を「女性なら1、男性なら0」の数値に直す。
読み取り方:訓練データの交差検証で cost = 1、gamma = 0.5 が選ばれた。テストデータ214人での正解率は 0.762 である。
| 手法 | テストデータの正解率 |
|---|---|
| SVM(RBFカーネル) | 0.762 |
| 決定木(第4回) | 0.738 |
| ナイーブベイズ(第6回) | 0.734 |
| 全員「死」と予測 | 0.556 |
考えてみよう:差は 0.02〜0.03 ほどで、テストデータ214人のうち5〜6人分である。set.seed(1) の数を変えて分け方を変えると、順位は入れ替わるだろうか(第4回の例題5と同じ考え方)。
読み取り方:女性では、3等船室の大人の付近だけが「死」の領域になる。男性では、幼い子どもの付近だけが「生」の領域になる。第4回の決定木で見つけた条件と、SVMの境界の形を比べてみよう。
Ⅳ 自分の興味のあるデータで分析する
このページの生成AIに、データとRのプログラムを作らせて実行する。上から順にボタンを押していけばよい。
最初にボタンを押したとき、授業用パスコードを聞かれる。授業で伝えたものを入力する。
テーマの例:試験に合格するか/商品を買うか/植物がよく育つか(気温・水やり・日照)/体調が良いか(睡眠・運動・食事)
テーマ: 行数:
追加の希望(なくてよい):
(30秒〜1分ほどかかる)ステップ2のプログラムが下の枠に入る。「▶ 実行」を押す。プログラムは自分で書き換えてもよい。
エラーが出たら: (直したプログラムが上の枠に入るので、もう一度「▶ 実行」を押す)
| 観点 | 確かめ方 |
|---|---|
| カーネルの違い | 線形カーネルとRBFカーネルの正解率に差があるか。差があれば、直線では分けにくい関係がデータにあると考えられる |
| 過学習していないか | 選ばれた gamma が大きすぎないか。訓練データとテストデータの正解率に大きな差がないか |
| 境界の形は意図どおりか | 境界を描く() の図で、データを作らせたときの「ちょうどよい範囲」のような関係が境界の形に表れているか |
| 本当に予測できているか | 正解率が、「多いほうのクラスを常に答える」場合の正解率より高いか |
| 結果を言い過ぎていないか | 生成AIのデータは架空である。現実の傾向として主張しない |
(参考)生成AIに送った指示文を見る
データを作る指示
(まだ送っていません)
プログラムを書く指示
(まだ送っていません)
課題
このページの最後にある「課題用:生成AIでSVM分析」を利用して、自分で決めたテーマのデータ(生成AIを利用して良い)でSVM(サポートベクターマシン)による分類を行い、その結果を3ページ程度のレポートにして提出せよ。レポートの形式は自由である。
なおファイル名は 学生番号_名前.docx とする。たとえば k24x7777_東女花子.docx である。
(提出方法・期限はWebClassの指示に従うこと)
レポートに入れるとよいもの(例)
- テーマと、なぜそのテーマを選んだか
- データの説明(予測したい列と、予測に使う列。それぞれどんな値をとるか)
- 線形カーネルとRBFカーネルの正解率(テストデータ)と、その差から言えること
- 交差検証で選ばれた C と γ、そのときのテストデータの正解率
- 境界の図(2列で描いたもの)と、その読み取り
- 考察:直線で分けにくい関係はあったか、過学習の気配はないか、「多いほうを常に答える」場合と比べて本当に予測できているか、架空データの限界
生成AIの考察は、そのまま写さず、実行結果の数値と見比べて確かめてから、自分の言葉で書き直すこと。AIの考察に誤りや言い過ぎを見つけたら、それもレポートに書いてよい。
課題用:生成AIでSVM分析(データ作成 → プログラム → 実行 → 考察)
テーマを決めて、上から順に4つのボタンを押していけばよい。結果はレポートの材料として使う。
最初にボタンを押したとき、授業用パスコードを聞かれる。授業で伝えたものを入力する。
テーマの例:試験に合格するか/商品を買うか/植物がよく育つか(気温・水やり・日照)/体調が良いか(睡眠・運動・食事)/試合に勝てるか
テーマ: 行数:
追加の希望(なくてよい):
(30秒〜1分ほどかかる)[2]のプログラムが下の枠に入る。「▶ 実行」を押す。図は右クリック(スマートフォンでは長押し)で保存するか、スクリーンショットを撮ってレポートに貼る。
エラーが出たら: (直したプログラムが上の枠に入るので、もう一度「▶ 実行」を押す)
[3]の実行結果(文字の出力)を生成AIに渡して、考察を書かせる。図そのものは渡さない。
(30秒〜1分ほどかかる)テーマ、データの説明、プログラム、実行結果、AIの考察を1つの文章にまとめてコピーする。Wordに貼り付けて、レポートの下書きに使う。
(参考)生成AIに送った指示文を見る
[1]データを作る指示
(まだ送っていません)
[2]プログラムを書く指示
(まだ送っていません)
[4]考察を書く指示
(まだ送っていません)