R を準備しています…
機械学習の基礎(東京女子大学 2026年度後期)
第7回 サポートベクターマシン
管理

第7回 サポートベクターマシン(SVM)

このページの使い方

  1. 画面上部の帯が緑になるまで待つ(Rの準備。初回は数十秒かかる)。
  2. Ⅰでしくみを読み、黒い枠のRプログラムを上から順に「▶ 実行」で動かす。
  3. Ⅲの例題を、ステップの順に実行する。
  4. Ⅳで、生成AIに自分のテーマのデータとプログラムを作らせて分析する。
  5. 最後の「課題用プログラム」で、データ作成 → プログラム → 実行 → 考察 を行い、レポートにまとめる。

黒い枠のプログラムは自由に書き換えてよい。「元のコードに戻す」で元に戻る。

今日の目標

  1. SVMが「マージンが最大になる境界」を選ぶ手法であり、境界が少数の点(サポートベクター)だけで決まることを説明できる。
  2. サポートベクター、コスト C、カーネル、γ(ガンマ)の意味を説明できる。
  3. 直線で分けられないデータを、カーネルを使って分けられることを確かめられる。
  4. 交差検証でパラメータを選び、テストデータで正解率を測り、ほかの手法と比べられる。
  5. 生成AIに作らせた自分のデータで同じ分析を行い、結果が妥当かを確かめられる。

Ⅰ サポートベクターマシンのしくみ

ステップ1分類とは「境界線を引く」こと

40人の学生について、1週間の勉強時間と出席率、試験の合否を記録した。2つの数値を縦横にとって点を打つと、合格(青)と不合格(赤)がおおよそ分かれている。 新しい学生が合格するかを予測するには、2つのグループの間に境界線を引けばよい。

決定木(第4回)は縦と横の線だけで区切った。SVMは斜めの線や曲線も使って区切ることができる。

ステップ2どの線がよいか:マージン
3本の候補の線
図1 赤と青を分ける線はいくらでも引ける

図1の3本はどれも、今あるデータを正しく分けている。しかし線①や②は点のすぐそばを通っているので、少し違う位置に新しい点が来ると間違えやすい。線③は両側の点から離れていて「余裕」がある。

道路のたとえ
図2 たとえ:2つの町の間に、できるだけ幅の広い道路を通す

境界線から最も近い点までの距離をマージンという。道路のたとえで言えば、道の幅の半分である。SVMはマージンが最大になる線を選ぶ。

マージンの測り方
図3 マージンの測り方:境界線から、いちばん近い点までの垂直な距離

やってみよう:線を動かして、マージンを最大にする

2つのスライダーで線の向きと位置を変え、赤と青を正しく分けたうえで、マージン(緑の帯の幅)をできるだけ大きくしよう。○で囲まれた点が、そのときの「いちばん近い点」である。

向き:  位置:
マージン最大化
図4 マージン最大化。点線の間の帯(マージン)が最も太くなる線を境界にする。

なぜ「幅の広い道」がよいのか:ずれに強い

図1の3本の線は、どれも今の18点を全部正しく分けている。違いが出るのは新しい点が来たときである。新しい点は、今ある点とまったく同じ位置には来ない。少しずれた位置に現れる。線のすぐそばに点があると、少しのずれで反対側に入ってしまう。

ずれに強い境界
図4-2 今の点を少しずらした「新しい点」で、3本の線の誤りを比べる

読み取り方:ずれが0.3のとき、線①・②は新しい点の約4.5%を間違えるが、SVMの線は約0.2%しか間違えない。今のデータを全部当てる線はたくさんあるが、その中で「新しいデータに強い」線を1本選ぶ基準が、マージン最大化である。

ステップ3サポートベクター:境界を決める少数の点

図4で○で囲んだ、マージンの端にある点をサポートベクターという。境界線は、この少数の点だけで決まる。ほかの点を動かしたり消したりしても、マージンの外にある限り境界は変わらない。手法の名前は、この点に由来する(「ベクター」は点の位置を表す数の組、「サポート」は境界を支えているという意味)。

点を消したときの境界の変化
図5 サポートベクター以外の点は、消しても境界は動かない
図の要素意味
背景の色SVMの予測(赤:不合格、青:合格)
太い実線境界線(決定値 = 0)
細い点線マージンの端(決定値 = −1 と +1)
黒い丸で囲んだ点サポートベクター(40人中11人)

背景の色分けと線は、このページに用意した関数 境界を描く() で描いている。

決定値:境界からの「標高」

SVMは、点ごとに決定値という数を計算する。決定値は「境界からどれだけ離れているか」を表す目盛で、0 が境界、+1 と −1 がマージンの端である。地図の標高にたとえると、境界が海岸線(標高0)、マージンの端が標高±1の等高線にあたる。符号で予測が決まり(このデータでは+なら合格)、0から遠いほど予測に自信がある。

決定値の目盛
図5-2 決定値の目盛に、試験の学生を並べる

読み取り方:勉強9時間・出席95%の学生は決定値 +3.71 で「自信をもって合格」。勉強5時間の学生は、出席70%なら −0.20(不合格)、出席85%なら +0.64(合格)で、どちらも境界のそばにいる。

決定値の符号の向き(+が合格か不合格か)は、Rが2つのクラスをどちらから数えるかで決まる。colnames(attr(..., "decision.values")) が「合格/不合格」なら、+が合格である。

やってみよう:決定値メーター

勉強時間と出席率を動かして、決定値(標高)がどう変わるかを見よう。「本当の結果」を選ぶと、ステップ4で使う「はみ出しの罰」も表示される。

勉強時間:   出席率:
本当の結果: 

Rで確かめる:サポートベクターだけで境界を作り直す

読み取り方:サポートベクター以外の人を全員消しても、境界は同じで、40人の予測はすべて一致する。データのほとんどは、境界を決めるのに使われていない。これがSVMの特徴である。

トリビア:なぜ「少数の点だけ」で決まるとうれしいのか

SVMの理論を作ったヴァプニクは、「少数の点だけに頼るほど、新しいデータでも当たりやすい」という考え方(統計的学習理論)を示した。たくさんの点を覚え込むのではなく、境界の近くにある大事な点だけを覚える。これは、試験勉強で「教科書を丸暗記する」のではなく「迷いやすい問題だけ覚える」のに似ている。

トリビア:サポートベクターが少ないほど、新しいデータに強い(ことが保証される)

1人ずつ順にデータから外してSVMを作り直し、外した1人を当てられるかを調べる方法を1つ抜き交差検証という。サポートベクターでない人を外しても境界は変わらず、その人はマージンの外にいるので必ず当たる。だから、間違える可能性があるのはサポートベクターだけで、誤り率は「サポートベクターの数 ÷ 人数」より大きくならない。ヴァプニクが示した性質である。

結果は誤り率 0.05(40人中2人)で、上限 0.275(11÷40)を下回る。

ステップ4はみ出しをどこまで許すか:コスト C

実際のデータは、ステップ3のようにきれいには分かれない。そこで、いくつかの点がマージンの内側や反対側にはみ出すことを許す(ソフトマージン)。はみ出しにどれだけ罰を与えるかを決めるのがコスト C である。

ソフトマージン
図6 ソフトマージン:はみ出した長さに罰をつける
Cはみ出しマージンサポートベクター危険
小さい多く許す広い多い大まかすぎて当たらない(学習不足)
大きいほとんど許さない狭い少ない訓練データに合わせすぎる(過学習)

たとえるなら、C は「先生の厳しさ」である。厳しい先生(C 大)は1人の例外も許さず、境界を細かく調整して全員を正しく分けようとする。ゆるい先生(C 小)は多少の例外には目をつぶり、全体として広い道路を通そうとする。

Rで確かめる:マージンの幅を数字で見る

読み取り方:C を 0.05 → 1 → 100 と大きくすると、マージンの幅は 2.34 → 0.93 → 0.25 と狭くなり、サポートベクターは 28 → 11 → 5 個と減る。

罰の付け方を数字で見る(ヒンジ損失)

はみ出しの罰は、決定値(ステップ3)を使って次のように決める。正解が合格なら+1、不合格なら−1を「正解の符号」とし、決定値 × 正解の符号(正しい側への入り方)を計算する。

正しい側への入り方点のいる場所罰
1 以上マージンの外(正しい側)0
0〜1マージンの内側(予測は正しい)1 − 入り方(0〜1)
0 より小さい境界の反対側(予測の誤り)1 − 入り方(1より大きい)
ヒンジ損失
図6-2 ヒンジ損失:正しい側へ1以上入っていれば罰は0

読み取り方:40人中31人は罰0、8人がマージンの内側、1人が反対側(予測の誤り)である。SVMは「道の狭さ + C × 罰の合計」が最も小さくなる線を選ぶ。C が大きいほど罰を重く見て、道を狭くしてでも罰を減らそうとする。

トリビア:SVMは、最初は「ネットワーク」と呼ばれていた

1995年にコルテスとヴァプニクがソフトマージンを発表した論文の題名は「Support-Vector Networks」である。当時はニューラルネットワークが人気で、新しい手法も「ネットワーク」と名づけられた。「サポートベクターマシン」という呼び名が広まったのは、その後である。

トリビア:ソフトマージンは「女性研究者」が加えた

はみ出しを許すソフトマージンは、1995年にコリーナ・コルテスとヴァプニクが発表した。コルテスはベル研究所でこの研究を行い、のちにGoogleの研究所(ニューヨーク)の責任者になった。ソフトマージンがなければ、SVMは「きれいに分かれるデータ」にしか使えなかった。

ステップ5直線では分けられないデータ

内側に赤、外側に青がドーナツ状に並んだデータは、どんな直線を引いても分けられない。しかし「中心からの距離の2乗」という新しい数を作ると、その数だけで分けられる。

カーネルの考え方
図7 特徴を1つ増やす(次元を上げる)と、直線(平面)で分けられるようになる

たとえるなら、床にばらまいた赤と青のビー玉が、どう線を引いても分けられないとき、赤いビー玉だけ持ち上げると、空中で1枚の板(平面)を差し込んで分けられる。「持ち上げる高さ」が新しい特徴である。

ステップ6カーネル:次元を上げる工夫

新しい特徴をどう作ればよいかは、ふつうは分からない。SVMの計算は「2つの点がどれだけ似ているか」だけを使って進められるので、この「似ている度合い」を別の式に取り換えるだけで、特徴を実際に作らずに次元を上げたのと同じ効果が得られる。この式をカーネル、この工夫をカーネルトリックという。

RBFカーネルの山
図8 RBFカーネル:「似ている度合い」を、距離が離れるほど低くなる山で表す
カーネルRでの指定「似ている度合い」の決め方境界の形使いどころ
線形kernel = "linear"ふつうの内積直線(平面)列が多いとき、まず試す
RBF(ガウス)kernel = "radial"(既定)距離が近いほど1に近く、遠いほど0に近い(図8の山)なめらかな曲線最もよく使われる
多項式kernel = "polynomial"内積の2乗・3乗など2次・3次などの曲線関係の形が分かっているとき

カーネルトリックを数字で確かめる

「次元を上げずに、上げたのと同じ計算ができる」とはどういうことか。2次元の点 (横, 縦) を、3次元の点 (横², √2×横×縦, 縦²) に写す場合で確かめる。

カーネルトリックの近道
図8-2 遠回り(3次元に写してから掛け算)と近道(2次元で掛け算して2乗)の答えは同じ

読み取り方:どちらも25になる。SVMの計算には点どうしの「似ている度合い」しか出てこないので、近道の式(カーネル)を使えば、写した先の点を一度も作らずに済む。

トリビア:RBFカーネルは「無限次元」に写している
  • RBFカーネル exp(−γ × 距離²) を「写してから内積」の形に書き直すと、写す先は無限個の特徴を持つ空間になる。無限個の特徴を実際に作ることはできないが、近道の式なら一瞬で計算できる。
  • 「どんな式なら、どこかの空間での内積として使えるか」を保証する定理(マーサーの定理)は、1909年にイギリスの数学者ジェームズ・マーサーが発表した。SVMより80年以上前の数学が、機械学習を支えている。

RBFカーネルの境界は「山の足し合わせ」でできる

RBFカーネルのSVMは、各サポートベクターの位置に山を立て(青は+の山、赤は−の山)、足し合わせた高さが0になる所を境界にする、と考えると分かりやすい。

山の足し合わせ
図9 山を足し合わせると境界ができる。γ が大きいと山が細く、境界が増える。

読み取り方:線形カーネルの正解率は 0.71 にとどまるが、RBFカーネルは 1.0(全問正解)で、境界が円になる。

トリビア:カーネルトリックは、ライバルのアイデアだった
SVMの歴史
図10 SVMの歴史
  • マージンを最大にする線形の方法は、1960年代のソ連で、ヴァプニクとチェルヴォネンキスが考えた。カーネルの考え方も同じ1964年、同じ研究所の別のチーム(アイゼルマンら)が発表していた。
  • 1990年末、ヴァプニクはアメリカのベル研究所に移った。同じ部屋のイザベル・ギヨンが「アイゼルマンのカーネルを組み合わせよう」と提案したが、ヴァプニクはかつてのライバルのアイデアだったため、はじめは乗り気でなかったという。ギヨンの夫ボサーが試してみると、うまくいった。
  • この研究室には、ヤン・ルカン、ヨシュア・ベンジオ(どちらも後に深層学習でチューリング賞)もいた。1990年代、SVMとニューラルネットワークは、手書き文字の認識などで競い合っていた。
ステップ7RBFカーネルのγ(ガンマ):境界の細かさ

RBFカーネルには、1つの点の影響がどこまで届くか(図8の山の広さ)を決める γ がある。

γ山の形1つの点の影響境界の形危険
小さい広い遠くまで届くなめらか(直線に近い)学習不足
大きい細いすぐ近くだけ点ごとに曲がる、細かい形過学習

やってみよう:点を置いて、γ を変える

線の上をクリックして点を置き(左クリック=青、右クリックまたは Shift+クリック=赤)、γ のスライダーを動かそう。紫の線が「山の合計」、緑の点線が境界である。

γ:

見本の点では、赤の中に青が、青の中に赤が1つずつ混ざっている。γ が小さいとこれらは「例外」として無視され、γ が大きいとこの1点のために境界が作られる。

読み取り方:γ = 50 では、点1つ1つを囲むような境界になり、訓練データの正解率は高いが、新しいデータにはあてはまりにくい。

Rで確かめる:過学習を新しいデータで測る

読み取り方:γ = 50 は、訓練データでは全問正解だが、新しい40人では 0.525(当てずっぽうと変わらない)。訓練データの正解率が高いことと、新しいデータに当たることは別である。

Cとγの地図
図11 C と γ の組み合わせと、境界の性質

C と γ を、たとえ話でもう一度整理する

RBFカーネルのSVMには、つまみが2つある。C(ステップ4)と γ(このステップ)である。どちらも「大きくしすぎると過学習、小さくしすぎると学習不足」なので混ざりやすいが、回しているものが違う。

つまみ決めることたとえ① 教室たとえ② 服の仕立て小さいと大きいと
Cはみ出し(例外)への罰の重さ先生の厳しさ仕立て屋のこだわり(体型にどこまで合わせるか)例外を大目に見る。道は広く、境界は大まか1人の例外も許さない。道は狭く、例外に合わせて境界を動かす
γ1つの点の影響が届く範囲1人の声の届く範囲(拡声器 ↔ ひそひそ声)生地のやわらかさ(どれだけ細かく曲がるか)みんなの声が混ざり、境界はなめらかすぐ隣にしか届かず、点ごとに小さな「島」ができる

C:先生の厳しさ

Cの大小と境界
図11-2 同じ19個の点で C だけを変える。★ は青の近くにいる赤(例外)

ゆるい先生(C が小さい)は、★ の1人が反対側にはみ出していても「全体として広い道が通るなら、それでよい」と考える。厳しい先生(C が大きい)は、★ も必ず正しい側に入れようとして、道を狭くしてでも境界を動かす。

どちらがよいかは、★ がたまたまの例外なのか、大事な手がかりなのかで決まる。たまたまの例外に合わせると、新しいデータでは外れやすい(過学習)。

ゆるすぎる先生にも危険がある。試験のデータで C = 0.1、γ = 0.05 にすると、SVMは40人全員を「不合格」と予測する(正解率 0.55 は、不合格の22人がそのまま当たっただけ)。罰が軽すぎて、境界を引く努力をしなくなるのである。下の「やってみよう」で確かめられる。

γ:声の届く範囲

γの大小と影響の範囲
図11-3 γ だけを変える。点線の円は、その点の「声」が半分に弱まる距離

RBFカーネルのSVMでは、サポートベクターの1つ1つが「ここは青だよ」「ここは赤だよ」と声を出していて、各場所の予測は、届いた声の合計で決まる(図9の山の足し合わせと同じ)。γ は、その声がどこまで届くかを決める。

  • γ が小さい = 拡声器:声が遠くまで届くので、離れた点の声も混ざる。例外の1人の声は、まわりの大勢の声にかき消される。境界はなめらかになる。
  • γ が大きい = ひそひそ声:声はすぐ隣にしか届かない。例外の1人のまわりには、その人の声しか聞こえない小さな「島」ができる。どの点からも遠い場所には、だれの声も届かない。

声の強さは、距離が離れるほど exp(−γ × 距離²) で弱まる。数字で見ると、γ の違いは大きい(距離は、svm() が標準化した単位。1 は「ばらつき1つ分」離れていることを表す)。

読み取り方:γ = 0.05 では、ばらつき2つ分離れても声の強さは 0.819 で、ほとんど弱まらない。γ = 50 では、ばらつき0.5つ分離れただけで 0.000 になり、すぐ隣の点にしか届かない。なお、e1071 の svm() は γ を指定しないとき「1 ÷ 予測に使う列の数」を使う(2列なら 0.5)。

よくある混乱:C と γ はどう違うのか

C を大きくするγ を大きくする
変わるもの例外にどれだけ合わせようとするか(やる気)境界がどれだけ細かく曲がれるか(できること)
服のたとえ仕立て屋が体の線に合わせようとする生地がやわらかくなり、細かい線にも沿える
線形カーネルでは効く(ステップ4)ない(γ はRBFカーネルだけの値)

生地がやわらかくても(γ 大)、仕立て屋がこだわらなければ(C 小)、服はゆったりしたままである。逆に、こだわりの強い仕立て屋(C 大)でも、生地が固ければ(γ 小)細かい形は作れない。両方を大きくすると、体にぴったりすぎて、少し体型が変わると着られない服になる。これが過学習である。

やってみよう:2つのつまみを回す

試験のデータ(40人)で、C と γ を4通りずつ、合わせて16通りのSVMを作った結果である。ボタンを押して、境界の形と数値の変わり方を見よう。新しい40人はステップ7の「新しいデータ」である。

C(厳しさ):
γ(声の届く範囲):
不合格合格サポートベクター背景の色:SVMの予測

表示は、ブラウザ上のRで e1071 の svm() を実行して前もって計算した結果である。ステップ7のRで同じ値を確かめられる。

2つのつまみの「ちょうどよい位置」は、データごとに違う。目で見て選ぶのではなく、次のステップ8の交差検証で、数字で選ぶ。
ステップ8C と γ を交差検証で選ぶ

C と γ の組み合わせを何通りも試し、交差検証(第4回 Ⅰのステップ13)で最も誤りの少ない組み合わせを選ぶ。e1071 の tune() が自動で行う。

なぜ「訓練データの正解率」で選んではいけないのか

訓練データの正解率の罠
図11-4 訓練データの正解率は、どの γ でもほぼ満点。差が出るのは新しいデータのとき

いちばん簡単な選び方は「作るのに使ったデータ(訓練データ)で正解率を測り、いちばん高い組み合わせを選ぶ」である。しかし図11-4のとおり、C = 10 では γ = 0.05、5、50 がそろって訓練データの正解率 1.0 になり、区別がつかない。むしろ、γ を大きくして点1つ1つを囲むほど、訓練データの正解率は上がっていく。

たとえるなら、過去問を丸暗記した人と、本当に分かっている人は、同じ過去問では見分けられない。見分けるには、初めて見る問題を解かせるしかない。機械学習では、作るのに使っていないデータで正解率を測る。

では、データを1回だけ分けて確かめればよいか

1回だけ分ける方法のばらつき
図11-5 1回だけ分ける方法は、分け方の運で結果が大きく変わる

40人を「訓練30人」と「テスト10人」に分け、30人で作ったSVMを10人で採点すればよさそうに見える。しかし、この方法には2つの弱点がある。

  1. 運に左右される:テストが10人だけだと、1人当たるか外れるかで正解率が 0.1 も動く。図11-5では、同じ γ = 50 でも、分け方しだいで 0.3 にも 0.9 にもなった。たまたま易しい10人がテストに回ると、過学習したモデルも良く見えてしまう。
  2. データがもったいない:テストに回した10人は、SVMを作るのに使えない。データが少ないときほど痛い。

読み取り方:γ = 0.05 は 0.8〜1.0、γ = 50 は 0.3〜0.9 とばらつく。分け方10 では γ = 50 が 0.9 になり、1回だけの結果を見ると「γ = 50 も悪くない」と思い込んでしまう。

交差検証:班で順番に「テスト役」を回す

10分割交差検証
図11-6 10分割交差検証。オレンジの班がテスト役、緑の班が訓練役

交差検証は、1回だけ分ける方法の2つの弱点を、テスト役を交代することで解決する。

  1. 40人を、4人ずつ10班にランダムに分ける。
  2. 1回目は1班がテスト役。残り9班(36人)でSVMを作り、1班の4人を当てられるか採点する。
  3. 2回目は2班がテスト役。残り9班でSVMを作り直して、2班の4人を採点する。
  4. これを10班が1回ずつテスト役になるまで繰り返す。
  5. 10回の誤りを合計し、40人で割る。これが交差検証の誤り率である。

たとえるなら、クラスで問題を出し合う勉強会で、班ごとに順番に試験官役を担当するやり方である。試験官役の班は、その回は勉強に加わらない。全員が1回ずつ試験官になるので、40人全員が「初めて見る問題」として1回ずつ使われ、しかも毎回36人分のデータでSVMを作れる。テストが40人分になるので、運によるばらつきも小さくなる。

やってみよう:交差検証を1回ずつ進める

「次の回へ」を押すと、1つの班がテスト役になる。上は γ = 0.05、下は γ = 50(どちらも C = 10)。テスト役の4人について、当たれば ○、外れれば × がつく。

Rで確かめる:交差検証を自分で書く

tune() の中でしていることを、自分で書くと次のようになる。

読み取り方:γ = 0.05 は10回の誤りの合計が1人で誤り率 0.025、γ = 50 は13人で 0.325 になる。上の「やってみよう」と同じ班分けである。tune() は班分けの乱数の使い方が少し違うので、次の表の値(0.05 と 0.3)とは少しずれる。

tune() がしていること:16通り × 10回

tuneの結果の表
図11-7 C と γ の16通りそれぞれで10分割交差検証を行い、誤り率がいちばん小さい組み合わせを選ぶ

tune() は、C の候補4つ × γ の候補4つ = 16通りの組み合わせのそれぞれについて、上の交差検証(SVMを10回作り直す)を行う。合わせて160個のSVMを作り、交差検証の誤り率がいちばん小さい組み合わせを選ぶ。

読み取り方:表の数値は交差検証の誤り率で、図11-7と同じである。cost = 10、gamma = 0.05 のとき最も小さい(0.05)。γ が大きい行ほど誤り率が高く、過学習していることが分かる。

交差検証の分け方は乱数で決まるので、set.seed() の数を変えると選ばれる組み合わせが変わることがある。

読み取り方:このデータでは、乱数を5通り変えても、毎回 C = 10、γ = 0.05 が選ばれる(誤り率は 0.025〜0.05)。選ばれる組み合わせが乱数によって入れかわるときは、候補の間の差が小さく、どれを選んでも大差ないと考えてよい。

データの3つの役割:練習問題・模試・本番

訓練・交差検証・テストの役割
図11-8 交差検証は「模試」。本番(テストデータ)は、C と γ を決めた後に1回だけ使う

交差検証で C と γ を選んだ後の正解率は、まだ「模試の成績」である。16通りの中からいちばん良いものを選んでいるので、少し甘めに出やすい。本当の実力は、選ぶのに一度も使っていないテストデータで測る。例題2では、tune() に訓練データだけを渡し、選んだモデルをテストデータで1回だけ採点している。

トリビア:何分割にすればよいのか
  • よく使われるのは5分割と10分割である。e1071 の tune() の既定も10分割である。
  • 分割を増やすほど、毎回の訓練データは全体に近づくが、SVMを作り直す回数が増えて時間がかかる。40人を40分割にすると、1人ずつテスト役になる。これがステップ3のトリビアで紹介した1つ抜き交差検証である。
ステップ9知っておくとよいこと:単位のそろえ方と、3つ以上のクラス
単位の違いと距離
図12 SVMは距離を使うので、列の単位をそろえる(標準化する)必要がある

SVMは点どうしの距離を使う。年齢(0〜80)と船室等級(1〜3)のように単位の大きさが違う列をそのまま使うと、年齢の差ばかりが距離に効いてしまう。e1071 の svm() は、列ごとに平均0・ばらつき1にそろえる標準化を自動で行う(scale = TRUE が既定)。

1対1法
図13 3つ以上のクラスは、2クラスずつのSVMを作って多数決で決める

SVMはもともと「2つに分ける」手法である。3つ以上のクラスがあるときは、2クラスずつの組み合わせごとにSVMを作り、多数決で決める(1対1法)。例題1-2で、アヤメの3品種をこの方法で分類する。

ステップ10まとめと、ほかの手法との比較
用語意味
マージン境界から最も近い点までの距離。SVMはこれを最大にする
サポートベクターマージンの端やその内側にあり、境界を決める点
コスト Cはみ出しへの罰の大きさ。大きいほど訓練データに合わせる
カーネル点の「似ている度合い」の式。取り換えると曲がった境界が作れる
γRBFカーネルの山の細さ。大きいほど複雑な境界になる
決定木ナイーブベイズSVM
境界の形縦横の線確率の掛け算で決まる直線・自由な曲線
結果の説明しやすさ高い(木の図)中(確率表)低い(境界の図は2列まで)
扱いやすいデータ数値とカテゴリが混ざっていてよいカテゴリ数値(カテゴリは数値に直す)
調整するパラメータcp(木の大きさ)ほとんどないC、γ
トリビア:Rの svm() の中身は台湾生まれ

e1071 の svm() は、台湾大学の林智仁(チー・ジェン・リン)らが作った LIBSVM というプログラムを呼び出している。LIBSVM は Python の scikit-learn など多くのソフトでも使われていて、世界中のSVMの計算の多くが、この同じプログラムで動いている。

ステップ11SVMが活躍した場面と、深層学習との関係
SVMが活躍した場面
図14 SVMが活躍した場面
年使われた場面SVMが向いていた理由
1997写真の中から人の顔を見つける(オスナら)「顔か、顔でないか」の2クラスに分ける問題になる
1998ニュース記事などの文書を分野別に分ける(ヨアヒムス)列(単語)が何万あっても、線形SVMはマージンで安定して分けられる
2002がんに関わる遺伝子を選ぶ(ギヨンら)人数が少なく、列(遺伝子)が何千もあるデータに強い
2002手書き数字(MNIST)を読む(デコステとシェルコフ)テスト1万字で誤り0.56%。同じ表に載ったニューラルネットワーク LeNet-5 の 0.8% を下回った
トリビア:SVMとニューラルネットワークの「賭け」
  • ベル研究所では1995年、SVMのヴァプニクと、上司のラリー・ジャッケルが「高級ディナー」を賭けたと伝えられている。ジャッケルは「2000年までに、大きなニューラルネットワークがなぜうまくいくのかが理論的に分かる」に、ヴァプニクは「2005年には、だれも(1995年の)ニューラルネットワークを使っていない」に賭けた。立ち会ったヤン・ルカンは、のちに「2人とも負けた」と紹介している。
  • 2012年、画像認識の大会で深層学習(ニューラルネットワーク)が大差で優勝し、画像・音声ではSVMから深層学習へ主役が移った。ヴァプニク本人も、2014年にFacebook(現Meta)のAI研究所に加わった。
  • それでもSVMは、データが数百〜数千件と少ないときや、列が多いときには今でも有力な手法である。深層学習は大量のデータがないと力を発揮しにくい。
ステップ12確認クイズ

選択肢を押すと、正解と解説が表示される。

Ⅱ 例題データ

名前内容使う場所
試験学生40人の1週間の勉強時間(時間)・出席率(%)・合否。授業用に作った架空のデータⅠ
アヤメアヤメの花150本(第4回と同じ)例題1
タイタニックタイタニック号の乗客714人(第4回・第6回と同じ)例題2

ドーナツ型のデータ(Ⅰのステップ5)と新しい40人(Ⅰのステップ7)はプログラムの中で作る。データを書き換えてしまったときは、ページを再読み込みすると元に戻る。

Ⅲ 例題1:アヤメの品種をSVMで分類する

ステップ1-1見分けにくい2品種の境界を描く

第4回で、セトサはほかの2品種と簡単に分けられた。ここでは、重なりのあるバーシカラーとバージニカを、花びらの長さと幅で分ける。

読み取り方:境界線は斜めに引かれている(決定木の縦横の線との違いに注目)。2つの品種が重なっている付近の点が、サポートベクターになっている(100本中19本)。

ステップ1-23品種・4つの列で、テストデータの正解率を測る

読み取り方:テストデータ45本のうち44本を正しく分類した(正解率 0.978)。SVMは2つのクラスを分ける手法だが、e1071 は3クラス以上のときも「2クラスずつの組み合わせ」で自動的に処理する。

Ⅲ 例題2:タイタニック号の生死を予測し、これまでの手法と比べる

第4回(決定木)、第6回(ナイーブベイズ)で使ったタイタニックのデータを、SVMで予測する。同じ訓練データ・テストデータで3つの手法を公平に比べる。

ステップ2-1データを数値に整え、訓練・テストに分ける

SVMは数値を使って距離を測るので、性別を「女性なら1、男性なら0」の数値に直す。

ステップ2-2C と γ を選んでSVMを作る

読み取り方:訓練データの交差検証で cost = 1、gamma = 0.5 が選ばれた。テストデータ214人での正解率は 0.762 である。

ステップ2-3決定木・ナイーブベイズと比べる
手法テストデータの正解率
SVM(RBFカーネル)0.762
決定木(第4回)0.738
ナイーブベイズ(第6回)0.734
全員「死」と予測0.556

考えてみよう:差は 0.02〜0.03 ほどで、テストデータ214人のうち5〜6人分である。set.seed(1) の数を変えて分け方を変えると、順位は入れ替わるだろうか(第4回の例題5と同じ考え方)。

ステップ2-4性別ごとに、年齢と船室等級の境界を描く

読み取り方:女性では、3等船室の大人の付近だけが「死」の領域になる。男性では、幼い子どもの付近だけが「生」の領域になる。第4回の決定木で見つけた条件と、SVMの境界の形を比べてみよう。

Ⅳ 自分の興味のあるデータで分析する

このページの生成AIに、データとRのプログラムを作らせて実行する。上から順にボタンを押していけばよい。

最初にボタンを押したとき、授業用パスコードを聞かれる。授業で伝えたものを入力する。

ステップ1テーマを決めて、データを作らせる

テーマの例:試験に合格するか/商品を買うか/植物がよく育つか(気温・水やり・日照)/体調が良いか(睡眠・運動・食事)

テーマ:  行数:

追加の希望(なくてよい):

(30秒〜1分ほどかかる)
ステップ2分析のプログラムを書かせる
(20〜40秒ほどかかる)
ステップ3プログラムを実行する

ステップ2のプログラムが下の枠に入る。「▶ 実行」を押す。プログラムは自分で書き換えてもよい。

エラーが出たら: (直したプログラムが上の枠に入るので、もう一度「▶ 実行」を押す)

ステップ4結果が妥当かを確かめる
観点確かめ方
カーネルの違い線形カーネルとRBFカーネルの正解率に差があるか。差があれば、直線では分けにくい関係がデータにあると考えられる
過学習していないか選ばれた gamma が大きすぎないか。訓練データとテストデータの正解率に大きな差がないか
境界の形は意図どおりか境界を描く() の図で、データを作らせたときの「ちょうどよい範囲」のような関係が境界の形に表れているか
本当に予測できているか正解率が、「多いほうのクラスを常に答える」場合の正解率より高いか
結果を言い過ぎていないか生成AIのデータは架空である。現実の傾向として主張しない
(参考)生成AIに送った指示文を見る

データを作る指示

(まだ送っていません)

プログラムを書く指示

(まだ送っていません)

課題

このページの最後にある「課題用:生成AIでSVM分析」を利用して、自分で決めたテーマのデータ(生成AIを利用して良い)でSVM(サポートベクターマシン)による分類を行い、その結果を3ページ程度のレポートにして提出せよ。レポートの形式は自由である。

なおファイル名は 学生番号_名前.docx とする。たとえば k24x7777_東女花子.docx である。

(提出方法・期限はWebClassの指示に従うこと)

レポートに入れるとよいもの(例)
  1. テーマと、なぜそのテーマを選んだか
  2. データの説明(予測したい列と、予測に使う列。それぞれどんな値をとるか)
  3. 線形カーネルとRBFカーネルの正解率(テストデータ)と、その差から言えること
  4. 交差検証で選ばれた C と γ、そのときのテストデータの正解率
  5. 境界の図(2列で描いたもの)と、その読み取り
  6. 考察:直線で分けにくい関係はあったか、過学習の気配はないか、「多いほうを常に答える」場合と比べて本当に予測できているか、架空データの限界

生成AIの考察は、そのまま写さず、実行結果の数値と見比べて確かめてから、自分の言葉で書き直すこと。AIの考察に誤りや言い過ぎを見つけたら、それもレポートに書いてよい。

課題用:生成AIでSVM分析(データ作成 → プログラム → 実行 → 考察)

テーマを決めて、上から順に4つのボタンを押していけばよい。結果はレポートの材料として使う。

最初にボタンを押したとき、授業用パスコードを聞かれる。授業で伝えたものを入力する。

[1]データを生成AIに作らせる

テーマの例:試験に合格するか/商品を買うか/植物がよく育つか(気温・水やり・日照)/体調が良いか(睡眠・運動・食事)/試合に勝てるか

テーマ:  行数:

追加の希望(なくてよい):

(30秒〜1分ほどかかる)
[2]分析とグラフのRプログラムを生成AIに書かせる
(20〜40秒ほどかかる)
[3]プログラムを実行して、結果を見る

[2]のプログラムが下の枠に入る。「▶ 実行」を押す。図は右クリック(スマートフォンでは長押し)で保存するか、スクリーンショットを撮ってレポートに貼る。

エラーが出たら: (直したプログラムが上の枠に入るので、もう一度「▶ 実行」を押す)

[4]実行結果をもとに、生成AIに考察を書かせる

[3]の実行結果(文字の出力)を生成AIに渡して、考察を書かせる。図そのものは渡さない。

(30秒〜1分ほどかかる)
まとめレポートの材料をまとめてコピーする

テーマ、データの説明、プログラム、実行結果、AIの考察を1つの文章にまとめてコピーする。Wordに貼り付けて、レポートの下書きに使う。

(参考)生成AIに送った指示文を見る

[1]データを作る指示

(まだ送っていません)

[2]プログラムを書く指示

(まだ送っていません)

[4]考察を書く指示

(まだ送っていません)