第3回 回帰分析とクラスター分析 ―― 機械は、あなたの好みを当てられるか
このページの使い方
- 画面上部の帯が緑になるまで待つ(Rの準備。初回は数十秒かかる)。
- Ⅰ〜Ⅲを順に読み、黒い枠のRプログラムを上から順に「▶ 実行」で動かす(前の枠で作ったものを後で使うため)。
- 「やってみよう」の操作教材は、マウスやスライダーで動かす。
- Ⅴで、生成AIに自分のテーマのデータとプログラムを作らせて分析する。
- 最後の「課題用プログラム」で、データ作成 → プログラム → 実行 → 考察 を行い、レポートにまとめる。
黒い枠のプログラムは自由に書き換えてよい。「元のコードに戻す」で元に戻る。今日の3つの手法は、どれもRに最初から入っている(追加パッケージ不要)。
今日の目標
この3つができるようになれば、今日は合格。
| できるようになること | Rの関数 | 手法 | |
|---|---|---|---|
| ① | 「いくら?」を当てる(数値を予測する) | lm( ) | 回帰分析 |
| ② | 「YES / NO」を当てる(二択を予測する) | glm( ) | ロジスティック回帰 |
| ③ | 似た者を見つける(仲間分けをする) | hclust( ) | クラスター分析 |
Ⅰ 回帰分析:「いくら?」を当てる
あなたは果物屋のお客さんである。7つのかごに「ギリギリ払ってもいい最大の金額」を書いてほしい。相談しない、1つ30秒、「買わない」でも0円とは書かない。
| かご | ぶどう | オレンジ | もも | メロン | あなたの値段 |
|---|---|---|---|---|---|
| 1 | 2 | 1 | 4 | 0 | 円 |
| 2 | 2 | 1 | 1 | 1 | 円 |
| 3 | 1 | 4 | 2 | 0 | 円 |
| 4 | 1 | 3 | 0 | 2 | 円 |
| 5 | 0 | 5 | 1 | 1 | 円 |
| 6 | 3 | 1 | 2 | 1 | 円 |
| 7 | 2 | 2 | 3 | 0 | 円 |
上の表の「あなたの値段」が書けたら、次のステップでその7つの数字を使う。書いていない人は、見本の金額(2500, 2000, 1500, 2200, 1500, 3000, 2000)のまま進んでよい。
あなたが書いたのは「かご全体の値段」だけで、単価は一度も書いていない。それでも、あなたの頭の中には確かに単価がある。それを取り出すのが回帰分析である。先に人力でやってみる。自分の単価を自分で当てられるか、勝負。
やってみよう:採点マシンでスコアを下げろ
7つの金額を自分の数字に書き換え、4つの単価をスライダーで動かす。スコア(誤差二乗和)が小さいほど強い。3分で最高記録を出そう。
Rでも同じ採点ができる。私の金額 を自分の7つの数字に書き換えて、単価を変えながら何度も実行しよう。
スコアの意味:あなたが書いた値段と、単価から計算した理論価格のズレを二乗して合計した数(誤差二乗和)。二乗するのは、プラスのズレとマイナスのズレが打ち消し合わないようにするため。
やってみよう:線を動かして、赤い四角を小さくする
人間は試行錯誤で近づくしかない。機械は式を解いて一発で当てる。ここが今日の分かれ目である。
- 最小二乗法を最初に発表したのはフランスの数学者ルジャンドル(1805年)で、彗星の軌道を観測データから求めるためだった。ドイツのガウスは1809年に発表したが「自分は1795年から使っていた」と主張し、先取権争いになった。ガウスはこの方法で、見失われた小惑星ケレスの位置を予測したことで知られる。
- 「回帰(regression)」という言葉は、イギリスのゴルトン(ダーウィンのいとこ)が1886年に親子の身長の研究で使った。背の高い親の子は親ほど高くならず、平均のほうへ「戻る(regress)」ことを見つけたのが語源で、「数値を予測する」という今の意味とは少しずれている。
| 書き方 | 意味 |
|---|---|
金額 ~ ぶどう + オレンジ + もも + メロン | 「金額を、ぶどう・オレンジ・もも・メロンで説明してください」。~ の左が予測したいもの(目的変数)、右が材料(説明変数) |
+ 0 | 切片を0にする(空のかごは0円だから)。ふつうの回帰分析では付けない |
coef( ) | 求めた係数(この例では単価)を取り出す |
読み取り方:見本の金額では、ぶどう417円・オレンジ61円・もも391円・メロン804円。あなたが3分かけて探した数字と比べてみよう。
読み取り方:見本の金額では、機械のスコアは40,135(かご1つあたり約76円のズレ)。教室では、ほぼ全員が機械に負ける。ただし、機械が「正しい」わけではない。機械は誤差二乗和が最小になる数字を置いただけで、あなたの気持ちを理解したわけではない。
| 記号 | Pr(>|t|) | ざっくり言うと |
|---|---|---|
| *** | 0.001 未満 | まず偶然ではない |
| ** | 0.01 未満 | ほぼ偶然ではない |
| * | 0.05 未満 | 偶然ではなさそう |
| . | 0.1 未満 | あやしい |
| (なし) | 0.1 以上 | 偶然かもしれない |
読み取り方:見本では、ぶどう *、もも *、メロン **、オレンジ(なし)。オレンジの単価61円は、信用していい数字だろうか。
読み取り方:* は「単価が小さい」から付かないのではない。Pr(>|t|) は「本当は効いていないのに、偶然この係数が出る確率」で、データが少ない・ばらつきが小さい・ほかの変数と絡んでいる、といった理由で大きくなる。オレンジは7つのかごで1〜5個とばらついているが、オレンジが多いかごほど値段が低めに付いているため、推定が不安定になっている(標準誤差33.94に対して係数61は約1.8倍しかない)。
クイズ
R-squared = 0.9988、メロンの係数 803.59(**)だったとする。この出力から言えることは?
- メロンが好きだと証明された
- この人は必ずメロンに804円払う
- この7つのデータは、この式でよく説明できる
- メロンの値段が価格を引き上げる原因である
答え
C。R-squared が高いのは「当てはまりがよい」だけで、因果でも、正しさの証明でもない。AとDは因果の主張、Bは「平均的にはそのくらい」を「必ず」と言い換えている。
クラスに必ず数人、「オレンジ = −30円」のような出力が出る人がいる。「オレンジが入っていると、かごの値段が下がる」のだろうか。
| 機械がやったこと | 機械が言っていないこと |
|---|---|
| 誤差二乗和を最小にする数字を置いた。あなたが「オレンジが多いかごにはあまり出せない」と感じて低い値段を書いたなら、計算上マイナスになる | 「オレンジが嫌い」とは言っていない。好き嫌いという概念を機械は持っていない |
読み取り方:残差は「実際 − 予測」。見本では、かご2・4・7が予測より安く、かご1・3・6が予測より高い。新しいかご(全部2個ずつ)は約3,345円と予測された。
読み取り方:メロン100個のかごは「約80,000円」と出る。直線はどこまでも伸びるが、あなたの好みは伸びない。予測できるのは、学習データの範囲の中だけである(これを外挿の危険という)。
読み取り方:たった1件で、ぶどう417円 → 17,146円、もも 391円 → −12,540円のように全部の単価が引きずられる。最小二乗法は「ズレの二乗」を最小にするので、大きく外れた1件の影響を特に強く受ける。「AIが変な答えを出した」の原因の多くは、モデルではなくデータにある。
- Rに最初から入っているデータ
anscombeは、統計学者フランシス・アンスコムが1973年に作ったものである。4組のデータは平均・分散・相関(0.82)・回帰直線(y = 3 + 0.5x)がほぼ同じなのに、散布図はまったく違う。当時の「計算は正確で、グラフはいい加減」という風潮に反論するために作られた。 - データ3は外れ値が1つ、データ4は1点だけで直線が決まっている。summary の数字だけを見ていると、この違いに気づけない。まず plot、それから summary。
| 何をする道具か | たくさんの「結果」と「材料」から、材料1単位あたりの効き目を求める |
|---|---|
| 入力するもの | 目的変数(予測したい数値)+ 説明変数(材料) |
| 出てくるもの | 各材料の係数(Estimate)、当てはまりの良さ(R-squared)、予測値 |
| できること | 見たことのない組み合わせの数値を予測できる |
| できないこと | 因果関係の証明。学習データの範囲外の予測。外れ値への耐性 |
キーワード:最小二乗法/係数/有意性(*)/決定係数/残差/外挿
Ⅱ ロジスティック回帰:「YES / NO」を当てる
| 回帰分析 lm( ) | ロジスティック回帰 glm( ) | |
|---|---|---|
| 予測するもの | 数値(量的変数) | 0 か 1(二値) |
| 出力 | いくら、何cm、何点 | 1 になる確率(0〜1) |
| 例 | かごの値段、明日の気温 | 単位が取れるか、雨が降るか |
| Rの関数 | lm( ) | glm( …, family = binomial ) |
- このS字の曲線(ロジスティック関数)は、ベルギーの数学者フェルフルストが1838〜1847年に、人口の成長をモデル化するために考えた。最初は倍々に増え、やがて環境の限界に近づいて頭打ちになる、という形である。「ロジスティック」という名前の由来は、本人も説明していない。
- この曲線を「0か1かの結果を確率で予測する」ために使うのがロジスティック回帰で、1944年にバークソンが変換の名前「ロジット」を提案し、1950年代以降に医学(病気になるか)や経済学(買うか)で広く使われるようになった。第10回のニューラルネットワークの「シグモイド関数」も、同じ曲線である。
架空の授業「データ分析入門」の受講生40人のデータである(完全な作り話。みなさんの実際の成績とは何の関係もない)。
| 列名 | 内容 | 範囲 |
|---|---|---|
| 出席 | 出席回数 | 0〜15 |
| 課題 | 課題提出数 | 0〜10 |
| スマホ | 授業中にスマホを見た回数(自己申告) | 0〜25 |
| 単位 | 単位が取れたか(1 = 取れた、0 = 落とした) | 0 or 1 |
予想してみよう:出席・課題・スマホのうち、単位が取れるかどうかに「一番効く」のはどれか。
| 変数 | 係数の符号 | 読み方 |
|---|---|---|
| 出席 | +(0.58、*) | 出席するほど取れる |
| 課題 | +(0.62、*) | 課題を出すほど取れる |
| スマホ | −(−0.13、* なし) | スマホを見るほど落とす。ただし確かとは言えない |
当たり前に見える。でも機械は「出席」「課題」という言葉の意味を知らない。数字の並びだけからこれを見つけている。
落とし穴:スマホに * が付かないのはなぜか
符号はマイナス(効いていそう)なのに、Pr(>|z|) = 0.27 で有意ではない。
読み取り方:出席とスマホの相関は −0.49。2つの変数が似た動きをすると、機械はどちらが効いているのか区別できなくなる(多重共線性)。だから「* が付かない = 関係ない」ではない。似た変数を両方入れると、両方とも有意でなくなることがある。入れる変数を選ぶのは人間の仕事で、機械は選んでくれない。
読み取り方:Aさん(まじめだがスマホもよく見る)は 0.92、Bさん(ほとんど来ないが課題は出す)は 0.16。type = "response" を付けると確率が返る。付けないと変換前のスコアが返るので注意。出席を動かすと、確率はS字カーブを描く。
やってみよう:条件としきい値を動かす
読み取り方:40人中7人を、機械は外している。外れた人の数字を見てみよう。出席も課題もそこそこなのに落とした人、出席が少なめなのに取れた人――つまり「平均的な傾向」から外れた人である。正解率100%のモデルは、たいてい何かがおかしい(過学習、またはカンニング)。82.5%で外れる7人こそ、そのモデルの限界を教えてくれるデータである。
読み取り方:しきい値を0.3にすると「取れる」と判定する人が増え、取れた人を見落とす数(4人→1人)は減るが、落とした人を「取れる」と言ってしまう数は増える。0.8ならその逆。どちらの間違いを減らしたいかで、しきい値の正解は変わる。
| 何をする道具か | 材料から「YESになる確率」を求める |
|---|---|
| 入力するもの | 0/1 の結果 + 説明変数 |
| 出てくるもの | 各変数の係数(符号と大きさ)、各データの確率 |
| 読み方のコツ | 係数の符号(+か−か)をまず見る。* は「似た変数」があると消える |
| 使ってはいけない場面 | 本人に不利益が及ぶ判定。少数の人が「外れる17.5%」の側に回される |
考えてみよう:このモデルで実際に学生の成績を判定してはいけない理由を3つ挙げよ。(ヒント:データは架空/40人しかいない/17.5%は外れる/スマホは自己申告/「予測できる」と「判定してよい」は別)
Ⅲ クラスター分析:正解のないデータを分ける
Part1・2には「このかごは2,500円だった」「この学生は単位を取れた」という正解があり、当たったか外れたかを採点できた。クラスター分析には正解がない。似ているものをまとめるだけで、採点はできない。結果が良いか悪いかは、誰が決めるのか――今日の最後の問いである。
昨年度の受講生18人が答えた「苦手な食べ物」のデータである(1 = 苦手、0 = 平気。名前はハンドル名)。
読み取り方:バラバラの0と1の表は読めない。苦手の少ない人を上に、苦手な人の少ない食品を左に並べ替えると、1が右下に集まって形が見えてくる。分析の前に「並べ替える」だけで、見えるものがある。これも立派なデータサイエンスである。
パクチー13人、セロリ11人、レバー11人、ピーマン6人、たくあん2人、チーズ1人、納豆0人。
やってみよう:2人を選んで距離を数える
読み取り方:縦軸は距離。低い位置でつながる=答えがほとんど同じ。高い位置で分かれる=まるで違う。Chico と Genmai は距離0(全問同じ回答)。Harigane は誰とも遠い(ピーマンとチーズだけが苦手、という独特の組み合わせ)。
読み取り方:方法を変えると木の形も変わり、k = 4 で切ったときのメンバーも一部入れ替わる。「どれが正しい」はなく、目的と読みやすさで選ぶ。
- 「クラスター分析」という言葉は、1939年にアメリカの心理学者トライオンが使ったのが最初とされる。似た者をまとめて分類する考え方自体は、生物の分類学(どの種とどの種が近いか)で発達し、1963年のソーカルとスニースの本「数値分類学」で、距離を測って樹形図を描く手順が広まった。
- デンドログラム(dendrogram)の dendro はギリシャ語で「木」。生物の系統樹と同じ形をしているのは、同じ発想から来ているからである。
- 「マンハッタン距離」は、ニューヨークのマンハッタン島の碁盤の目の道路にちなむ名前で、「タクシー距離」とも呼ばれる。ふつうの直線距離(ユークリッド距離)は、0/1のデータにはあまり向かない。
読み取り方:k = 4 で切ると、4人・9人・4人・1人のグループになる。k を 2〜6 に変えると分かれ方が変わる。機械は「4つに分けろ」と言われたから分けただけで、4が正しいかどうかは知らない。一番しっくりくる k はいくつか、なぜか。
読み取り方:グループ2(9人)は「パクチーだけ、またはパクチー+1品が苦手」な多数派、グループ3(4人)は「パクチー・セロリ・レバー・ピーマン」をまとめて苦手な少数派、グループ1(4人)は「パクチーは平気だがレバー・セロリが苦手」、グループ4は Harigane 1人。4つのグループそれぞれに、内容が伝わる名前をつけてみよう(近くの人と相談してよい)。
考えてみよう:どの食べ物どうしが仲間になったか。その組み合わせに共通点はあるか(香りの強い野菜?)。納豆はなぜ孤立しているか(誰も苦手でないので、誰とも似ていない)。同じデータでも、どちらを「個体」と見るかで、まったく違うものが見えてくる。
見るポイント:あなたは誰の隣に立ったか。それは納得できるか。納得できないとしたら、何が足りなかったのか(7つの食べ物だけで「似ている」と言えるのか)。
オレンジの単価がマイナスでも、機械は何も疑わない。4つに分けろと言えば4つに分ける。それが何を意味するのか、使ってよいのかを判断できるのは、データを見ている人間だけである。
| 回帰分析 | ロジスティック回帰 | クラスター分析 | |
|---|---|---|---|
| Rの関数 | lm( ) | glm( family = binomial ) | hclust( ) |
| 種類 | 教師あり学習 | 教師あり学習 | 教師なし学習 |
| 答えたい問い | いくら? 何点? | する? しない? | 誰と誰が似ている? |
| 正解データ | 必要 | 必要 | 不要 |
| 出力 | 係数と予測値 | 確率 | 樹形図(デンドログラム) |
| 人間の仕事 | 変数を選ぶ・解釈する | しきい値を決める | グループに名前をつける |
どれも1〜2行で動く。むずかしいのはコードではなく、「何を入れるか」と「結果をどう読むか」。
次回(第4回)の決定木は、ロジスティック回帰が説明してくれなかった「なぜ 0.83 なのか」を、樹形図で見せてくれる。
Ⅳ 例題データ
| 名前 | 内容 | 使う場所 |
|---|---|---|
かご | 果物マーケットの7つのかごの中身(ぶどう・オレンジ・もも・メロンの個数) | Ⅰ |
見本の金額 | ある学生が7つのかごに付けた金額(円)。自分の金額に置き換えて使う | Ⅰ |
受講生 | 架空の授業の受講生40人(単位・出席・課題・スマホ)。完全な作り話のデータ | Ⅱ |
苦手 | 先輩18人の苦手な食べ物(1=苦手、0=平気)。7品目 | Ⅲ |
用意した関数:採点する(ぶどう, オレンジ, もも, メロン, 金額)。プログラムの中でデータを書き換えてしまったときは、ページを再読み込みすると元に戻る。
Ⅴ 自分の興味のあるデータで分析する(回帰分析)
このページの生成AIに、データとRのプログラムを作らせて実行する。上から順にボタンを押していけばよい。
最初にボタンを押したとき、授業用パスコードを聞かれる。授業で伝えたものを入力する。
テーマの例:中古スマホの価格/アパートの家賃/カフェの売上/ランニングのタイム/ゲームのスコア
テーマ: 行数:
追加の希望(なくてよい):
(30秒〜1分ほどかかる)ステップ2のプログラムが下の枠に入る。「▶ 実行」を押す。プログラムは自分で書き換えてもよい。
エラーが出たら: (直したプログラムが上の枠に入るので、もう一度「▶ 実行」を押す)
| 観点 | 確かめ方 |
|---|---|
| 係数の符号は意図どおりか | 「データの説明」で効くはずの列の係数が、正しい向き(+か−か)になっているか |
| * の有無 | 効くはずの列に * が付いているか。付かない列どうしの相関が強くないか(多重共線性) |
| 当てはまり | R-squared が極端に高い(1.0に近い)なら、データが単純すぎる可能性。散布図で確かめる |
| 外れ値 | 残差が飛び抜けて大きい行がないか。あれば除いて係数がどう変わるか |
| 結果を言い過ぎていないか | 生成AIのデータは架空である。因果関係や現実の傾向として主張しない |
(参考)生成AIに送った指示文を見る
データを作る指示
(まだ送っていません)
プログラムを書く指示
(まだ送っていません)
課題
このページの最後にある「課題用:生成AIで回帰分析・ロジスティック回帰・クラスター分析」を利用して、自分で決めたテーマのデータ(生成AIを利用して良い)で回帰分析・ロジスティック回帰・クラスター分析のいずれか1つによる分析を行い(3つの手法から1つを選ぶ)、その結果を3ページ程度のレポートにして提出せよ。レポートの形式は自由である。
なおファイル名は 学生番号_名前.docx とする。たとえば k24x7777_東女花子.docx である。
(提出方法・期限はWebClassの指示に従うこと)
レポートに入れるとよいもの(例)
- テーマと、なぜそのテーマを選んだか。3つの手法のうちどれを選んだか、なぜその手法か
- データの説明(行数、列の意味、何を予測/分類したいか)
- 〔回帰〕係数と *、R-squared、予測と実際の図 〔ロジスティック〕係数の符号と *、正解率、外した人 〔クラスター〕樹形図、k を変えたときの分かれ方、グループにつけた名前
- 「結果が妥当かを確かめる観点」に沿った考察(係数の符号は意図どおりか、外れ値や多重共線性はないか、k の決め方)
- この結果を現実で使うとしたら、何に注意すべきか(データは架空/因果ではない/人を判定しない)
生成AIの考察は、そのまま写さず、実行結果の数値と見比べて確かめてから、自分の言葉で書き直すこと。AIの考察に誤りや言い過ぎを見つけたら、それもレポートに書いてよい。
課題用:生成AIで回帰分析・ロジスティック回帰・クラスター分析(データ作成 → プログラム → 実行 → 考察)
テーマを決めて、上から順に4つのボタンを押していけばよい。結果はレポートの材料として使う。
最初にボタンを押したとき、授業用パスコードを聞かれる。授業で伝えたものを入力する。
手法:
テーマの例:〔回帰〕中古スマホの価格・アパートの家賃 〔ロジスティック〕試験に合格するか・商品を買うか 〔クラスター〕友人の好みの仲間分け・ラーメン店の分類
テーマ: 行数:
追加の希望(なくてよい):
(30秒〜1分ほどかかる)[2]のプログラムが下の枠に入る。「▶ 実行」を押す。図は右クリック(スマートフォンでは長押し)で保存するか、スクリーンショットを撮ってレポートに貼る。
エラーが出たら: (直したプログラムが上の枠に入るので、もう一度「▶ 実行」を押す)
[3]の実行結果(文字の出力)を生成AIに渡して、考察を書かせる。図そのものは渡さない。
(30秒〜1分ほどかかる)テーマ、データの説明、プログラム、実行結果、AIの考察を1つの文章にまとめてコピーする。Wordに貼り付けて、レポートの下書きに使う。
(参考)生成AIに送った指示文を見る
[1]データを作る指示
(まだ送っていません)
[2]プログラムを書く指示
(まだ送っていません)
[4]考察を書く指示
(まだ送っていません)