R を準備しています…
機械学習の基礎(東京女子大学 2026年度後期)
第3回 回帰分析とクラスター分析
管理

第3回 回帰分析とクラスター分析 ―― 機械は、あなたの好みを当てられるか

このページの使い方

  1. 画面上部の帯が緑になるまで待つ(Rの準備。初回は数十秒かかる)。
  2. Ⅰ〜Ⅲを順に読み、黒い枠のRプログラムを上から順に「▶ 実行」で動かす(前の枠で作ったものを後で使うため)。
  3. 「やってみよう」の操作教材は、マウスやスライダーで動かす。
  4. Ⅴで、生成AIに自分のテーマのデータとプログラムを作らせて分析する。
  5. 最後の「課題用プログラム」で、データ作成 → プログラム → 実行 → 考察 を行い、レポートにまとめる。

黒い枠のプログラムは自由に書き換えてよい。「元のコードに戻す」で元に戻る。今日の3つの手法は、どれもRに最初から入っている(追加パッケージ不要)。

今日の目標

この3つができるようになれば、今日は合格。

できるようになることRの関数手法
①「いくら?」を当てる(数値を予測する)lm( )回帰分析
②「YES / NO」を当てる(二択を予測する)glm( )ロジスティック回帰
③似た者を見つける(仲間分けをする)hclust( )クラスター分析
今日の合言葉:機械は計算する。意味を決めるのは人間。

Ⅰ 回帰分析:「いくら?」を当てる

ステップ1果物マーケット:あなたが値付けをする

あなたは果物屋のお客さんである。7つのかごに「ギリギリ払ってもいい最大の金額」を書いてほしい。相談しない、1つ30秒、「買わない」でも0円とは書かない。

かごぶどうオレンジももメロンあなたの値段
12140   円
22111   円
31420   円
41302   円
50511   円
63121   円
72230   円
なぜこれをやるのか:あなたが書く7つの数字は、世界にひとつだけのデータである。このあと、そのデータから、あなた自身も気づいていない「好みの正体」を機械に暴かせる。

上の表の「あなたの値段」が書けたら、次のステップでその7つの数字を使う。書いていない人は、見本の金額(2500, 2000, 1500, 2200, 1500, 3000, 2000)のまま進んでよい。

ステップ2質問:あなたにとって、ぶどう1粒はいくらか

あなたが書いたのは「かご全体の値段」だけで、単価は一度も書いていない。それでも、あなたの頭の中には確かに単価がある。それを取り出すのが回帰分析である。先に人力でやってみる。自分の単価を自分で当てられるか、勝負。

やってみよう:採点マシンでスコアを下げろ

7つの金額を自分の数字に書き換え、4つの単価をスライダーで動かす。スコア(誤差二乗和)が小さいほど強い。3分で最高記録を出そう。

← 自分の最高記録を出してから押すこと

Rでも同じ採点ができる。私の金額 を自分の7つの数字に書き換えて、単価を変えながら何度も実行しよう。

スコアの意味:あなたが書いた値段と、単価から計算した理論価格のズレを二乗して合計した数(誤差二乗和)。二乗するのは、プラスのズレとマイナスのズレが打ち消し合わないようにするため。

ステップ3あなたがやっていたこと = 最小二乗法
最小二乗法
図1 青い点=実データ、オレンジの線=モデル、赤い四角=ズレの二乗。面積の合計が最小になる線を引くのが最小二乗法

やってみよう:線を動かして、赤い四角を小さくする

傾き: 0.30  切片: 2.0

人間は試行錯誤で近づくしかない。機械は式を解いて一発で当てる。ここが今日の分かれ目である。

トリビア:最小二乗法は、天体の軌道を当てるために生まれた
  • 最小二乗法を最初に発表したのはフランスの数学者ルジャンドル(1805年)で、彗星の軌道を観測データから求めるためだった。ドイツのガウスは1809年に発表したが「自分は1795年から使っていた」と主張し、先取権争いになった。ガウスはこの方法で、見失われた小惑星ケレスの位置を予測したことで知られる。
  • 「回帰(regression)」という言葉は、イギリスのゴルトン(ダーウィンのいとこ)が1886年に親子の身長の研究で使った。背の高い親の子は親ほど高くならず、平均のほうへ「戻る(regress)」ことを見つけたのが語源で、「数値を予測する」という今の意味とは少しずれている。
ステップ4機械の答えは、たった1行:lm( )
書き方意味
金額 ~ ぶどう + オレンジ + もも + メロン「金額を、ぶどう・オレンジ・もも・メロンで説明してください」。~ の左が予測したいもの(目的変数)、右が材料(説明変数)
+ 0切片を0にする(空のかごは0円だから)。ふつうの回帰分析では付けない
coef( )求めた係数(この例では単価)を取り出す

読み取り方:見本の金額では、ぶどう417円・オレンジ61円・もも391円・メロン804円。あなたが3分かけて探した数字と比べてみよう。

読み取り方:見本の金額では、機械のスコアは40,135(かご1つあたり約76円のズレ)。教室では、ほぼ全員が機械に負ける。ただし、機械が「正しい」わけではない。機械は誤差二乗和が最小になる数字を置いただけで、あなたの気持ちを理解したわけではない。

ステップ5summary( ) はここだけ見ればいい
summaryの読み方
図2 summary の出力で見る4か所
記号Pr(>|t|)ざっくり言うと
***0.001 未満まず偶然ではない
**0.01 未満ほぼ偶然ではない
*0.05 未満偶然ではなさそう
.0.1 未満あやしい
(なし)0.1 以上偶然かもしれない

読み取り方:見本では、ぶどう *、もも *、メロン **、オレンジ(なし)。オレンジの単価61円は、信用していい数字だろうか。

読み取り方:* は「単価が小さい」から付かないのではない。Pr(>|t|) は「本当は効いていないのに、偶然この係数が出る確率」で、データが少ない・ばらつきが小さい・ほかの変数と絡んでいる、といった理由で大きくなる。オレンジは7つのかごで1〜5個とばらついているが、オレンジが多いかごほど値段が低めに付いているため、推定が不安定になっている(標準誤差33.94に対して係数61は約1.8倍しかない)。

クイズ

R-squared = 0.9988、メロンの係数 803.59(**)だったとする。この出力から言えることは?

  1. メロンが好きだと証明された
  2. この人は必ずメロンに804円払う
  3. この7つのデータは、この式でよく説明できる
  4. メロンの値段が価格を引き上げる原因である
答え

C。R-squared が高いのは「当てはまりがよい」だけで、因果でも、正しさの証明でもない。AとDは因果の主張、Bは「平均的にはそのくらい」を「必ず」と言い換えている。

ステップ6単価がマイナス!?

クラスに必ず数人、「オレンジ = −30円」のような出力が出る人がいる。「オレンジが入っていると、かごの値段が下がる」のだろうか。

機械がやったこと機械が言っていないこと
誤差二乗和を最小にする数字を置いた。あなたが「オレンジが多いかごにはあまり出せない」と感じて低い値段を書いたなら、計算上マイナスになる「オレンジが嫌い」とは言っていない。好き嫌いという概念を機械は持っていない
数字の意味を決めるのは人間の仕事。AIが出した数字を、そのまま「事実」として受け取ってはいけない。ニュースで見る「AIが〇〇と判定」も、中身はこういう計算であることが多い。
ステップ7見たことのないかごの値段を当てる

読み取り方:残差は「実際 − 予測」。見本では、かご2・4・7が予測より安く、かご1・3・6が予測より高い。新しいかご(全部2個ずつ)は約3,345円と予測された。

外挿
図3 外挿。学習データの範囲の外は、予測してよい範囲ではない

読み取り方:メロン100個のかごは「約80,000円」と出る。直線はどこまでも伸びるが、あなたの好みは伸びない。予測できるのは、学習データの範囲の中だけである(これを外挿の危険という)。

ステップ8実験:モデルを壊してみる
外れ値
図4 デタラメな1件で、単価が全部壊れる

読み取り方:たった1件で、ぶどう417円 → 17,146円、もも 391円 → −12,540円のように全部の単価が引きずられる。最小二乗法は「ズレの二乗」を最小にするので、大きく外れた1件の影響を特に強く受ける。「AIが変な答えを出した」の原因の多くは、モデルではなくデータにある。

アンスコムの4つ組
図5 アンスコムの4つ組。数値が同じでも、グラフは別物
トリビア:「数値は正確、グラフは大ざっぱ」への反論
  • Rに最初から入っているデータ anscombe は、統計学者フランシス・アンスコムが1973年に作ったものである。4組のデータは平均・分散・相関(0.82)・回帰直線(y = 3 + 0.5x)がほぼ同じなのに、散布図はまったく違う。当時の「計算は正確で、グラフはいい加減」という風潮に反論するために作られた。
  • データ3は外れ値が1つ、データ4は1点だけで直線が決まっている。summary の数字だけを見ていると、この違いに気づけない。まず plot、それから summary。
ステップ9ここまでのまとめ:回帰分析
何をする道具かたくさんの「結果」と「材料」から、材料1単位あたりの効き目を求める
入力するもの目的変数(予測したい数値)+ 説明変数(材料)
出てくるもの各材料の係数(Estimate)、当てはまりの良さ(R-squared)、予測値
できること見たことのない組み合わせの数値を予測できる
できないこと因果関係の証明。学習データの範囲外の予測。外れ値への耐性

キーワード:最小二乗法/係数/有意性(*)/決定係数/残差/外挿

Ⅱ ロジスティック回帰:「YES / NO」を当てる

ステップ1答えが「数値」ではなく「する/しない」のとき
回帰分析 lm( )ロジスティック回帰 glm( )
予測するもの数値(量的変数)0 か 1(二値)
出力いくら、何cm、何点1 になる確率(0〜1)
例かごの値段、明日の気温単位が取れるか、雨が降るか
Rの関数lm( )glm( …, family = binomial )
S字
図6 ふつうの回帰で0/1を予測すると確率が0〜1からはみ出す。ロジスティック回帰はS字に曲げて0〜1に押し込む
ロジスティック回帰が返すのは「YES/NO」そのものではなく、確率。0.83 と出たら「83%の確率でYES」。どこで線を引くか(0.5か、0.8か)は人間が決める。
トリビア:S字は「人口の成長」から来た
  • このS字の曲線(ロジスティック関数)は、ベルギーの数学者フェルフルストが1838〜1847年に、人口の成長をモデル化するために考えた。最初は倍々に増え、やがて環境の限界に近づいて頭打ちになる、という形である。「ロジスティック」という名前の由来は、本人も説明していない。
  • この曲線を「0か1かの結果を確率で予測する」ために使うのがロジスティック回帰で、1944年にバークソンが変換の名前「ロジット」を提案し、1950年代以降に医学(病気になるか)や経済学(買うか)で広く使われるようになった。第10回のニューラルネットワークの「シグモイド関数」も、同じ曲線である。
ステップ2データ:この学生は単位が取れるか

架空の授業「データ分析入門」の受講生40人のデータである(完全な作り話。みなさんの実際の成績とは何の関係もない)。

列名内容範囲
出席出席回数0〜15
課題課題提出数0〜10
スマホ授業中にスマホを見た回数(自己申告)0〜25
単位単位が取れたか(1 = 取れた、0 = 落とした)0 or 1

予想してみよう:出席・課題・スマホのうち、単位が取れるかどうかに「一番効く」のはどれか。

ステップ3glm( ) で二値を予測する
変数係数の符号読み方
出席+(0.58、*)出席するほど取れる
課題+(0.62、*)課題を出すほど取れる
スマホ−(−0.13、* なし)スマホを見るほど落とす。ただし確かとは言えない

当たり前に見える。でも機械は「出席」「課題」という言葉の意味を知らない。数字の並びだけからこれを見つけている。

落とし穴:スマホに * が付かないのはなぜか

符号はマイナス(効いていそう)なのに、Pr(>|z|) = 0.27 で有意ではない。

多重共線性
図7 多重共線性。「出席していない人ほどスマホを見ている」ので、どちらの手柄か区別できない

読み取り方:出席とスマホの相関は −0.49。2つの変数が似た動きをすると、機械はどちらが効いているのか区別できなくなる(多重共線性)。だから「* が付かない = 関係ない」ではない。似た変数を両方入れると、両方とも有意でなくなることがある。入れる変数を選ぶのは人間の仕事で、機械は選んでくれない。

ステップ4予測:この学生が単位を取れる確率

読み取り方:Aさん(まじめだがスマホもよく見る)は 0.92、Bさん(ほとんど来ないが課題は出す)は 0.16。type = "response" を付けると確率が返る。付けないと変換前のスコアが返るので注意。出席を動かすと、確率はS字カーブを描く。

やってみよう:条件としきい値を動かす

しきい値
図8 しきい値を動かすと「取れる」と判定される人が変わる。どこで切るかは目的しだいで、決めるのは人間
ステップ5正解率は 82.5% ―― 残り 17.5% は誰か

読み取り方:40人中7人を、機械は外している。外れた人の数字を見てみよう。出席も課題もそこそこなのに落とした人、出席が少なめなのに取れた人――つまり「平均的な傾向」から外れた人である。正解率100%のモデルは、たいてい何かがおかしい(過学習、またはカンニング)。82.5%で外れる7人こそ、そのモデルの限界を教えてくれるデータである。

読み取り方:しきい値を0.3にすると「取れる」と判定する人が増え、取れた人を見落とす数(4人→1人)は減るが、落とした人を「取れる」と言ってしまう数は増える。0.8ならその逆。どちらの間違いを減らしたいかで、しきい値の正解は変わる。

ステップ6ここまでのまとめ:ロジスティック回帰
何をする道具か材料から「YESになる確率」を求める
入力するもの0/1 の結果 + 説明変数
出てくるもの各変数の係数(符号と大きさ)、各データの確率
読み方のコツ係数の符号(+か−か)をまず見る。* は「似た変数」があると消える
使ってはいけない場面本人に不利益が及ぶ判定。少数の人が「外れる17.5%」の側に回される

考えてみよう:このモデルで実際に学生の成績を判定してはいけない理由を3つ挙げよ。(ヒント:データは架空/40人しかいない/17.5%は外れる/スマホは自己申告/「予測できる」と「判定してよい」は別)

Ⅲ クラスター分析:正解のないデータを分ける

ステップ1ここまでとの決定的な違い:「正解」がない
教師あり学習と教師なし学習
図9 Ⅰ・Ⅱには正解があった(教師あり学習)。Ⅲには正解がない(教師なし学習)

Part1・2には「このかごは2,500円だった」「この学生は単位を取れた」という正解があり、当たったか外れたかを採点できた。クラスター分析には正解がない。似ているものをまとめるだけで、採点はできない。結果が良いか悪いかは、誰が決めるのか――今日の最後の問いである。

ステップ2データ:先輩18人の「苦手な食べ物」

昨年度の受講生18人が答えた「苦手な食べ物」のデータである(1 = 苦手、0 = 平気。名前はハンドル名)。

読み取り方:バラバラの0と1の表は読めない。苦手の少ない人を上に、苦手な人の少ない食品を左に並べ替えると、1が右下に集まって形が見えてくる。分析の前に「並べ替える」だけで、見えるものがある。これも立派なデータサイエンスである。

パクチー13人、セロリ11人、レバー11人、ピーマン6人、たくあん2人、チーズ1人、納豆0人。

ステップ3似ている =「距離が近い」
マンハッタン距離
図10 マンハッタン距離。0/1の答えなら「何か所ちがうか」

やってみよう:2人を選んで距離を数える

1人目: 2人目:
デンドログラムの読み方
図11 デンドログラム(樹形図)の読み方。下でつながるほどそっくり、横に切るとグループになる

読み取り方:縦軸は距離。低い位置でつながる=答えがほとんど同じ。高い位置で分かれる=まるで違う。Chico と Genmai は距離0(全問同じ回答)。Harigane は誰とも遠い(ピーマンとチーズだけが苦手、という独特の組み合わせ)。

グループ間の距離
図12 グループどうしの距離の測り方(method)。今日は complete を使う

読み取り方:方法を変えると木の形も変わり、k = 4 で切ったときのメンバーも一部入れ替わる。「どれが正しい」はなく、目的と読みやすさで選ぶ。

トリビア:樹形図は「生物の分類」から来た
  • 「クラスター分析」という言葉は、1939年にアメリカの心理学者トライオンが使ったのが最初とされる。似た者をまとめて分類する考え方自体は、生物の分類学(どの種とどの種が近いか)で発達し、1963年のソーカルとスニースの本「数値分類学」で、距離を測って樹形図を描く手順が広まった。
  • デンドログラム(dendrogram)の dendro はギリシャ語で「木」。生物の系統樹と同じ形をしているのは、同じ発想から来ているからである。
  • 「マンハッタン距離」は、ニューヨークのマンハッタン島の碁盤の目の道路にちなむ名前で、「タクシー距離」とも呼ばれる。ふつうの直線距離(ユークリッド距離)は、0/1のデータにはあまり向かない。
ステップ4木を横に切ると、グループができる

読み取り方:k = 4 で切ると、4人・9人・4人・1人のグループになる。k を 2〜6 に変えると分かれ方が変わる。機械は「4つに分けろ」と言われたから分けただけで、4が正しいかどうかは知らない。一番しっくりくる k はいくつか、なぜか。

ステップ5作業:グループに名前をつける

読み取り方:グループ2(9人)は「パクチーだけ、またはパクチー+1品が苦手」な多数派、グループ3(4人)は「パクチー・セロリ・レバー・ピーマン」をまとめて苦手な少数派、グループ1(4人)は「パクチーは平気だがレバー・セロリが苦手」、グループ4は Harigane 1人。4つのグループそれぞれに、内容が伝わる名前をつけてみよう(近くの人と相談してよい)。

名前をつけるのは人間の仕事。機械はグループを作るだけで、それが何を意味するかは教えてくれない。
ステップ6食べ物のほうをクラスター分析する

考えてみよう:どの食べ物どうしが仲間になったか。その組み合わせに共通点はあるか(香りの強い野菜?)。納豆はなぜ孤立しているか(誰も苦手でないので、誰とも似ていない)。同じデータでも、どちらを「個体」と見るかで、まったく違うものが見えてくる。

ステップ7自分を混ぜてみる

見るポイント:あなたは誰の隣に立ったか。それは納得できるか。納得できないとしたら、何が足りなかったのか(7つの食べ物だけで「似ている」と言えるのか)。

ステップ8今日いちばん大事なこと
機械は計算する。意味を決めるのは人間。
オレンジの単価がマイナスでも、機械は何も疑わない。4つに分けろと言えば4つに分ける。それが何を意味するのか、使ってよいのかを判断できるのは、データを見ている人間だけである。
回帰分析ロジスティック回帰クラスター分析
Rの関数lm( )glm( family = binomial )hclust( )
種類教師あり学習教師あり学習教師なし学習
答えたい問いいくら? 何点?する? しない?誰と誰が似ている?
正解データ必要必要不要
出力係数と予測値確率樹形図(デンドログラム)
人間の仕事変数を選ぶ・解釈するしきい値を決めるグループに名前をつける

どれも1〜2行で動く。むずかしいのはコードではなく、「何を入れるか」と「結果をどう読むか」。

歴史
図13 今日の3つの手法の歴史

次回(第4回)の決定木は、ロジスティック回帰が説明してくれなかった「なぜ 0.83 なのか」を、樹形図で見せてくれる。

Ⅳ 例題データ

名前内容使う場所
かご果物マーケットの7つのかごの中身(ぶどう・オレンジ・もも・メロンの個数)Ⅰ
見本の金額ある学生が7つのかごに付けた金額(円)。自分の金額に置き換えて使うⅠ
受講生架空の授業の受講生40人(単位・出席・課題・スマホ)。完全な作り話のデータⅡ
苦手先輩18人の苦手な食べ物(1=苦手、0=平気)。7品目Ⅲ

用意した関数:採点する(ぶどう, オレンジ, もも, メロン, 金額)。プログラムの中でデータを書き換えてしまったときは、ページを再読み込みすると元に戻る。

Ⅴ 自分の興味のあるデータで分析する(回帰分析)

このページの生成AIに、データとRのプログラムを作らせて実行する。上から順にボタンを押していけばよい。

最初にボタンを押したとき、授業用パスコードを聞かれる。授業で伝えたものを入力する。

ステップ1テーマを決めて、データを作らせる

テーマの例:中古スマホの価格/アパートの家賃/カフェの売上/ランニングのタイム/ゲームのスコア

テーマ:  行数:

追加の希望(なくてよい):

(30秒〜1分ほどかかる)
ステップ2分析のプログラムを書かせる
(20〜40秒ほどかかる)
ステップ3プログラムを実行する

ステップ2のプログラムが下の枠に入る。「▶ 実行」を押す。プログラムは自分で書き換えてもよい。

エラーが出たら: (直したプログラムが上の枠に入るので、もう一度「▶ 実行」を押す)

ステップ4結果が妥当かを確かめる
観点確かめ方
係数の符号は意図どおりか「データの説明」で効くはずの列の係数が、正しい向き(+か−か)になっているか
* の有無効くはずの列に * が付いているか。付かない列どうしの相関が強くないか(多重共線性)
当てはまりR-squared が極端に高い(1.0に近い)なら、データが単純すぎる可能性。散布図で確かめる
外れ値残差が飛び抜けて大きい行がないか。あれば除いて係数がどう変わるか
結果を言い過ぎていないか生成AIのデータは架空である。因果関係や現実の傾向として主張しない
(参考)生成AIに送った指示文を見る

データを作る指示

(まだ送っていません)

プログラムを書く指示

(まだ送っていません)

課題

このページの最後にある「課題用:生成AIで回帰分析・ロジスティック回帰・クラスター分析」を利用して、自分で決めたテーマのデータ(生成AIを利用して良い)で回帰分析・ロジスティック回帰・クラスター分析のいずれか1つによる分析を行い(3つの手法から1つを選ぶ)、その結果を3ページ程度のレポートにして提出せよ。レポートの形式は自由である。

なおファイル名は 学生番号_名前.docx とする。たとえば k24x7777_東女花子.docx である。

(提出方法・期限はWebClassの指示に従うこと)

レポートに入れるとよいもの(例)
  1. テーマと、なぜそのテーマを選んだか。3つの手法のうちどれを選んだか、なぜその手法か
  2. データの説明(行数、列の意味、何を予測/分類したいか)
  3. 〔回帰〕係数と *、R-squared、予測と実際の図 〔ロジスティック〕係数の符号と *、正解率、外した人 〔クラスター〕樹形図、k を変えたときの分かれ方、グループにつけた名前
  4. 「結果が妥当かを確かめる観点」に沿った考察(係数の符号は意図どおりか、外れ値や多重共線性はないか、k の決め方)
  5. この結果を現実で使うとしたら、何に注意すべきか(データは架空/因果ではない/人を判定しない)

生成AIの考察は、そのまま写さず、実行結果の数値と見比べて確かめてから、自分の言葉で書き直すこと。AIの考察に誤りや言い過ぎを見つけたら、それもレポートに書いてよい。

課題用:生成AIで回帰分析・ロジスティック回帰・クラスター分析(データ作成 → プログラム → 実行 → 考察)

テーマを決めて、上から順に4つのボタンを押していけばよい。結果はレポートの材料として使う。

最初にボタンを押したとき、授業用パスコードを聞かれる。授業で伝えたものを入力する。

[1]データを生成AIに作らせる

手法:

テーマの例:〔回帰〕中古スマホの価格・アパートの家賃 〔ロジスティック〕試験に合格するか・商品を買うか 〔クラスター〕友人の好みの仲間分け・ラーメン店の分類

テーマ:  行数:

追加の希望(なくてよい):

(30秒〜1分ほどかかる)
[2]分析とグラフのRプログラムを生成AIに書かせる
(20〜40秒ほどかかる)
[3]プログラムを実行して、結果を見る

[2]のプログラムが下の枠に入る。「▶ 実行」を押す。図は右クリック(スマートフォンでは長押し)で保存するか、スクリーンショットを撮ってレポートに貼る。

エラーが出たら: (直したプログラムが上の枠に入るので、もう一度「▶ 実行」を押す)

[4]実行結果をもとに、生成AIに考察を書かせる

[3]の実行結果(文字の出力)を生成AIに渡して、考察を書かせる。図そのものは渡さない。

(30秒〜1分ほどかかる)
まとめレポートの材料をまとめてコピーする

テーマ、データの説明、プログラム、実行結果、AIの考察を1つの文章にまとめてコピーする。Wordに貼り付けて、レポートの下書きに使う。

(参考)生成AIに送った指示文を見る

[1]データを作る指示

(まだ送っていません)

[2]プログラムを書く指示

(まだ送っていません)

[4]考察を書く指示

(まだ送っていません)