第1回 ガイダンス・R入門 ―― データ探偵、入門。
コンピュータに「学習」させ、データの中の犯人(=法則)を見つける
このページの使い方
- 画面上部の帯が緑になるまで待つ(Rの準備。初回は数十秒かかる)。
- Ⅰ〜Ⅵを順に読み、黒い枠のRプログラムを上から順に「▶ 実行」で動かす(前の枠で作ったものを後で使うため)。プログラミング経験ゼロでよい。
- 「やってみよう」の操作教材は、マウスやスライダーで動かす。「やってみよう」のRは、自分で書き換えて試す小課題である(正解は1つではない。壊れても「元のコードに戻す」で直る)。
- Ⅷで、生成AIに自分のテーマのデータとプログラムを作らせて分析する。
- 最後の「課題用プログラム」で、データ作成 → プログラム → 実行 → 考察 を行い、レポートにまとめる。
黒い枠のプログラムは自由に書き換えてよい。「元のコードに戻す」で元に戻る。同じプログラム(変数名は英語)が「第01回_R実習.txt」にも入っており、Google Colab に貼って動かすこともできる。
今日の目標
この3つができるようになれば、今日は合格。「今日は説明だけ」ではなく、実際に手を動かして終わる。
| できるようになること | 道具 | |
|---|---|---|
| ① | この授業で何ができるようになるか、15回の地図を手に入れる | Ⅱの地図 |
| ② | R を動かす(プログラミング経験ゼロでOK) | このページの黒い枠、Google Colab |
| ③ | 「10行の機械学習」を自分の手で実行し、コンピュータに予測させ、花の名前を当てさせて正解率を測る | lm( )、rpart( )、knn( ) |
Ⅰ 機械学習とは:ルールを「見つけさせる」
答え
全部。あなたは今日すでに、機械学習に10回以上さわっている。おすすめは「あなたに似た人が見た動画」、顔認証は「写真→本人かどうか」、迷惑メールは「文面→迷惑かどうか」、発注数は「天気と曜日と過去の売上→明日の数」。どれも、人間がルールを書いたのではなく、データから機械がルールを見つけたものである。
迷惑メールを例にする。これまでのプログラムは、人間がルールを全部書いた。「件名に『無料』があれば迷惑」「知らない送信者なら迷惑」……。例外が出るたびに書き直しで、きりがない。機械学習は逆で、迷惑メール1万通とふつうのメール1万通を渡すと、「見分けるルール」のほうが勝手にできあがる。
- 「機械学習(machine learning)」という言葉を広めたのは、IBMのアーサー・サミュエルである。1959年の論文「チェッカー(西洋のはさみ将棋)を使った機械学習の研究」で、自分と対戦して強くなるプログラムを発表した。コンピュータが「書かれたとおりに動く機械」から「経験で上達する機械」に変わった瞬間である。
- 迷惑メールの振り分けが機械学習で一気に実用になったのは2002年ごろ。それまでの「禁止ワード方式」は、送信側が「無料」を「無 料」と書くだけで抜けられた。データから学ぶ方式は、そういう小細工ごと学んでしまう。
- シャーロック・ホームズのせりふに「データだ!データだ!データだ!粘土がなければレンガは作れない」(『ぶな屋敷』1892年)がある。130年前の探偵も、推理の前にデータを欲しがった。
| 種類 | 渡すもの | 機械がすること | この授業では |
|---|---|---|---|
| 教師あり学習 | 例 + 正解(写真と「猫」、勉強時間と点数) | 新しい例の正解を当てる | メイン。今日のミッション3・4、第3・4・7・10・11回 |
| 教師なし学習 | 例だけ(正解なし) | 似たもの同士を見つける、まとめる | 第3回(クラスター)、第5回、第12回 |
| 強化学習 | 環境と、ご褒美のルール | 試行錯誤して、ご褒美が最大になる行動を覚える | 第11回で紹介。似た発想の「最適化」が第8・9回 |
質問:あなたが今日使ったアプリ(おすすめ・顔認証・迷惑メール・翻訳・地図の到着時刻)は、それぞれどれに当たるか。正解が付いているかどうかで考える。
これから出てくる事例は、すべてこの3段で読む。証拠(どんなデータを集めたか)、捜査(どう分析したか)、解決(何が新しくできるようになったか)。
- バレーボール日本代表:選手とボールの位置・プレイ内容をアナリストが入力し(証拠)、機械学習で相手セッターの次の行動を予測した(捜査)。2012年ロンドン五輪で銅メダル(解決)。参考:ITmedia 2017年7月20日。
- 東北大学のAIチャットボット:学生から寄せられる言い回しがバラバラな質問(証拠)を、自然言語処理でQAパターンとして学習し(捜査)、限られた人手でも学生サポートが増えた(解決)。参考:NEC wisdom 2022年12月26日。
- 今日のあなた:5人の勉強時間と点数(証拠)から、
lm( )が直線を見つけ(捜査)、「週4時間なら約81点」と予測する(解決)。規模は違うが、やることは同じである。
Ⅱ この授業の地図と、道具とルール
第1回の今日は、R を動かし、「10行の機械学習」で予測し、花の名前を当てて正解率を測る。第2回はデータを集める道具(アンケートフォームと正規表現)、第3回からは毎回1つずつ捜査法が増える。各回のページは、今日と同じ形(読む → Rを動かす → 操作教材で試す → 自分のデータで分析 → 課題)である。
| 道具 | 何に使うか | ルール |
|---|---|---|
| この授業サイト | 解説を読む。黒い枠のRをその場で動かす。操作教材で試す。生成AIにデータとプログラムを作らせる | ブラウザだけで動く。黒い枠は自由に書き換えてよい |
| Google Colaboratory(R) | 自分の「捜査ノート」。授業のプログラムを自分で書き換えて保存し、課題で使う | インストール不要。ランタイムを R にする(下の手順) |
| 隣の人 | 実習中の相談・見せ合い | 推奨。ただし提出物は自分の手で書き換えたもの |
| 生成AI | 調べる・聞く・直してもらう・このページで作らせる | 使ってよい。条件はステップ3 |
今日のコードは「第01回_R実習.txt」にもすべて入っている(変数名は英語)。このページの黒い枠と同じ内容で、変数名だけ日本語にしてある。どちらで動かしてもよい。
- エラーメッセージの意味を聞く
- 「このコードは何をしている?」と解説させる
- 自分で書いたコードを直してもらい、差分を読む
- 用語の説明を自分の言葉に直す
- このページの「自分のデータで分析」で、データとプログラムを作らせ、結果を自分で読む
- 課題文を貼って、出力をそのまま提出
- 内容を説明できないコードを提出
- レポートの文章を生成させて出典なしで使う
- AIの考察に書かれた数値を、実行結果と照らさずに写す
Ⅲ 探偵の基礎:データの「種類」を見分ける
次の4つは、どれも数字で書ける。しかし「平均」を取って意味があるのは一部だけである。学籍番号の平均、人気ランキングの平均、気温の平均、身長の平均。どれが意味を持つか。
| 例 | 尺度 | できること | 分類 |
|---|---|---|---|
| 学籍番号 | 名義尺度 | ただの名札。同じか違うかだけ。足しても引いても無意味 | 質的変数(カテゴリ) |
| 人気ランキング 1位・2位・3位 | 順序尺度 | 順番には意味。でも1位と2位の「差」は不明 | |
| 気温 20℃・25℃ | 間隔尺度 | 差に意味。ただし 0℃ は「温度がない」ではない(2倍とは言えない) | 量的変数(数値) |
| 身長 160cm・170cm | 比例尺度 | 差にも比にも意味。0 が本当の 0 |
lm( ) は量的変数(点数)を当て、決定木は質的変数(花の種類)を当てる。第4回以降、「何を当てるか」で手法を選ぶ場面が何度も出てくる。読み取り方:Rは学籍番号の平均も文句を言わずに計算する。計算できることと、意味があることは別である。意味を決めるのは人間(探偵)の仕事で、ここを機械に任せることはできない。
やってみよう:尺度クイズ
10個のデータについて、4つの尺度のどれかを選んで「答え合わせ」を押す。迷ったら「平均を取って意味があるか」「0 が本当の 0 か」で考える。
Ⅳ 捜査ノートを開く:R入門(ミッション0〜2)
下の黒い枠の「▶ 実行」を押す。[1] 6 と出れば準備完了。x <- 3 は「x に 3 を入れる」。<- は矢印の形をした「入れる」の記号である(= でも動くが、この授業では矢印で統一する)。
Colab で同じことをして NameError が出たら、ランタイムが Python になっている。「ランタイム」→「ランタイムのタイプを変更」→「R」→ 保存のあと再実行。
まず電卓として使う。掛け算が先、カッコが先という算数のルールはそのまま。行の右の # から先はメモで、実行されない。
次に、値に名前をつけて覚えさせる(変数)。名前は日本語でもよい。
そして、まとめて扱う(ベクトル)。c( ) は combine(くっつける)の c。5個でも5万個でも、同じ1行で合計・平均・値上げができる。ここが電卓との決定的な違いである。
やってみよう1
(a) 自分の1週間の「何か」(歩数、睡眠時間、動画視聴時間……)を 自分のデータ に入れて、平均と最大を出す。(b) length(自分のデータ) は何が出るか、予想してから実行。
データ分析の基本形は「表」である。R では data.frame という。1行が1人、1列が1つの項目。str( ) で列ごとの型が見える(num=数値、chr=文字)。
$ で列を取り出し、[ 条件, ] で行を選ぶ。カンマの右を空にすると「すべての列」。== は「等しいか」(= 1つだと「入れる」になってしまう)。
データ探偵の第一歩は「見る」こと。数字の表を眺めるより、グラフにしたほうが一瞬で分かる。
読み取り方:右上がりに並んでいる。「勉強時間が長いほど点が高い」と言えそうである。ただし5人しかいない。この「言えそう」を数字にするのが次のミッションである。
やってみよう2
(a) 6人目(自分でもよい)を rbind で追加する。(b) 吹奏楽部だけを取り出す。(c) 「勉強時間が長いほど点が高い」と言えそうか、グラフを見て一言で。
- R は1993年、ニュージーランドのオークランド大学のロス・イハカとロバート・ジェントルマンが公開した。統計の授業で使える手軽なソフトが欲しかったのが動機で、2人の名前の頭文字が R だった。先行する言語 S に似せて作られている。
- バージョン 1.0.0 の公開は2000年2月29日。うるう日をわざわざ選んだ。
- Google Colaboratory は2017年公開。ブラウザだけでプログラムを動かせるので、インストールでつまずく人がいなくなった。このページは、さらに一歩進めて、ブラウザの中で R そのものを動かしている(webR)。
Ⅴ 10行で機械学習:「勉強時間 → 点数」を学ばせる
「勉強時間 → 点数」の関係を、データから機械に見つけさせる。lm(点数 ~ 勉強時間) と書く。読み方は「点数を、勉強時間で説明せよ」。~(チルダ)は「〜で説明する」の記号である。これが機械学習の最小単位で、人間はルールを書いていないことに注目。
読み取り方:(Intercept) 41.18 が切片(勉強0時間でも41点)、勉強時間 10.01 が傾き(1時間ふえると10点上がる)。人間は「1時間あたり何点」というルールを一切書いていない。lm( ) が5人分のデータから「点数 = およそ 41 + 10 × 時間」という法則を自分で見つけた。これが「学習」である。
学習したモデルに、新しい値を入れると予測が返る。predict(モデル, data.frame(勉強時間 = 4)) で「週4時間なら約81点」。
勉強時間に 100 を入れると 1042点。満点は100点なのに。機械学習は「データの範囲の外」では当てにならない(外挿という)。探偵も、見たことのない証拠には弱い。
もう1つ。りくの点数を 45 から 95 に変えて(入力ミスや、たまたまの高得点)、もう一度 lm を実行する。直線はどれくらい動くか。
読み取り方:傾きが 10 → 3 まで寝た。5人しかいないデータでは、たった1人で結論が変わる。これを外れ値の影響という。「データが少ないときは、結果を言い過ぎない」が、今日覚えて帰る教訓の1つである(外挿と外れ値は第3回でくわしく)。
やってみよう:予測マシン
勉強時間のスライダーで予測点を見る。「100時間」を押すと何点になるか。りくの点数のスライダーを動かすと、直線がどれだけ動くか。緑の帯がデータのある範囲である。
Ⅵ 花の名前を当てさせる:正解率を競おう
R に最初から入っている有名データ iris(アヤメ150本、3種類×50本)。がくと花びらの長さ・幅(cm)から、3種類のどれかを当てる。このページでは列名を日本語にした アヤメ を用意してある。
読み取り方:花びらの長さと幅だけで、setosa(赤)は完全に離れている。versicolor(青)と virginica(緑)は境目で少し混ざる。「どの数字が効くか」は、グラフを見た時点でかなり見当がつく。
150本全部で練習すると、答えを丸暗記しただけか実力かが分からない。そこで、ランダムに100本を練習用にし、残り50本を本番用として学習には見せない。set.seed(1) はサイコロの目を固定する命令で、誰がやっても同じ100本が選ばれる。
rpart(種類 ~ ., data = 練習用) は「種類を、残り全部(.)から当てろ」。見つかったルールは if-then の木の形で出てくる(しくみは第4回)。
本番用50本で答え合わせをする。table(予想, 正解) は混同行列と呼ばれ、対角線が正解である。
読み取り方:正解率 96%。外したのは2本で、どちらも versicolor と virginica の取り違え(図の境目の花)。setosa は1本も外していない。木を絵にすると、質問の順番が見える。
(a) set.seed の数字を自分の好きな数に変えて再実行する。正解率は変わるか。(b) 練習用を 100本 → 20本 に減らすと?
読み取り方:同じ手法でも「どのデータで練習したか」で結果が変わる。seed = 1 なら 96%、seed によっては 86% や 98% になる。20本に減らすと 60% 台に落ち、木も浅くなる(質問が1つだけになる)。本番用で測った正解率は、「1回のくじの結果」である。
やってみよう:正解率くじ
ボタンを押すたびに、seed をランダムに引いて(1〜30)、決定木の正解率を表示する。100本と20本を3回以上ずつ引いて、平均とばらつきを比べる。
(数値は、このページと同じ R で seed 1〜30 を実際に計算したもの。)
(c) 自分で花を1本作って、何と判定されるか試す。数字を変えると判定は変わるか。どの数字が効いているか。
読み取り方:花びら長 4.5・花びら幅 1.5 なら versicolor(確率 0.89)。がくの長さや幅をいくら変えても判定は変わらない。木が使っていないからである。花びら幅を 1.8 にすると virginica に変わる。
同じ問題を k近傍法(kNN)で解く。ルールを作らず、「新しい花の近くにいる k 本の花の多数決」で種類を決める、いちばん素朴な探偵である。
読み取り方:k = 3 で正解率 96%、決定木と互角。k = 1〜15 ではほぼ同じだが、k = 50 で下がり、k = 99(練習用100本のほぼ全部)では 38% まで落ちる。遠い花まで多数決に入れると、「いちばん多い種類」としか答えなくなるからである。
やってみよう:kNN を目で見る
グラフをクリックして新しい花を置き、k のスライダーを動かす。黒い縁の点が「近い k 本」。多数決の結果が下に出る(150本全部を使っている)。
決定木と kNN、今日のデータではどちらが強かったか。「どんなときに逆転しそうか」を想像して一言で書く(ヒント:kNN は「近さ」を測るので、単位の違う項目が混ざると弱い。決定木は項目ごとに区切るので単位を気にしない)。
上級:部員 で「勉強時間と点数から部活を当てる」木を作ると何が起きるか。
読み取り方:根(root)だけで、枝が1本もない。5人しかいないので、分ける前に「分けない」と決めてしまう。データの量が足りないと、そもそも学習できない。今日の2つ目の教訓である。
irisは、植物学者エドガー・アンダーソンがカナダのガスペ半島で採集した150本の測定値で、統計学者ロナルド・フィッシャーが1936年の論文で使って有名になった。以来90年、世界中の入門者が最初に当てるのはこの花である。- k近傍法は1951年、アメリカ空軍の報告書(フィックスとホッジズ)に初めて登場した。正式な論文としては公表されず、理論を整えたのは1967年のカバーとハートである。「似た人の真似をする」という素朴な方法が、いまでもおすすめ機能の土台にある。
- 「決定木」の中身と、「ランダムフォレスト」という100本の木の多数決は第4回で。今日の kNN の「多数決」が、そこで再登場する。
Ⅶ 例題データ
| 名前 | 内容 | 使う場所 |
|---|---|---|
部員 | 架空の5人(名前・勉強時間・点数・部活)。スライドと同じ値 | Ⅳ・Ⅴ |
アヤメ | Rに入っている iris(150本)の列名を日本語にしたもの(がく長・がく幅・花びら長・花びら幅・種類) | Ⅵ |
プログラムの中でデータを書き換えてしまったときは、ページを再読み込みすると元に戻る。
Ⅷ 自分の興味のあるデータで分析する(10行の機械学習)
このページの生成AIに、データとRのプログラムを作らせて実行する。上から順にボタンを押していけばよい。
最初にボタンを押したとき、授業用パスコードを聞かれる。授業で伝えたものを入力する。
テーマの例:睡眠時間と翌日の集中力/通学時間と遅刻回数/動画の長さと再生回数/気温とアイスの売上
テーマ: 行数:
追加の希望(なくてよい):
(30秒〜1分ほどかかる)ステップ2のプログラムが下の枠に入る。「▶ 実行」を押す。プログラムは自分で書き換えてもよい。
エラーが出たら: (直したプログラムが上の枠に入るので、もう一度「▶ 実行」を押す)
| 観点 | 確かめ方 |
|---|---|
| 傾きの向き | 「データの説明」で意図した向き(+か−か)になっているか。1単位ふえると何点変わるか、言葉にできるか |
| グラフと直線 | 点が直線のまわりに散らばっているか。直線から大きく外れた点(外れ値)はないか |
| 外挿 | データの範囲の外(たとえば睡眠時間 24 時間)を予測させたら、ありえない値が出ることを確かめる |
| 結果を言い過ぎていないか | 生成AIのデータは架空である。因果関係や現実の傾向として主張しない |
(参考)生成AIに送った指示文を見る
データを作る指示
(まだ送っていません)
プログラムを書く指示
(まだ送っていません)
課題
このページの最後にある「課題用:生成AIで10行の機械学習」を利用して、自分で決めたテーマのデータ(生成AIを利用して良い)で「10行の機械学習」(lm による予測、または決定木・kNN による分類)を行い(予測か分類のどちらか1つを選ぶ)、その結果を3ページ程度のレポートにして提出せよ。第1回は、このレポートの提出をもって出席とする。レポートの形式は自由である。
なおファイル名は 学生番号_名前.docx とする。たとえば k24x7777_東女花子.docx である。
(提出方法・期限はWebClassの指示に従うこと)
レポートに入れるとよいもの(例)
- テーマと、なぜそのテーマを選んだか。予測(lm)と分類(決定木・kNN)のどちらを選んだか
- データの説明(行数、列の意味、何を予測/分類したいか)。生成AIが作った架空データであること
- 〔予測〕切片と傾きの意味、グラフと直線、データの範囲の外を予測させたときの値 〔分類〕練習用と本番用の分け方、混同行列と正解率、「多いほうを常に答えた場合」との比較、決定木と kNN の比較
- 「結果が妥当かを確かめる観点」に沿った考察(傾きの向きは意図どおりか、外れ値はないか、データの量は足りているか)
- 今日のふりかえり:「機械学習」を自分の言葉で1文で説明する。今日いちばん「おっ」と思ったところ。分からなかったところ(正直に)
生成AIの考察は、そのまま写さず、実行結果の数値と見比べて確かめてから、自分の言葉で書き直すこと。AIの考察に誤りや言い過ぎを見つけたら、それもレポートに書いてよい。
課題用:生成AIで10行の機械学習(データ作成 → プログラム → 実行 → 考察)
テーマを決めて、上から順に4つのボタンを押していけばよい。結果はレポートの材料として使う。
最初にボタンを押したとき、授業用パスコードを聞かれる。授業で伝えたものを入力する。
やること:
テーマの例:〔予測〕睡眠時間と翌日の集中力・通学時間と遅刻回数・気温とアイスの売上 〔分類〕身長と体重から部活を当てる・値段と甘さからお菓子の種類を当てる
テーマ: 行数:
追加の希望(なくてよい):
(30秒〜1分ほどかかる)[2]のプログラムが下の枠に入る。「▶ 実行」を押す。図は右クリック(スマートフォンでは長押し)で保存するか、スクリーンショットを撮ってレポートに貼る。
エラーが出たら: (直したプログラムが上の枠に入るので、もう一度「▶ 実行」を押す)
[3]の実行結果(文字の出力)を生成AIに渡して、考察を書かせる。図そのものは渡さない。
(30秒〜1分ほどかかる)テーマ、データの説明、プログラム、実行結果、AIの考察を1つの文章にまとめてコピーする。Wordに貼り付けて、レポートの下書きに使う。
(参考)生成AIに送った指示文を見る
[1]データを作る指示
(まだ送っていません)
[2]プログラムを書く指示
(まだ送っていません)
[4]考察を書く指示
(まだ送っていません)