R を準備しています…
機械学習の基礎(東京女子大学 2026年度後期)
第2回 アンケートフォームの作成と正規表現による回答の検証
管理

第2回 データ収集用アンケートフォームの作成と正規表現による回答の検証 ―― データは、集めた瞬間から汚れている

このページの使い方

  1. 画面上部の帯が緑になるまで待つ(Rの準備。初回は数十秒かかる)。
  2. Ⅰ〜Ⅳを順に読み、黒い枠のRプログラムを上から順に「▶ 実行」で動かす(前の枠で作ったものを後で使うため)。
  3. Ⅱでは、設問の表を組み立てると Google フォームを作る Apps Script ができる。別のタブで script.google.com を開いておく。
  4. Ⅵで、生成AIに「汚れた回答データ」を作らせ、検査して洗うプログラムを作らせる。
  5. 最後の「課題用プログラム」で、データ作成 → プログラム → 実行 → 考察 を行い、レポートにまとめる。

黒い枠のプログラムは自由に書き換えてよい。「元のコードに戻す」で元に戻る。今日のRの関数(grepl・gsub・chartr など)は、どれもRに最初から入っている。

今日の目標

この3つができれば今日は合格。

できるようになること道具
①壊れないフォームを作る:設問の型を正しく選ぶ。汚れの9割は設計で防げる設計、Apps Script
②回答を機械に検査させる:正規表現で合否を判定する。覚える記号は7個だけgrepl( )
③汚れを洗って表にする:全角・空白・表記ゆれを直し、0/1の表にして次回へ渡すgsub( )、chartr( )
今日の合言葉:汚れたデータは、集めた人の責任。

Ⅰ 壊れないフォームを作る:汚れの9割は、集める前の設計で防げる

ステップ1ある日、あなたのもとに20件の回答が届いた

「受講者コードを入力してください(例:A2426001)」という設問への回答である。

読み取り方:小文字、全角、ハイフン、末尾の空白、桁数ちがい、空欄が混ざっている。これを手で直すと、20件なら10分、100件なら1時間。正規表現なら3行・1秒である。

今日の合言葉:汚れたデータは、集めた人の責任。回答者を責めない。直せるものは機械に直させ、本当に人に聞くべきものだけを残す。
ステップ2設問の「型」を選んだ瞬間に、勝負はついている
設問の型
図1 同じことを聞いても、型が違えば返ってくるデータの形が違う

クイズ:この4問、どの型にすべきか

設問型は?
Q1 あなたの身長は? 
Q2 あなたの学年は? 
Q3 苦手な食べ物は?(いくつでも) 
Q4 この授業に期待することは? 
答え

Q1 身長=記述式はNG(数値の検証を付けるか、選択肢)。Q2 学年=ラジオボタン。Q3 苦手な食べ物=チェックボックス。Q4 感想=記述式でよい(こちらが選択肢を用意できない唯一の例)。記述式にしてよいのは4問中1問だけ。

ステップ3絶対にやってはいけない設問 ワースト5
順位やってはいけないこと何が起きるか
1位数値を記述式で聞く「160」「160cm」「160」「約160」「ひみつ」が全部返ってくる(Ⅳのステップ5で実際に起きる)
2位選択肢に「その他」を付ける自由記述と同じ地獄が、選択肢の顔をしてやってくる
3位1つの設問で2つ聞く「学年と学科を教えてください」→ 分解できない
4位選択肢の一方が他方を含む「チーズ」と「ブルーチーズ」→ 検索が二重に当たる(Ⅳのステップ8)
5位必須にしない空欄が混ざり、あとで誰に聞けばよいかわからなくなる(今日のデータで起きる)

全部、実際に起きている。Ⅱのフォーム作成コーナーは、これらを自動で警告する。

ステップ4フォーム側でも、入口で止められる
入口で止める vs あとで洗う
図2 汚れたデータへの2つの対処。入口で止めるのが最強だが、厳しすぎると回答してもらえない
設問の型できる検証(Google フォーム:設問右下の「⋮」→「回答の検証」)例
記述式数値/テキスト/長さ/正規表現「次の正規表現に一致」 ^[A-Z][0-9]{7}$
段落長さ/正規表現50文字以上
チェックボックス選択する数の上限・下限1つ以上選ぶ

今日はあえて「ゆるいフォーム」を作る。汚れたデータが、あとでどう効いてくるかを見るためである。設問4(身長)と5(提出予定日)を、わざと記述式にする(ワースト1位をわざと踏む)。

#設問型必須
1受講者コード(例 A2426001)記述式必須
2メールアドレス記述式必須
3ハンドル名(公開されます)記述式必須
4身長記述式 ※わざと任意
5提出予定日記述式 ※わざと任意
6苦手な食べ物(いくつでも)チェックボックス(パクチー/セロリ/レバー/ピーマン/たくあん/チーズ/納豆)必須

設問6の7つの選択肢は、第3回でそのまま使う。勝手に増やさないこと。手で作っても、次のⅡで自動で作ってもよい。

Ⅱ アンケートフォームを Apps Script で作る

Google フォームは画面で1問ずつ作れるが、設問の表さえあれば、プログラム(Google Apps Script)で数秒で作れる。設計がコードとして残るので、やり直しも配布も簡単になる。

Apps Scriptでフォームを作る流れ
図3 設問の表 → スクリプト → 実行 → フォームのURL
ステップ1(任意)アンケートの概要から、設問案を生成AIに作らせる

作りたいアンケートの概要を書くと、サイト内の生成AIが設問案(設問文・型・選択肢・必須・検証)を作り、ステップ2の表に入れる。概要だけ入れて、あとは自分で直せばよい。自分で最初から表を作る人は、このステップは飛ばしてよい。

概要:

(20〜40秒ほどかかる)
ステップ2設問の表を組み立てる → Apps Script が自動でできる

表を書き換えると、下のスクリプトがその場で書き換わる。「今日のフォーム」を押すと、Ⅰのステップ4の6問(ゆるい版)が入る。「入口で止める版」は、身長を数値の検証付き・必須にしたものである。

フォームの題名: 説明:

できた Apps Script

ステップ3Google Apps Script に貼り付けて実行する
① 開くブラウザで script.google.com を開き、「新しいプロジェクト」を押す(大学の Google アカウントでログインしておく)
② 貼る最初から入っているコードを全部消し、ステップ2でコピーしたスクリプトを貼り付ける。上の「無題のプロジェクト」に名前を付けて保存(Ctrl+S)
③ 実行ツールバーの関数名が createForm になっていることを確かめ、「▶ 実行」を押す
④ 承認初回は「承認が必要です」→ 自分のアカウントを選ぶ →「このアプリは確認されていません」が出たら「詳細」→「(安全ではないページ)に移動」→「許可」。自分で書いたスクリプトなので問題ない
⑤ URL下の「実行ログ」に「回答用URL」と「編集用URL」が出る。回答用URLを配ると回答を集められる。フォームは自分の Google ドライブにできている
うまくいかないとき確かめること
「承認」の画面が何度も出る許可を途中でやめている。最後の「許可」まで押す
ログに何も出ない「実行」ではなく「デバッグ」を押していないか。画面下の「実行ログ」を開く
同じフォームが何個もできる実行するたびに新しいフォームができる。いらないものはドライブで削除する
回答を表で見たいフォームの編集画面 →「回答」→ スプレッドシートのアイコンで、回答が自動で表になる。そのCSVをⅣの方法で洗う
作り終わった人は、隣の人に答えてもらうこと。集まった回答は、第3回の授業でクラス全員のデータとして使う。
トリビア:画面で作るか、コードで作るか
  • Google フォームは2008年に Google スプレッドシートの機能として登場した。Apps Script は翌2009年に公開された、Google のサービスを JavaScript で操作するしくみで、フォーム・シート・メール・カレンダーを1本のスクリプトでつなげられる。
  • 「画面で1問ずつ作る」と「表からコードで作る」は、同じフォームができる。違いはやり直しの手間で、設問を1つ直して20問作り直すとき、コードなら1行直して実行するだけで済む。データを集める仕事は、この「やり直せる形で残す」癖が効いてくる。

Ⅲ 正規表現 ―― 文字の「形」を書く

ステップ1grepl( ) は YES か NO かを返す

読み取り方:1件ずつ目で見るのではなく、100件でも1000件でも1行で一気に判定できる。sum( ) を付ければ、何件合格したかも一瞬で出る。正規表現とは、「こういう形の文字列」を書き表すための小さな言語である。「A で始まって数字が7個続いて終わる」――これを記号8文字で書けるようにする。

ステップ2覚えるのは、この7個だけ
7つの記号
図4 今日の仕事はこの7個で全部できる

やってみよう:正規表現テスター

パターンを打つと、右の文字列のどれに当たるかがその場で分かる(黄色=当たった部分)。プリセットのボタンで、今日の式を試せる。

パターン:
ステップ3事故:^ と $ を付けないと、何が起きるか
^と$の事故
図5 ^ $ がないと「どこかにあれば合格」になる

読み取り方:クイズの答えは「A2426001 だけ」。^[A-Z][0-9]{7}$ は大文字1つ+数字7つ、ぴったり。「探す」ときは ^ $ 不要。「検証する」ときは ^ $ 必須。付け忘れが事故の原因の第1位である。

やってみよう:記号クイズ

ステップ4もう1つだけ:.(ドット)は特別な文字
メールアドレスの式
図6 メールアドレスを検証する式を部品に分ける。ドットそのものは \. と書く

読み取り方:20件中5件が落ちる。pengin@example(ドットの後ろがない)、ringo@exampleacjp(ドットがない)、rin@@(@が2つ)、空欄、そして nemui@(全角の@)。最後の1件は「形は合っているのに文字が全角」で、Ⅳで洗えば通る。

トリビア:正規表現は「数学」から来た
歴史
図7 正規表現の歴史
  • 正規表現は1951年、数学者クリーニが「正規事象」という理論として考えたもので、最初はコンピュータのためではなかった。1968年、ケン・トンプソンがエディタ QED の文字列検索に組み込み、実用の道具になった。
  • Unix の grep という名前は、エディタ ed の命令 g/re/p(全行(global)から正規表現(re)を探して印字(print))から来ている。Rの grepl は「grep の logical(TRUE/FALSE)版」という意味である。
  • Google フォームの「回答の検証」で使える正規表現も、Rの grepl も、JavaScript も、基本の7記号は共通である。1つ覚えれば、いろいろな場所で使い回せる。

Ⅳ 20人分の回答を洗う:合格率 50% を、85% まで引き上げる

ステップ1受講者コードを検査する

読み取り方:合格率50%。20人中10人が不合格。しかし10件のうち、本当に間違っているのは3件だけ(桁が足りない、桁が多い、空欄)。残り7件は「全角で打った」「空白が入った」「小文字だった」「ハイフンを入れた」で、これは機械で直せる。

×「回答者が悪い(ちゃんと読まないから間違える)」 ○「フォームが悪い(間違えられる作りにしたほうが悪い)」。直せるものを機械に直させて、本当に人に聞くべき3件だけを残す。これが今日の仕事。
ステップ2全角を半角にする、たった2行
全角と半角
図8 全角の英数字は、半角と同じ並びでちょうど 0xFEE0 ずれている。だから範囲ごと対応させられる

読み取り方:chartr(変換前の文字, 変換後の文字, x) は、対応表で1文字ずつ置き換える。全角「!」から「~」までの94文字と、半角「!」から「~」までの94文字を並べて渡すだけでよい。文字コードの差はどれも 65248(=0xFEE0)である。

ステップ3洗う:日本語アンケートの3大事故
洗う3手順
図9 全角を半角に → 空白を取る → 大小文字をそろえる。この順番
50%から85%
図10 洗った結果。残った3件が「本当に人に聞くべきもの」

読み取り方:洗う前 10/20(50%)→ 洗った後 17/20(85%)。最後まで残ったのは、A242600(桁が足りない。打ち間違いか、本当に違う番号か)、A24260012(桁が多い。0を1つ多く打ったか)、空欄(そもそも答えていない)。20人の目視が、3人への確認だけになった。100人なら、その差はもっと大きい。

やってみよう:洗う手順を自分で組む

汚れた文字列に、処理を好きな順番で適用して、検査に通るかを見る。「 A2426004 」(前後に全角スペース)を、空白を取る → 全角を半角に、の順でやるとどうなるか。

入力: 例:
処理を押した順に適用:

読み取り方:trimws( ) は半角の空白しか知らない。逆の順番だと全角スペースが半角になるのは空白を取った後なので、10文字のまま残って落ちる。順番が大事。

ステップ4ワースト1位の結果:「身長」を記述式にすると
形と意味
図11 正規表現は「形」を見分けるが「意味」は判断できない。5.6feet → 5.6

読み取り方:20人に聞いただけで、書き方は10通り。regexpr( ) と regmatches( ) で最初に見つかった数字を取り出せるが、5.6feet → 5.6 になる。機械は単位を知らない。数字を見つけただけである。正規表現ができるのは文字の「形」を見分けることで、その「意味」を判断することはできない。だから、数値を記述式で聞いてはいけない。フォームの設問で「数値」に設定するか(Ⅱの「入口で止める版」)、選択肢にする。

ステップ5日付のゆれをそろえる:後方参照
書き方意味
gsub(探す, 置き換え, x)grepl が「あるか」を返すのに対し、gsub は「全部置き換える」(global substitute)
( ) と \\1 \\2後方参照:( ) で囲んだ部分を、置き換え先で \\1 \\2 として使い回せる。"10/5" → (10) と (5) を覚えておいて "2026/" + \\1 + "/" + \\2 → "2026/10/5"
as.Date( )書き換えて終わりにしない。最後は R に「日付として読めるか」を確かめさせる(読めなければ NA になる)

読み取り方:7種類の書き方が、全部 2026-10-05 か 2026-10-12 にそろった。table( ) で NA が出ていないことを確かめる。

ステップ6チェックボックスの回答を 0/1 の表に変える(今日の山場)
0/1の表
図12 カンマ区切りの文字列を、7つの食品それぞれに「入っているか」を聞いて 0/1 の表にする

読み取り方:sapply(食品, …) は、7つの食品それぞれについて grepl を実行し、結果を列として並べる。この形にさえなっていれば、第3回は dist( ) を1行書くだけで、誰と誰が似ているかが出る。

ステップ7落とし穴:「チーズ」と「ブルーチーズ」

読み取り方:(^|, )チーズ(,|$) は「行のはじまりまたはカンマ、チーズ、カンマまたは行のおわり」。もっと安全なのは、カンマで切ってから完全一致で照合すること。一番いいのは、そもそも「一方が他方を含む選択肢」を作らないこと(ワースト4位)。

ステップ8落ちた行を、黙って消してはいけない
落ちた行
図13 消すと、消えるのはいつも「入力が苦手な人」。印を付けて残す

読み取り方:状態の列に「要確認」と書いて残し、あとで本人に聞く。何件あったかを報告に書く。CSVに書き出したら、必ず read.csv で読み直して確かめる(書いて終わりにしない)。

読み取り方:4つの列をまとめて見ると、20人中10人に何らかの「要確認」がある。ゆるいフォームの代償である。Ⅱの「入口で止める版」なら、受講者コード・メール・身長の要確認はフォーム側で0件にできる。

ステップ9次回への橋

読み取り方:今日きれいにした 0/1 の表に、dist( ) と hclust( ) を1行ずつ書くと、クラス全員が「似た者同士」に分かれた樹形図が出る。第3回で、この図の読み方を学ぶ。

覚えて帰ること
正規表現とは文字の「形」を書き表す小さな言語。今日の記号は7個だけ
検証の鉄則^ と $ を必ず付ける。付け忘れが事故の原因 No.1
洗う3手順全角を半角に → 空白を取る → 大文字小文字をそろえる(この順番)
正規表現の限界形しか見ない。意味は判断できない(5.6feet → 5.6)
設計の鉄則数値を記述式で聞かない。選べるものは必ず選ばせる
やってはいけない検査に落ちた行を黙って消すこと。印を付けて残す
汚れたデータは、集めた人の責任。フォームを直せば、洗う手間はゼロに近づく。

Ⅴ 例題データ

名前内容使う場所
回答ある日届いた20件のアンケート回答(受講者コード・メール・ハンドル名・身長・提出予定日・苦手な食べ物)。架空だが、汚れ方は実際によく起きるものⅢ・Ⅳ
食品チェックボックスの7つの選択肢(第3回でそのまま使う)Ⅳ

用意した関数:全角を半角に(x)。プログラムの中でデータを書き換えてしまったときは、ページを再読み込みすると元に戻る。

Ⅵ 自分のテーマの「汚れた回答」を作らせて、洗う

このページの生成AIに、自分のテーマのアンケートの「汚れた回答データ」と、それを検査して洗うRのプログラムを作らせて実行する。上から順にボタンを押していけばよい。

最初にボタンを押したとき、授業用パスコードを聞かれる。授業で伝えたものを入力する。

ステップ1テーマを決めて、データを作らせる

テーマの例:サークルの新入生アンケート/学園祭の出店アンケート/アルバイトのシフト希望/読書の記録

テーマ:  行数:

追加の希望(なくてよい):

(30秒〜1分ほどかかる)
ステップ2分析のプログラムを書かせる
(20〜40秒ほどかかる)
ステップ3プログラムを実行する

ステップ2のプログラムが下の枠に入る。「▶ 実行」を押す。プログラムは自分で書き換えてもよい。

エラーが出たら: (直したプログラムが上の枠に入るので、もう一度「▶ 実行」を押す)

ステップ4結果が妥当かを確かめる
観点確かめ方
検証の式に ^ と $ があるか「どこかにあれば合格」になっていないか
洗う順番全角を半角に → 空白を取る → 大小文字、の順になっているか
合格率の変化洗う前と後で合格率がどれだけ上がったか。残った要確認は「本当に人に聞くべきもの」か
行を消していないか要確認の行が「状態」の列に印を付けて残っているか。行数が減っていないか
意味の判断をさせていないか5.6feet → 5.6 のように、形だけ合って意味が違う値が通っていないか
(参考)生成AIに送った指示文を見る

データを作る指示

(まだ送っていません)

プログラムを書く指示

(まだ送っていません)

課題

このページの最後にある「課題用:生成AIで回答の検証と洗浄」を利用して、自分で決めたテーマのデータ(生成AIを利用して良い)で正規表現による回答の検証と洗浄(汚れた回答データを検査し、洗い、0/1の表にする)を行い、その結果を3ページ程度のレポートにして提出せよ。レポートの形式は自由である。

あわせて、Ⅱの方法で作った自分のアンケートフォームの回答用URLを、レポートの最初に書くこと(フォームが作れなかった場合は、設問の表とスクリプトを貼る)。

なおファイル名は 学生番号_名前.docx とする。たとえば k24x7777_東女花子.docx である。

(提出方法・期限はWebClassの指示に従うこと)

レポートに入れるとよいもの(例)
  1. テーマと、アンケートの設問(型・必須・検証)。Ⅱで作ったフォームのURL(作った場合)
  2. データの説明(行数、列、どんな汚れが混ざっていたか)
  3. 検査に使った正規表現と、その意味(部品に分けて説明)
  4. 洗う前と洗った後の合格率(表またはグラフ)と、残った「要確認」の件数・内容
  5. 数値の列・日付の列・チェックボックスの列をどう扱ったか(0/1の表)
  6. 考察:フォームの設計をどう直せば汚れを防げたか(ワースト5との対応)、落ちた行を消さない理由、正規表現にできないこと

生成AIの考察は、そのまま写さず、実行結果の数値と見比べて確かめてから、自分の言葉で書き直すこと。AIの考察に誤りや言い過ぎを見つけたら、それもレポートに書いてよい。

課題用:生成AIで回答の検証と洗浄(データ作成 → プログラム → 実行 → 考察)

テーマを決めて、上から順に4つのボタンを押していけばよい。結果はレポートの材料として使う。

最初にボタンを押したとき、授業用パスコードを聞かれる。授業で伝えたものを入力する。

[1]データを生成AIに作らせる

テーマの例:サークルの新入生アンケート/学園祭の出店アンケート/アルバイトのシフト希望/読書の記録/部活の体力テスト

テーマ:  行数:

追加の希望(なくてよい):

(30秒〜1分ほどかかる)
[2]分析とグラフのRプログラムを生成AIに書かせる
(20〜40秒ほどかかる)
[3]プログラムを実行して、結果を見る

[2]のプログラムが下の枠に入る。「▶ 実行」を押す。図は右クリック(スマートフォンでは長押し)で保存するか、スクリーンショットを撮ってレポートに貼る。

エラーが出たら: (直したプログラムが上の枠に入るので、もう一度「▶ 実行」を押す)

[4]実行結果をもとに、生成AIに考察を書かせる

[3]の実行結果(文字の出力)を生成AIに渡して、考察を書かせる。図そのものは渡さない。

(30秒〜1分ほどかかる)
まとめレポートの材料をまとめてコピーする

テーマ、データの説明、プログラム、実行結果、AIの考察を1つの文章にまとめてコピーする。Wordに貼り付けて、レポートの下書きに使う。

(参考)生成AIに送った指示文を見る

[1]データを作る指示

(まだ送っていません)

[2]プログラムを書く指示

(まだ送っていません)

[4]考察を書く指示

(まだ送っていません)