第2回 データ収集用アンケートフォームの作成と正規表現による回答の検証 ―― データは、集めた瞬間から汚れている
このページの使い方
- 画面上部の帯が緑になるまで待つ(Rの準備。初回は数十秒かかる)。
- Ⅰ〜Ⅳを順に読み、黒い枠のRプログラムを上から順に「▶ 実行」で動かす(前の枠で作ったものを後で使うため)。
- Ⅱでは、設問の表を組み立てると Google フォームを作る Apps Script ができる。別のタブで script.google.com を開いておく。
- Ⅵで、生成AIに「汚れた回答データ」を作らせ、検査して洗うプログラムを作らせる。
- 最後の「課題用プログラム」で、データ作成 → プログラム → 実行 → 考察 を行い、レポートにまとめる。
黒い枠のプログラムは自由に書き換えてよい。「元のコードに戻す」で元に戻る。今日のRの関数(grepl・gsub・chartr など)は、どれもRに最初から入っている。
今日の目標
この3つができれば今日は合格。
| できるようになること | 道具 | |
|---|---|---|
| ① | 壊れないフォームを作る:設問の型を正しく選ぶ。汚れの9割は設計で防げる | 設計、Apps Script |
| ② | 回答を機械に検査させる:正規表現で合否を判定する。覚える記号は7個だけ | grepl( ) |
| ③ | 汚れを洗って表にする:全角・空白・表記ゆれを直し、0/1の表にして次回へ渡す | gsub( )、chartr( ) |
Ⅰ 壊れないフォームを作る:汚れの9割は、集める前の設計で防げる
「受講者コードを入力してください(例:A2426001)」という設問への回答である。
読み取り方:小文字、全角、ハイフン、末尾の空白、桁数ちがい、空欄が混ざっている。これを手で直すと、20件なら10分、100件なら1時間。正規表現なら3行・1秒である。
クイズ:この4問、どの型にすべきか
| 設問 | 型は? |
|---|---|
| Q1 あなたの身長は? | |
| Q2 あなたの学年は? | |
| Q3 苦手な食べ物は?(いくつでも) | |
| Q4 この授業に期待することは? |
答え
Q1 身長=記述式はNG(数値の検証を付けるか、選択肢)。Q2 学年=ラジオボタン。Q3 苦手な食べ物=チェックボックス。Q4 感想=記述式でよい(こちらが選択肢を用意できない唯一の例)。記述式にしてよいのは4問中1問だけ。
| 順位 | やってはいけないこと | 何が起きるか |
|---|---|---|
| 1位 | 数値を記述式で聞く | 「160」「160cm」「160」「約160」「ひみつ」が全部返ってくる(Ⅳのステップ5で実際に起きる) |
| 2位 | 選択肢に「その他」を付ける | 自由記述と同じ地獄が、選択肢の顔をしてやってくる |
| 3位 | 1つの設問で2つ聞く | 「学年と学科を教えてください」→ 分解できない |
| 4位 | 選択肢の一方が他方を含む | 「チーズ」と「ブルーチーズ」→ 検索が二重に当たる(Ⅳのステップ8) |
| 5位 | 必須にしない | 空欄が混ざり、あとで誰に聞けばよいかわからなくなる(今日のデータで起きる) |
全部、実際に起きている。Ⅱのフォーム作成コーナーは、これらを自動で警告する。
| 設問の型 | できる検証(Google フォーム:設問右下の「⋮」→「回答の検証」) | 例 |
|---|---|---|
| 記述式 | 数値/テキスト/長さ/正規表現 | 「次の正規表現に一致」 ^[A-Z][0-9]{7}$ |
| 段落 | 長さ/正規表現 | 50文字以上 |
| チェックボックス | 選択する数の上限・下限 | 1つ以上選ぶ |
今日はあえて「ゆるいフォーム」を作る。汚れたデータが、あとでどう効いてくるかを見るためである。設問4(身長)と5(提出予定日)を、わざと記述式にする(ワースト1位をわざと踏む)。
| # | 設問 | 型 | 必須 |
|---|---|---|---|
| 1 | 受講者コード(例 A2426001) | 記述式 | 必須 |
| 2 | メールアドレス | 記述式 | 必須 |
| 3 | ハンドル名(公開されます) | 記述式 | 必須 |
| 4 | 身長 | 記述式 ※わざと | 任意 |
| 5 | 提出予定日 | 記述式 ※わざと | 任意 |
| 6 | 苦手な食べ物(いくつでも) | チェックボックス(パクチー/セロリ/レバー/ピーマン/たくあん/チーズ/納豆) | 必須 |
設問6の7つの選択肢は、第3回でそのまま使う。勝手に増やさないこと。手で作っても、次のⅡで自動で作ってもよい。
Ⅱ アンケートフォームを Apps Script で作る
Google フォームは画面で1問ずつ作れるが、設問の表さえあれば、プログラム(Google Apps Script)で数秒で作れる。設計がコードとして残るので、やり直しも配布も簡単になる。
作りたいアンケートの概要を書くと、サイト内の生成AIが設問案(設問文・型・選択肢・必須・検証)を作り、ステップ2の表に入れる。概要だけ入れて、あとは自分で直せばよい。自分で最初から表を作る人は、このステップは飛ばしてよい。
概要:
表を書き換えると、下のスクリプトがその場で書き換わる。「今日のフォーム」を押すと、Ⅰのステップ4の6問(ゆるい版)が入る。「入口で止める版」は、身長を数値の検証付き・必須にしたものである。
できた Apps Script
createForm になっていることを確かめ、「▶ 実行」を押す| うまくいかないとき | 確かめること |
|---|---|
| 「承認」の画面が何度も出る | 許可を途中でやめている。最後の「許可」まで押す |
| ログに何も出ない | 「実行」ではなく「デバッグ」を押していないか。画面下の「実行ログ」を開く |
| 同じフォームが何個もできる | 実行するたびに新しいフォームができる。いらないものはドライブで削除する |
| 回答を表で見たい | フォームの編集画面 →「回答」→ スプレッドシートのアイコンで、回答が自動で表になる。そのCSVをⅣの方法で洗う |
- Google フォームは2008年に Google スプレッドシートの機能として登場した。Apps Script は翌2009年に公開された、Google のサービスを JavaScript で操作するしくみで、フォーム・シート・メール・カレンダーを1本のスクリプトでつなげられる。
- 「画面で1問ずつ作る」と「表からコードで作る」は、同じフォームができる。違いはやり直しの手間で、設問を1つ直して20問作り直すとき、コードなら1行直して実行するだけで済む。データを集める仕事は、この「やり直せる形で残す」癖が効いてくる。
Ⅲ 正規表現 ―― 文字の「形」を書く
読み取り方:1件ずつ目で見るのではなく、100件でも1000件でも1行で一気に判定できる。sum( ) を付ければ、何件合格したかも一瞬で出る。正規表現とは、「こういう形の文字列」を書き表すための小さな言語である。「A で始まって数字が7個続いて終わる」――これを記号8文字で書けるようにする。
やってみよう:正規表現テスター
パターンを打つと、右の文字列のどれに当たるかがその場で分かる(黄色=当たった部分)。プリセットのボタンで、今日の式を試せる。
読み取り方:クイズの答えは「A2426001 だけ」。^[A-Z][0-9]{7}$ は大文字1つ+数字7つ、ぴったり。「探す」ときは ^ $ 不要。「検証する」ときは ^ $ 必須。付け忘れが事故の原因の第1位である。
やってみよう:記号クイズ
読み取り方:20件中5件が落ちる。pengin@example(ドットの後ろがない)、ringo@exampleacjp(ドットがない)、rin@@(@が2つ)、空欄、そして nemui@(全角の@)。最後の1件は「形は合っているのに文字が全角」で、Ⅳで洗えば通る。
- 正規表現は1951年、数学者クリーニが「正規事象」という理論として考えたもので、最初はコンピュータのためではなかった。1968年、ケン・トンプソンがエディタ QED の文字列検索に組み込み、実用の道具になった。
- Unix の
grepという名前は、エディタ ed の命令g/re/p(全行(global)から正規表現(re)を探して印字(print))から来ている。Rのgreplは「grep の logical(TRUE/FALSE)版」という意味である。 - Google フォームの「回答の検証」で使える正規表現も、Rの
greplも、JavaScript も、基本の7記号は共通である。1つ覚えれば、いろいろな場所で使い回せる。
Ⅳ 20人分の回答を洗う:合格率 50% を、85% まで引き上げる
読み取り方:合格率50%。20人中10人が不合格。しかし10件のうち、本当に間違っているのは3件だけ(桁が足りない、桁が多い、空欄)。残り7件は「全角で打った」「空白が入った」「小文字だった」「ハイフンを入れた」で、これは機械で直せる。
読み取り方:chartr(変換前の文字, 変換後の文字, x) は、対応表で1文字ずつ置き換える。全角「!」から「~」までの94文字と、半角「!」から「~」までの94文字を並べて渡すだけでよい。文字コードの差はどれも 65248(=0xFEE0)である。
読み取り方:洗う前 10/20(50%)→ 洗った後 17/20(85%)。最後まで残ったのは、A242600(桁が足りない。打ち間違いか、本当に違う番号か)、A24260012(桁が多い。0を1つ多く打ったか)、空欄(そもそも答えていない)。20人の目視が、3人への確認だけになった。100人なら、その差はもっと大きい。
やってみよう:洗う手順を自分で組む
汚れた文字列に、処理を好きな順番で適用して、検査に通るかを見る。「 A2426004 」(前後に全角スペース)を、空白を取る → 全角を半角に、の順でやるとどうなるか。
読み取り方:trimws( ) は半角の空白しか知らない。逆の順番だと全角スペースが半角になるのは空白を取った後なので、10文字のまま残って落ちる。順番が大事。
読み取り方:20人に聞いただけで、書き方は10通り。regexpr( ) と regmatches( ) で最初に見つかった数字を取り出せるが、5.6feet → 5.6 になる。機械は単位を知らない。数字を見つけただけである。正規表現ができるのは文字の「形」を見分けることで、その「意味」を判断することはできない。だから、数値を記述式で聞いてはいけない。フォームの設問で「数値」に設定するか(Ⅱの「入口で止める版」)、選択肢にする。
| 書き方 | 意味 |
|---|---|
gsub(探す, 置き換え, x) | grepl が「あるか」を返すのに対し、gsub は「全部置き換える」(global substitute) |
( ) と \\1 \\2 | 後方参照:( ) で囲んだ部分を、置き換え先で \\1 \\2 として使い回せる。"10/5" → (10) と (5) を覚えておいて "2026/" + \\1 + "/" + \\2 → "2026/10/5" |
as.Date( ) | 書き換えて終わりにしない。最後は R に「日付として読めるか」を確かめさせる(読めなければ NA になる) |
読み取り方:7種類の書き方が、全部 2026-10-05 か 2026-10-12 にそろった。table( ) で NA が出ていないことを確かめる。
読み取り方:sapply(食品, …) は、7つの食品それぞれについて grepl を実行し、結果を列として並べる。この形にさえなっていれば、第3回は dist( ) を1行書くだけで、誰と誰が似ているかが出る。
読み取り方:(^|, )チーズ(,|$) は「行のはじまりまたはカンマ、チーズ、カンマまたは行のおわり」。もっと安全なのは、カンマで切ってから完全一致で照合すること。一番いいのは、そもそも「一方が他方を含む選択肢」を作らないこと(ワースト4位)。
読み取り方:状態の列に「要確認」と書いて残し、あとで本人に聞く。何件あったかを報告に書く。CSVに書き出したら、必ず read.csv で読み直して確かめる(書いて終わりにしない)。
読み取り方:4つの列をまとめて見ると、20人中10人に何らかの「要確認」がある。ゆるいフォームの代償である。Ⅱの「入口で止める版」なら、受講者コード・メール・身長の要確認はフォーム側で0件にできる。
読み取り方:今日きれいにした 0/1 の表に、dist( ) と hclust( ) を1行ずつ書くと、クラス全員が「似た者同士」に分かれた樹形図が出る。第3回で、この図の読み方を学ぶ。
| 覚えて帰ること | |
|---|---|
| 正規表現とは | 文字の「形」を書き表す小さな言語。今日の記号は7個だけ |
| 検証の鉄則 | ^ と $ を必ず付ける。付け忘れが事故の原因 No.1 |
| 洗う3手順 | 全角を半角に → 空白を取る → 大文字小文字をそろえる(この順番) |
| 正規表現の限界 | 形しか見ない。意味は判断できない(5.6feet → 5.6) |
| 設計の鉄則 | 数値を記述式で聞かない。選べるものは必ず選ばせる |
| やってはいけない | 検査に落ちた行を黙って消すこと。印を付けて残す |
Ⅴ 例題データ
| 名前 | 内容 | 使う場所 |
|---|---|---|
回答 | ある日届いた20件のアンケート回答(受講者コード・メール・ハンドル名・身長・提出予定日・苦手な食べ物)。架空だが、汚れ方は実際によく起きるもの | Ⅲ・Ⅳ |
食品 | チェックボックスの7つの選択肢(第3回でそのまま使う) | Ⅳ |
用意した関数:全角を半角に(x)。プログラムの中でデータを書き換えてしまったときは、ページを再読み込みすると元に戻る。
Ⅵ 自分のテーマの「汚れた回答」を作らせて、洗う
このページの生成AIに、自分のテーマのアンケートの「汚れた回答データ」と、それを検査して洗うRのプログラムを作らせて実行する。上から順にボタンを押していけばよい。
最初にボタンを押したとき、授業用パスコードを聞かれる。授業で伝えたものを入力する。
テーマの例:サークルの新入生アンケート/学園祭の出店アンケート/アルバイトのシフト希望/読書の記録
テーマ: 行数:
追加の希望(なくてよい):
(30秒〜1分ほどかかる)ステップ2のプログラムが下の枠に入る。「▶ 実行」を押す。プログラムは自分で書き換えてもよい。
エラーが出たら: (直したプログラムが上の枠に入るので、もう一度「▶ 実行」を押す)
| 観点 | 確かめ方 |
|---|---|
| 検証の式に ^ と $ があるか | 「どこかにあれば合格」になっていないか |
| 洗う順番 | 全角を半角に → 空白を取る → 大小文字、の順になっているか |
| 合格率の変化 | 洗う前と後で合格率がどれだけ上がったか。残った要確認は「本当に人に聞くべきもの」か |
| 行を消していないか | 要確認の行が「状態」の列に印を付けて残っているか。行数が減っていないか |
| 意味の判断をさせていないか | 5.6feet → 5.6 のように、形だけ合って意味が違う値が通っていないか |
(参考)生成AIに送った指示文を見る
データを作る指示
(まだ送っていません)
プログラムを書く指示
(まだ送っていません)
課題
このページの最後にある「課題用:生成AIで回答の検証と洗浄」を利用して、自分で決めたテーマのデータ(生成AIを利用して良い)で正規表現による回答の検証と洗浄(汚れた回答データを検査し、洗い、0/1の表にする)を行い、その結果を3ページ程度のレポートにして提出せよ。レポートの形式は自由である。
あわせて、Ⅱの方法で作った自分のアンケートフォームの回答用URLを、レポートの最初に書くこと(フォームが作れなかった場合は、設問の表とスクリプトを貼る)。
なおファイル名は 学生番号_名前.docx とする。たとえば k24x7777_東女花子.docx である。
(提出方法・期限はWebClassの指示に従うこと)
レポートに入れるとよいもの(例)
- テーマと、アンケートの設問(型・必須・検証)。Ⅱで作ったフォームのURL(作った場合)
- データの説明(行数、列、どんな汚れが混ざっていたか)
- 検査に使った正規表現と、その意味(部品に分けて説明)
- 洗う前と洗った後の合格率(表またはグラフ)と、残った「要確認」の件数・内容
- 数値の列・日付の列・チェックボックスの列をどう扱ったか(0/1の表)
- 考察:フォームの設計をどう直せば汚れを防げたか(ワースト5との対応)、落ちた行を消さない理由、正規表現にできないこと
生成AIの考察は、そのまま写さず、実行結果の数値と見比べて確かめてから、自分の言葉で書き直すこと。AIの考察に誤りや言い過ぎを見つけたら、それもレポートに書いてよい。
課題用:生成AIで回答の検証と洗浄(データ作成 → プログラム → 実行 → 考察)
テーマを決めて、上から順に4つのボタンを押していけばよい。結果はレポートの材料として使う。
最初にボタンを押したとき、授業用パスコードを聞かれる。授業で伝えたものを入力する。
テーマの例:サークルの新入生アンケート/学園祭の出店アンケート/アルバイトのシフト希望/読書の記録/部活の体力テスト
テーマ: 行数:
追加の希望(なくてよい):
(30秒〜1分ほどかかる)[2]のプログラムが下の枠に入る。「▶ 実行」を押す。図は右クリック(スマートフォンでは長押し)で保存するか、スクリーンショットを撮ってレポートに貼る。
エラーが出たら: (直したプログラムが上の枠に入るので、もう一度「▶ 実行」を押す)
[3]の実行結果(文字の出力)を生成AIに渡して、考察を書かせる。図そのものは渡さない。
(30秒〜1分ほどかかる)テーマ、データの説明、プログラム、実行結果、AIの考察を1つの文章にまとめてコピーする。Wordに貼り付けて、レポートの下書きに使う。
(参考)生成AIに送った指示文を見る
[1]データを作る指示
(まだ送っていません)
[2]プログラムを書く指示
(まだ送っていません)
[4]考察を書く指示
(まだ送っていません)