Latest / マヂカル.fm / 255: おしえて、正規表現 ~みんなで効率厨になろう~
Transcript
- 0:07michiru_da: マジカルFMは関西人のプロダクトマネージャーのみちるだと、関西人のソフトウェアエンジニアのうぱみゅんが、週2で配信する雑談ポッドキャストです。お願いします。
- 0:18うぱ / upamune: お願いします。
- 0:19michiru_da: 今日のテーマは、正規表現って何?
- 0:24うぱ / upamune: 出たね、正規表現。
- 0:27michiru_da: なんかさ、聞くんですよ。
- 0:30うぱ / upamune: うん。えぇ?誰から?
- 0:32michiru_da: でも、何?何かの設定を正規表現で書いてくださいみたいな。
- 0:37うぱ / upamune: あー。確かに何かの設定をする時とかに、なんか、その、プロダクトによっては普通のテキストで書くか、それともなんか正規表現を利用するかみたいな設定項目とか、なんかよくあったりしますよね。
- 0:51michiru_da: あるんですよ。で、なんかまあその、システム開発みたいなところに言うと、まれに聞く、まれによく聞くっていう感じの概念なんですけど、
- 1:00michiru_da: え、今日何なのこいつは?っていうね。
- 1:03うぱ / upamune: 正規表現はね、難しいんですよね。
- 1:05michiru_da: 難しいんだ。
- 1:06うぱ / upamune: 多分、エンジニアでも正規表現だけをちゃんと勉強したことある人って、結構いないんじゃね?っていう。
- 1:14michiru_da: そんな奥深いものなの?
- 1:15うぱ / upamune: 奥深いですよ。
- 1:17michiru_da: え、正規表現ってことはさ、表現ってことはさ、なんかの書き方を定めたツールってことなの?
- 1:22うぱ / upamune: いや、ちょっと日本語が結構、うーん。
- 1:25michiru_da: それがミスリード?
- 1:27うぱ / upamune: うーん。かもね。
- 1:29michiru_da: へー。
- 1:31うぱ / upamune: 正規表現って難しすぎるよね。あ、でも確かに英語でもレギュラーエクスプレッションだから、そうなのか。
- 1:38michiru_da: なんか標準的な。
- 1:40michiru_da: うん。
- 1:41うぱ / upamune: 式。
- 1:42michiru_da: うん。
- 1:43うぱ / upamune: 正規表現って聞いて、その全く何もイメージできない気がする。
- 1:48michiru_da: そうね。え、なんだっけ、正規化と同じ正規って感じですか?
- 1:54うぱ / upamune: あ、そうですね。
- 1:56michiru_da: オライディの正規表現。
- 1:59うぱ / upamune: これ、私が初めて読んだ技術書です。
- 2:02michiru_da: へー。
- 2:03うぱ / upamune: 正規表現、小説正規表現第3版。えー、正規表現について528ページあります。
- 2:10うぱ / upamune: 本当にもうマジドンキーみたいな。
- 2:12michiru_da: うん。
- 2:13うぱ / upamune: ほんだけちょっとあれですね、生きりばんちょですね。
- 2:16うぱ / upamune: 大学1年生でみんなちょっとC言語の入門書とか読んでる中、いや俺は正規表現。
- 2:22うぱ / upamune: ちょっと生きる方向を間違えてる。
- 2:24うぱ / upamune: 普通、なんかもっとさ、なんだろう、データベースの。
- 2:27michiru_da: そうだね、データベース系とかもね。
- 2:29うぱ / upamune: セキュリティとかハッキングとか読めばいいのに、フクロウの正規表現。
- 2:33うぱ / upamune: 渋。
- 2:36michiru_da: これは、何ですか、概念なんですか?
- 2:39うぱ / upamune: 何を?
- 2:39michiru_da: なんだろう、なんかさ、いやー、むずいな。
- 2:43michiru_da: なんて言ったらいいんですか。
- 2:43うぱ / upamune: 正規表現って何なのさっていうこと?
- 2:45michiru_da: そう、なんか考え方みたいな感じなの。
- 2:48うぱ / upamune: いや、うわー。
- 2:50michiru_da: そういう技術?
- 2:52うぱ / upamune: まあ、そうですね、その、うん。
- 2:57うぱ / upamune: それ両方、概念と実装というか、その技術も含むと思う。
- 3:02michiru_da: ほう。
- 3:03michiru_da: 別に言語はじゃあ特定されないの?
- 3:05うぱ / upamune: いろんな言語の中で正規表現を使うみたいな感じ?
- 3:09うぱ / upamune: ちょっと待ってください、言語って何ですか?
- 3:10うぱ / upamune: えー、なんだろう、例えばさ、Pythonとかさ、Javascriptみたいな。
- 3:15うぱ / upamune: その中で正規表現の、なんだろう、正規表現が出てくるじゃないですか、
- 3:21うぱ / upamune: その正規表現という、まあちょっとしたミニ言語みたいなやつなんですけど、
- 3:26michiru_da: それの解釈が結構その言語によって違ったりします。
- 3:30michiru_da: あー、なるほどですね。
- 3:32うぱ / upamune: だから、例えば、語言語の正規表現と、例えばRuby、Pythonの正規表現は、
- 3:40うぱ / upamune: 同じ書き方をしたらちょっと解釈が違うみたいな。
- 3:43michiru_da: なるほどです。
- 3:45うぱ / upamune: なので、よくWebサイトで正規表現を試せるサイトとかあるんですけど、
- 3:52うぱ / upamune: それはそのどのエンZINEを使うかみたいなのを、
- 3:55うぱ / upamune: 例えばそのPythonだったらこれにヒットするけど、
- 3:59うぱ / upamune: 他のやつだったらヒットしてないみたいなのも見れたりするっていう感じですね。
- 4:03うぱ / upamune: ちょっと先走っちゃったけど、正規表現ってなんやねん。
- 4:08michiru_da: なんやねん。
- 4:09うぱ / upamune: っていうやつなんですけど、基本的には特定のあるテキストから、
- 4:17うぱ / upamune: 特定の文字列をマッチさせたいっていう。
- 4:20michiru_da: マッチって抽出ってやってる?
- 4:22michiru_da: 抽出、そうですね。特定というか。
- 4:26michiru_da: あ、見つけたい。
- 4:26うぱ / upamune: そうです。
- 4:28うぱ / upamune: 例えばめっちゃ簡単なやつだとしたら、
- 4:33うぱ / upamune: このいっぱいあるテキストの中から、
- 4:36うぱ / upamune: 123-4567って書いてる文字列を見つけたいっていうふうに思ったら、
- 4:42うぱ / upamune: 普通に例えばMacとかだったらテキストエディターとか開いて、
- 4:46うぱ / upamune: コマンドFして、123-4567エンターと押したら見つかるじゃないですか。
- 4:53うぱ / upamune: 今言ったのってなんだろうな。
- 4:55うぱ / upamune: 郵便番号っぽい形式ですよね。3桁-4桁みたいな。
- 5:00うぱ / upamune: そういう郵便番号っぽいものを見つけたいってなったら、
- 5:07うぱ / upamune: それ以外の123-4567以外のやつを見つけるのって、
- 5:13うぱ / upamune: 至難の技ですよね。
- 5:15うぱ / upamune: 例えば234-5678でもいいんですよね。
- 5:20うぱ / upamune: 3桁数字があって、-があって、4桁あるっていうのを見つけようとしたときに、
- 5:25うぱ / upamune: 普通の文字列検索だったら、あれこれどうやってやるんだろうみたいになりません?
- 5:31michiru_da: あんま分かんないかも。
- 5:33うぱ / upamune: 例えばいっぱいテキストあるじゃないですか。
- 5:35うぱ / upamune: その中から数字3桁-4桁数字を何個あるか見つけてくださいって言われたら、
- 5:44うぱ / upamune: 水谷さんだったらどうやりますか?
- 5:47michiru_da: ちょっとその情報がどこにあるか。
- 5:51michiru_da: テキストの中に。
- 5:53michiru_da: でも分かんないか、その-の数だけ数えるとかをするかもしれません。
- 6:01うぱ / upamune: いいですね。その時にもし郵便番号と電話番号もそのテキストの中に混じってたら、
- 6:07うぱ / upamune: 例えば080-1234-ってなったら、電話番号でだいたい344、携帯だったら344とかじゃないですか。
- 6:15うぱ / upamune: それで多分-で数えたらめっちゃマッチしちゃいます。
- 6:21michiru_da: 一部正しいが全部間違ってるやつも引っかかっちゃう。
- 6:26うぱ / upamune: なので3つ数字があります。-があって4個数字があります。
- 6:33うぱ / upamune: っていうのでマッチさせたい。
- 6:35うぱ / upamune: こんな感じで、フォーマットというかこういう感じなんだけど、
- 6:43うぱ / upamune: ここはまあ何でもいいんだよねみたいな感じにできるのが正規表現。
- 6:47michiru_da: なるほど。じゃあちょっと単語がややこしいかもしれないけど、
- 6:53michiru_da: 変数みたいなのを定義するみたいな。
- 6:55うぱ / upamune: まあまあそうそうそうそう。
- 6:58michiru_da: なるほどね。
- 6:59うぱ / upamune: そうです。なので正規表現はその実際の文字列というよりはパターンを記述することで、
- 7:09うぱ / upamune: それをいっぱいマッチさせることもできるし、
- 7:14うぱ / upamune: 正規表現で電話番号を抽出しますと。
- 7:20うぱ / upamune: それ例えば日本の普通の固定電話のやつのフォーマットでマッチさせるとするじゃないですか。
- 7:29うぱ / upamune: 先頭の市街局番だけ取得したいみたいな場合も正規表現だったら簡単に取れるんですよ。
- 7:39うぱ / upamune: 全体として電話番号は例えば前は2桁から4桁かな。東京とかだったら03だし田舎だったら4桁ぐらいになるし、
- 7:50うぱ / upamune: 中は4桁4桁で、全体のフォーマットはこれである必要があるんだけど、
- 7:55うぱ / upamune: 前の2桁から4桁の部分だけこういい感じに全部網羅して抽出するみたいなのもできる。
- 8:02うぱ / upamune: 今のやつでさらっと言っちゃったけど、2桁から4桁なんですよねみたいなのも正規表現だと簡単に書けるっていう感じですね。
- 8:10michiru_da: そうなんだ、それは思いました。グループの定義みたいなやつをそのパターンごとに全部やらないといけないのかと思って。
- 8:20うぱ / upamune: 違うんですよ。
- 8:21michiru_da: けどそうなんだ。
- 8:22うぱ / upamune: そうなんです。
- 8:24michiru_da: どういうふうに定義するんですか。
- 8:26うぱ / upamune: いいですね。基本的には結構簡単に書けまして、
- 8:34michiru_da: せっかくノートブックLMのスライドを作ってくれたのに多分何も参照していない気がします。
- 8:43うぱ / upamune: 例えばですね、実際にこういうここに正規表現を書くところなんですけど、よくこういうサイトがあります。
- 8:56うぱ / upamune: これさっき言ったような正規表現を実際に試せるようなサイトです。
- 9:03うぱ / upamune: こんな感じでPHPの正規表現だったり、JavaScriptの正規表現だったりっていうのがこんな感じで選べるようになっています。
- 9:11うぱ / upamune: なんでさっき言ってたような、例えば08012345678ってテキストで並んでたり、これ郵便番号っぽいやつですね。
- 9:25うぱ / upamune: 3桁4桁みたいな感じのときに、この郵便番号だけ抽出したいなっていう。
- 9:33うぱ / upamune: 例えばこんな感じで、こっちは090って並んでたり、この下に郵便番号がこんな感じで並んでるときにあるんですけど、
- 9:47うぱ / upamune: まず文字がどういうものかっていうのは最初に書くんですね。
- 9:55うぱ / upamune: 例えば数字だったら、このカッコの中にどういう文字かっていうのを書くんですけど、
- 10:02うぱ / upamune: 例えばABって書いたら、AがBどっちでもいい。
- 10:05うぱ / upamune: なんで、0123456789って書いたら、数字だったらどれでもいい。
- 10:11michiru_da: そういう感じで書くの。
- 10:14うぱ / upamune: これ簡単に書くことができて、0から9だったらなんでもいいっていう感じで書けます。
- 10:21うぱ / upamune: 0から9が3つ連続しているのをこんな感じで書けるんですけど、
- 10:31うぱ / upamune: そうすると、4つ中3つあるときもこう。
- 10:36michiru_da: そういう感じで書いたら完全一でなくて、部分一でも当たっちゃう。
- 10:40うぱ / upamune: そうです。
- 10:41michiru_da: 部分で書く前方なのかな。
- 10:48うぱ / upamune: で、今書いてるのは大きなカッコの中に0から9って書いて、
- 10:54うぱ / upamune: これはどういう意味かというと、0から9の中だったらどれでもいいよっていうのが3つ並んでます。
- 10:59うぱ / upamune: で、郵便番号なんで次に来るのはハイフンですよね。
- 11:05うぱ / upamune: こう書いた時点で郵便番号の先頭にもマッチしていますし、
- 11:12うぱ / upamune: 携帯の080とかのどこにもマッチしてるし、携帯の真ん中の4桁の後ろ側にもマッチしている。
- 11:23michiru_da: すごい急に分かんなくなった。
- 11:25うぱ / upamune: これはただ3桁の数字が並んで、ハイフン。
- 11:31うぱ / upamune: これ別に先頭とか関係ないです。
- 11:35michiru_da: 3桁の数字を示す0から9、3つ並べた後にハイフンってついてるんですけど、
- 11:46michiru_da: 090ハイフンとか2つ目のブロックプラスハイフンとかも引っかかってて謎ですね。
- 11:54michiru_da: 1個目の0から9と2個目の0から9の間にハイフン書かなくてもいいんだみたいな。
- 12:00うぱ / upamune: これですか、ここですか。
- 12:02うぱ / upamune: これにハイフンもこんな感じですか。
- 12:07michiru_da: そうそう、そういう風に書きたくなりそう。
- 12:10うぱ / upamune: これを書くとこうなりますね。
- 12:14うぱ / upamune: 0から9何個でもいいですっていうのを、0から9のどれかの文字っていうのをまず3回並べてるんですね。
- 12:23michiru_da: そういうことか。
- 12:26michiru_da: これで080ハイフンをようやく示せた。
- 12:30うぱ / upamune: そうですそうです。
- 12:31michiru_da: なるほど、理解しました。
- 12:33うぱ / upamune: だからあとはもう。
- 12:33michiru_da: 全部の番号のブロックみたいな感じで思っていました。
- 12:37michiru_da: なるほど。
- 12:38うぱ / upamune: ではないです。
- 12:39michiru_da: また1つ目、1ブロック目の話だったね。
- 12:41うぱ / upamune: そうです。
- 12:42うぱ / upamune: なのでここから郵便番号なんで、数字が3桁ハイフン4桁なんで、
- 12:48うぱ / upamune: この0から9っていう記述をあとは4回繰り返せばっていう感じになるんですけど、
- 12:55うぱ / upamune: これだとまだ問題がありますよね。
- 12:57うぱ / upamune: 電話番号も最初3桁で真ん中4桁だから、電話番号もマッチしちゃうやんっていう感じなんですけど、
- 13:05うぱ / upamune: さっきあの多分直感的じゃなかったと思うんですよね。
- 13:08うぱ / upamune: この数字の3つって繰り返したら、この080、123、090、235だけ引っかかってくれやって思いません?
- 13:19うぱ / upamune: この真ん中の123とか。
- 13:21うぱ / upamune: それ自体も正規表現で書けるんですよ。
- 13:24うぱ / upamune: その行頭から始まるみたいな。
- 13:26うぱ / upamune: 同じようにこれで終わりですっていうのも示せますよね。行末っていう。
- 13:33michiru_da: 数字が4つ並んでるのか3つ並んでるのか。
- 13:37うぱ / upamune: それがどこから始まってるのかっていうのを。
- 13:40うぱ / upamune: じゃあ今試しに行頭から3つ数字っていうのをやってみると、
- 13:46うぱ / upamune: 多分この080、123、090、235しかマッチせずに他のやつはハイライトされないって感じになるんですけど、
- 13:54うぱ / upamune: これですね、キャレットっていうやつをやったら、
- 13:57うぱ / upamune: 先頭から3つ数字が連続するところだけにマッチするっていう状態になりました、今。
- 14:03michiru_da: すごい。
- 14:04うぱ / upamune: で、さっきみたいに配布もやって、数字を1、2、3、4つけて、もうちょいですね。
- 14:16うぱ / upamune: 行末、一番お尻を示すのはドルなんで、ドルって書いたら、
- 14:21うぱ / upamune: 先頭から数字が3つ、3桁並んで、配布があって、4つあって、お尻がありますっていうのにだけマッチするんで。
- 14:31michiru_da: 素晴らしい。なるほど。
- 14:34michiru_da: 先頭を示す記号と終わりを示す記号は別なんですね。
- 14:37うぱ / upamune: そうです。で、これもうちょっと簡単に書けて、この0から9ってめっちゃ品質なんですよ。
- 14:43うぱ / upamune: なんでこれは、ほぼ全てのところでディジットのDですね。
- 14:49うぱ / upamune: で、置き換えることができるんで、こんな感じで。
- 14:53うぱ / upamune: 0から9は同じですね。
- 14:56うぱ / upamune: で、これもっと簡略化することができて、D、同じものが何個続くみたいなのも品質なんですね。
- 15:07うぱ / upamune: なので、こんな感じで、この数字がN個続くみたいなのとか、この前のやつが何個続くっていうのは、この大括弧、中括弧で表すことができるっていう感じですね。
- 15:26michiru_da: すごい。めっちゃ短くなりました。
- 15:28うぱ / upamune: そうそう。これもやるのが正規表現です。
- 15:34michiru_da: 確かに便利そう。
- 15:36うぱ / upamune: だからなんだろうな、よくあるのが、この-Dをこういうのにもできるんで、BCの0、1、2、3、こういうのにマッチして。
- 15:52michiru_da: なるほどですね。
- 15:55うぱ / upamune: これはAからZって小文字だけのアルファベットで、こんな感じで、アルファベット3文字-数字4桁の文字列だけにマッチするんで、
- 16:09うぱ / upamune: よくあるやつだと、全部ABCって書いてるの大文字にしたいんだよなーみたいな時に、正規表現でマッチさせて、マッチしたやつだけ大文字に変換みたいなのをめっちゃ簡単に書けるみたいな。
- 16:22michiru_da: なるほど。
- 16:23うぱ / upamune: っていうのが正規表現ですね。
- 16:28うぱ / upamune: これでなんで技術書500ページ必要なんだよ。
- 16:31michiru_da: いや、そう思いました。
- 16:34うぱ / upamune: 概念は?
- 16:36michiru_da: うん。やっぱ検索に付随する技術なんですか?
- 16:44うぱ / upamune: そうですね。それ自体が検索っていうのもあるし、テキスト抽出みたいな時が多いですかね。
- 16:57いっぱいある中からパターンはこれなんだよみたいなのがあるときに使うっていう感じですかね。
- 17:07うぱ / upamune: これもっといろんなことができまして、例えば郵便番号って今までこの3桁4桁で書いてたじゃないですか。
- 17:24うぱ / upamune: で、こういう悪い人もいて、配分書かない人みたいな。その時に配分って別にあってもなくてもいいんだよなーみたいな。
- 17:36うぱ / upamune: 3桁4桁にマッチしたいみたいな時は、ハテナを書くと、このハテナの前のやつがあってもなくてもマッチするようになるんですね。
- 17:47michiru_da: へー。すごい。
- 17:49うぱ / upamune: そうなんです。とか、あとは変な国の郵便番号だったら、配分が2つありますみたいな時に、この2つでもマッチさせたいし、1個でもマッチさせたいんだよなーっていう時、
- 18:08うぱ / upamune: こういう時は、さっきのはハテナみたいな特殊な文字があるんですけど、ハテナは前の文字があってもなくてもいいだったじゃないですか。
- 18:19うぱ / upamune: けどこのプラスは、1つは必要っていう。1つ以上だったら何個でもいいみたいな。
- 18:26うぱ / upamune: なのでさっきの配分がないやつはマッチしてないですよね。で、これを3個とか4個とか5個とか増やしてもマッチするんで、
- 18:37うぱ / upamune: これのユースケースは、それこそ正規化するときめっちゃ便利ですね。この配分を何個入れようが、ここの数値の部分は取れるんですよね。
- 18:51うぱ / upamune: なので最終的にこの配分は1個にするみたいなのをめっちゃ簡単に書けるとかですね。
- 19:00うぱ / upamune: そうですね、このさっきの数字みたいなところを普通の丸括弧でくるんだらグループ化っていうのができて、
- 19:07うぱ / upamune: そのプログラミング、プログラムを書いてる時に簡単にその前のグループを取る、後ろのグループを取るみたいなのが簡単に書けるようになります。
- 19:15うぱ / upamune: さっき説明したのはプラスとハテナですけど、アスタリスクも使うことができて、ちょっと違ってそう、ゼロ個以上ですね。
- 19:27うぱ / upamune: なくてもいいんだけど、あってもいいっていう感じです。
- 19:33うぱ / upamune: さっきの行頭行末とかはアンカートドルとかですね。
- 19:39うぱ / upamune: あとはドットっていうのは結構よく使いますね。
- 19:43うぱ / upamune: ドットはなんでもいい1文字みたいな。
- 19:46うぱ / upamune: なんでもいいから1文字ないとダメみたいな。
- 19:49うぱ / upamune: それがなんで嬉しいかっていうと、ドットプラスみたいなことを書くことで、なんでもいいんだけど1文字以上あるみたいな感じで表せるんですよ。
- 20:00うぱ / upamune: すごい飲み込み早すぎるな。
- 20:04michiru_da: 飲み込みとかそうかって。
- 20:06michiru_da: これ誰が作ったの?
- 20:08うぱ / upamune: 確かに。
- 20:10うぱ / upamune: なんか普通の考えではないですよね。どうなんだろう。
- 20:14うぱ / upamune: でも多分人間的にパターンで認識してるみたいなのは結構あって、これは郵便番号ですか?って聞かれたときに、
- 20:23うぱ / upamune: いやこれ郵便番号じゃないなってわかるけど、やっぱ3桁配分、4桁みたいなのを記述したいってなったときに、
- 20:31うぱ / upamune: どう言語に落とすかっていう1つの開放が。
- 20:33michiru_da: なんかすごく汎用性にこだわりを持った人が作った考え方という感じがします。
- 20:40うぱ / upamune: 確かに。ちょっと今の間に。
- 20:45うぱ / upamune: ここでも書いてるんですけど、電話番号とか郵便番号をコードで書くと、積表現なしだと結構めんどくさい。
- 20:57うぱ / upamune: 左から読んでいって、次は数値がくるよね、数値がくるよね、数値がくるよね、配分がくるよね、数値、数値、数値、数値、みたいな感じでやっていかないといけないっていう感じなんですけど、
- 21:12うぱ / upamune: 積表現だったらさっきみたいにピッて、配分Dでっかい括弧3、配分、バクサラDでっかい括弧4みたいなのを書くだけで、郵便番号になるっていう。
- 21:25michiru_da: さっき言ってた、頭が2桁だろうが4桁だろうがいい感じに書けるのも。
- 21:33うぱ / upamune: そうですね、量子定詞っていう、大学校の中に3って書いたじゃないですか、あれを確か、
- 21:41michiru_da: 中学校ね。
- 21:42うぱ / upamune: 中学校。中学校で、2、ビデオではなくて。
- 21:50michiru_da: かんま。
- 21:50うぱ / upamune: かんま。かんま4みたいな感じで書いたら、2から4みたいな感じになる。
- 21:57michiru_da: なるほど。
- 21:59うぱ / upamune: その感じで簡単に書けるんで。
- 22:04michiru_da: さっきのいろんな用法のとこも僕は見てるんですけど、グルーピングときた数と使う文字の定義みたいなのが主な、よく使うやつみたいな感じなのかな。
- 22:17うぱ / upamune: そうですね、だいたいプログラムから使うときはグルーピングして、マッチしたところのあるグループを取得したいとかがよくありますね。
- 22:29michiru_da: ありそう。
- 22:30うぱ / upamune: 何年何月何日って書いてたら、年のとこだけ取得したりとか。
- 22:36michiru_da: なんかそれってどう…いやなんか、エンジニアの人すごいなってなったけど、それを実現する方法って多分何個かあるじゃないですか。
- 22:46michiru_da: 私なんか、あってるかわかんないけど、SQLで変換するとかもできそう。
- 22:53michiru_da: SQLでできるかわかんないけど、いつもSnowflakeしか使ってないからそういう感じで考えてるけど。
- 23:00michiru_da: なんか変換をして年月を抽出する方法もありそうだし、今の正規表現です。
- 23:08michiru_da: 正規化してその値を取る考え方もあって、そのたぶんどのソリューションを使うかみたいなのがめっちゃいっぱいあると思うんですけど、そこから選んでるんですねってなりました。
- 23:20うぱ / upamune: はいはい。それで言うと、この正規表現の今みたいにいっぱいテキストがあるところに、こういう特定のフォーマットで年が4桁、月が1桁か2桁、日数が1桁か2桁、日ってなるのを全部抽出するっていうタスクは、結構正規表現じゃないとめんどくさいなっていう。
- 23:43michiru_da: もう得意なんですね。
- 23:44うぱ / upamune: 正規表現がもう。
- 23:46うぱ / upamune: そうですね。パターンでの一致。実際の値だったら簡単にSQAとかでウェアとか書けばいいじゃないですか。
- 23:56うぱ / upamune: けどこのパターンで何か具体的な値があるわけじゃないんだけど、パターンで一致させるっていうのが正規表現の強いところですね。
- 24:05michiru_da: じゃあ書き方が決まってるやつは正規表現が取得するのがやりやすい。
- 24:12うぱ / upamune: そうです。こういう感じでマッチしたいみたいな。
- 24:17うぱ / upamune: さっきの。
- 24:19うぱ / upamune: 正規表現は1951年に数学者によって開発されたんですね。アメリカで。
- 24:27michiru_da: この人何するときに。この人もプログラミングを実質やってた。
- 24:33michiru_da: なんか論文を書くときにこの概念が作られた。
- 24:39michiru_da: 全くわからない。文字列パターンの表現や認識に極めて有効であることが後に証明されました。
- 24:48michiru_da: じゃあ別に作った時はそれ用じゃなかったのか。
- 24:52うぱ / upamune: これにも使えるじゃんみたいな話なのかな。
- 24:55michiru_da: なんかかっこいいな。
- 24:57うぱ / upamune: 正規表現マジでなんだろう。汎用的すぎる。
- 25:03うぱ / upamune: 結構あれですよね。正規表現でこういうのが欲しいんだよな。
- 25:14うぱ / upamune: こういう文字列にマッチさせたいんだよなっていうときに正規表現でパッと書ける人はかなりいないと思いますね。エンジニアでも。
- 25:25michiru_da: どういうこと?
- 25:26うぱ / upamune: さっきみたいに例えばこれは先頭。めっちゃ簡単な例でしたけど先頭は2から4桁の数字があってここはこういう文字が続いてこれはあってもなくてもいいんだけどみたいなのを。
- 25:42michiru_da: 文法覚えてるかっていうかはいい感じにパターン化するのが難しいってこと?
- 25:47うぱ / upamune: まず最初に多分パターン化の難しさがあってその次に文法の話があるんだと思います。
- 25:53うぱ / upamune: だから結構正規表現はミニプログラミング言語みたいな感じなんですけどこれがサクサクできるエンジニアじゃない人はかなりプログラミングに向いてると思います。
- 26:06michiru_da: うぱさんはサクサク書けるんですか?
- 26:08うぱ / upamune: 書けないですね。でもだいぶ500ページの袋本を読んだおかげでめっちゃ困ることはなかったですね。
- 26:19michiru_da: 結局あの袋本は何がいっぱい書いてあるかって喋ったんですか?
- 26:23うぱ / upamune: こういう、一章で今言ったような特殊な文字。行末とか行頭にマッチさせるとか、2の文字にマッチさせるドットとかそういうのをバーって言って
- 26:42うぱ / upamune: そこからどんどんじゃあこういうのはどうやってマッチさせるかなみたいな感じでやってくるという感じですね。
- 26:49michiru_da: ささやかなメールユーティリティ。
- 26:52うぱ / upamune: この時はメール便利だったんでしょうね。
- 26:57うぱ / upamune: この方言の話とかもありますね。
- 26:59michiru_da: 手続き型。
- 27:01うぱ / upamune: でその後にどうやって動いてんねんみたいな話とかがありますね。
- 27:07michiru_da: めちゃくちゃ量あるな。
- 27:08michiru_da: よく読めますね。
- 27:11うぱ / upamune: いっぱいありますね。
- 27:12michiru_da: これって今はそれこそこうPDFをAIに入れてなんか困ったらそれをなんか実務で一回読んでこれなんだなと思って実務で困ったら聞いてやるとかできるけど、
- 27:24michiru_da: 前はみんなそれを紙で引いてやってたって感じなんですか?
- 27:30うぱ / upamune: 正規表現ですか?
- 27:31michiru_da: うん。なんか一回読んで覚えられない。
- 27:33うぱ / upamune: 無理です無理です。しかも正規表現です。合ってるかどうかもわかんないし。
- 27:37michiru_da: 合ってるかどうかもわかんない。
- 27:39うぱ / upamune: わかんないです。多分今までめっちゃ簡単な例を見てたんで多分パッと見てわかったと思うんですけど、
- 27:47うぱ / upamune: 例えばそのメールアドレスの正規表現って多分なんか意外といけんじゃないみたいな感じで多分今思われてると思うんですけど、
- 27:55うぱ / upamune: メールアドレスの正規表現って多分かなり難しいというか何書いても多分間違いなんですよ。
- 28:01うぱ / upamune: そういうのでメールアドレスの正規表現って。
- 28:04michiru_da: 有名な問題なんだこれは。
- 28:05うぱ / upamune: 有名な問題というか大抵こういう。
- 28:08michiru_da: てかなんかすごいことになってる。
- 28:10うぱ / upamune: そうなんです。正規表現というのは。
- 28:12michiru_da: 全くわかんない。見てすごいな。
- 28:14うぱ / upamune: 正規表現というのは基本こういうものなんですよ。
- 28:16うぱ / upamune: すごい。暗号じゃん。
- 28:20うぱ / upamune: そう。
- 28:21michiru_da: こういうものなんですって言って、ポドキャストだけ聞く人はわかんない。
- 28:25うぱ / upamune: もう本当に暗号みたいな感じですよね。
- 28:27うぱ / upamune: でもみちらさん今なら読めるはずですよ。このよく見るアットマークがありますよね真ん中に。
- 28:33うぱ / upamune: メールアドレスのアットマークだ。
- 28:35うぱ / upamune: 先頭からこれは絶対行頭から始まって、この中は許される文字が並んでますと。
- 28:45うぱ / upamune: 小文字のAからZ、大文字のAからZ、0から9とアンダースコア。
- 28:51michiru_da: そうか。
- 28:53うぱ / upamune: こっちのドットプラスマイナスは普通に記号としてのドットプラスマイナス。
- 28:58うぱ / upamune: それが1個以上を並んでるっていう。それがアットが来るよっていう。読める。
- 29:07うぱ / upamune: しかし後半は難しい。
- 29:09michiru_da: そうなんだ。
- 29:11うぱ / upamune: ドメインの部分ですね。許されるドメインっていうのがどういう書き方かっていうのがありますね。
- 29:19うぱ / upamune: これなんか普通のメールアドレスとかだったらこれでいいんですけど、
- 29:23うぱ / upamune: 確かドコモのiモード時代のメールアドレスに使用できる文字が、普通は使用できない文字があって、
- 29:33うぱ / upamune: それをこういう正規表現を書いてると、そのユーザーたちが登録できなかったみたいな話とかあって、
- 29:40うぱ / upamune: 正規表現っていうのは一筋縄じゃいかない。
- 29:42michiru_da: なるほど。例外には弱いんですね。
- 29:45うぱ / upamune: そう。なんで例外を作ろうとすると途端に複雑になっていく。
- 29:50michiru_da: やばそう。
- 29:52うぱ / upamune: そうなんですよ。
- 29:53michiru_da: 面白いな。
- 29:55うぱ / upamune: え?もしかして正規表現向いてる?
- 29:58michiru_da: いや。
- 29:59うぱ / upamune: 他のより?
- 30:01michiru_da: やっぱりユースケースが限られるのが面白いですね。
- 30:04うぱ / upamune: うんうんうん。
- 30:06うぱ / upamune: これなんか壊れてるな。
- 30:08michiru_da: 今もメールアドレス正規表現のページが表示されています。
- 30:12michiru_da: そうだ先読みってさっきもオライリーの本の目次にありましたね。
- 30:16うぱ / upamune: そうなんです。
- 30:20うぱ / upamune: なんかそうだな。どの例外かな。
- 30:25うぱ / upamune: 例えば否定先読み動画だったらちょっとユースケースがあるかもしんですね。
- 30:31うぱ / upamune: 例えばエンZINEやって伸ばし棒を使わないみたいな。
- 30:35うぱ / upamune: フォルダーじゃなくてフォルダー。
- 30:37michiru_da: フォルダー?プリンター?
- 30:38うぱ / upamune: そう。その時に難しい。普通の検索で難しいのは、
- 30:42うぱ / upamune: フォルダーにはマッチしてほしくないけど、
- 30:44うぱ / upamune: フォルダーにマッチしてほしいってめっちゃ難しくないですか。
- 30:47うぱ / upamune: それができるんです正規表現なら。
- 30:50うぱ / upamune: 例えばフォルダーって普通に書くじゃないですか。
- 30:54このフォルダーっていうのを普通にマッチするのを書いて、
- 30:59うぱ / upamune: その後に配分が来たらマッチさせるなっていうのを、
- 31:03うぱ / upamune: はてなびっくりとか書ける。
- 31:05michiru_da: そんな指定ができる。
- 31:07michiru_da: じゃあフォルダーに何かを入れるみたいな文章に当てたいときに使うってこと?
- 31:14うぱ / upamune: そうです。フォルダーにホゲホゲを入れる。
- 31:17うぱ / upamune: けどフォルダーには入れない。
- 31:20うぱ / upamune: その時に例えば、逆に私が広報の人だとして、
- 31:29うぱ / upamune: いや一般的にフォルダーじゃなくてフォルダーなんだよなっていう時に、
- 31:33うぱ / upamune: めっちゃむずいんですよ。
- 31:34うぱ / upamune: これを一括でフォルダーをフォルダーにしたいっていう風に思ったとするじゃないですか。
- 31:40うぱ / upamune: この時正規表現を使わないでやると、
- 31:41うぱ / upamune: フォルダーをフォルダーにすると、
- 31:44うぱ / upamune: 最初からフォルダーになってた時が伸ばし棒2個になっちゃうんですよね。
- 31:48うぱ / upamune: なのでフォルダーにだけマッチさせて、
- 31:51うぱ / upamune: フォルダーに置換するみたいなのが簡単に書ける。
- 31:54michiru_da: 確かに。
- 31:55michiru_da: WordとかGoogle Docsの置換だと伸ばし棒2個になっちゃいます。
- 32:00michiru_da: 今のパターンだと。
- 32:01うぱ / upamune: ちなみにたぶん隠れたところに正規表現オプションみたいなのが。
- 32:05michiru_da: なんかありそう。
- 32:06うぱ / upamune: あって使えるのもありますね。
- 32:10うぱ / upamune: 後は先読みっていうやつで、
- 32:13うぱ / upamune: 今までのやつって正規表現ってめっちゃ順番が大事だった。
- 32:18うぱ / upamune: 例えばこの例であるのは、
- 32:19うぱ / upamune: リンゴ、みかん、メロンっていう3つの単語がある時に、
- 32:24うぱ / upamune: どの順番になってもいいんだけど、
- 32:26うぱ / upamune: リンゴ、みかん、メロンでも、
- 32:27うぱ / upamune: メロン、みかん、リンゴでもいいんだけど、
- 32:30うぱ / upamune: これをマッチさせたいっていう時に、
- 32:34うぱ / upamune: それも先読み、肯定先読みっていうのを言うので、
- 32:38うぱ / upamune: 検索できますよっていう感じですね。
- 32:41うぱ / upamune: まずリンゴっていうふうにマッチしたら、
- 32:43うぱ / upamune: 先にみかんある、メロンあるっていうのを確認して、
- 32:46うぱ / upamune: あったらさらに先に進むっていう。
- 32:50michiru_da: なるほど。
- 32:51うぱ / upamune: こんな感じで本当にいろいろなパターンも。
- 32:54michiru_da: パターンが決まってたらもうめっちゃそれは何とでもなるみたいな感じがします。
- 33:00michiru_da: なるほどね。
- 33:01うぱ / upamune: さっきまで言ってた検索とかだったら、
- 33:04うぱ / upamune: こんな否定先読みとかだったら普通に書けるんですけど、
- 33:08うぱ / upamune: LLMの時代って結構もうめちゃくちゃ難かったんですけど、
- 33:12うぱ / upamune: 今ならこういうのにマッチしたい正規表現書いてって言ったら、
- 33:16michiru_da: 確かに。
- 33:16うぱ / upamune: ほらどうぞって。
- 33:18michiru_da: 言ってくれそう。
- 33:20うぱ / upamune: 正規表現が自分自身書けなくても、
- 33:24うぱ / upamune: なんかこのいっぱいある文章の中からこれを抽出したいよっていう時に、
- 33:29うぱ / upamune: 正規表現っていうワードを知ってるだけで、
- 33:33うぱ / upamune: LLMにお願いすることができるんで、
- 33:36うぱ / upamune: 今のすごい賢いLLMとかだったら、
- 33:40うぱ / upamune: 例えば郵便番号形式で抽出してって言ったら、
- 33:43うぱ / upamune: 1回その正規表現を書いて抽出してくれたりすると思いますけど、
- 33:47うぱ / upamune: 普通にLLMに抽出してって言って、
- 33:50うぱ / upamune: 最初からこうなんだろう、
- 33:52うぱ / upamune: LLMの知能能力だけでやってると、
- 33:55うぱ / upamune: 先頭3件だけちゃんと見つけてみたいなのはあると思うんで、
- 33:59うぱ / upamune: 正規表現でみたいなパターンで取りたいときは、
- 34:02うぱ / upamune: そのワードを知ってると多分いい感じになると思いますね。
- 34:07michiru_da: 面白い。
- 34:09michiru_da: 先読み後読みって言うんですね。
- 34:12そうなんです。正規表現。
- 34:15仲間になりました?友達になりました?
- 34:17まあなんとなく分かりました。
- 34:20だからよく設定とかにあるんですよね。
- 34:24うぱ / upamune: 何が入ってくるかわかんないけど、
- 34:26こういう形式のテキストには許可したいというか、
- 34:30michiru_da: マッチしたいというか。
- 34:31報道の指定とかにめっちゃ役立つんだろうなという気がしてます。
- 34:35確かに。
- 34:36うぱ / upamune: うちの会社の機関システムの裁判のフォーマットはこういう感じなんだよね、みたいな。
- 34:44先頭が必ずAから始まって、みたいな。
- 34:47うぱ / upamune: ときにプログラムが書けなくても、
- 34:51うぱ / upamune: これプログラムという見方あるけど、
- 34:53うぱ / upamune: 正規表現を書けば。
- 34:57michiru_da: 便利だ。
- 34:58うぱ / upamune: でしょ?
- 35:00うぱ / upamune: 明日から正規表現マスターになる。
- 35:03うぱ / upamune: LLMに。
- 35:04michiru_da: LLMお願いマスターになる。
- 35:07うぱ / upamune: という感じですね。
- 35:09うぱ / upamune: パターン。文字のパターンを記述する表現言語という感じです。正規表現。
- 35:18michiru_da: パッと見て本当に何が書いてあるかわからなすぎるからなんだと思ってたけど、そういうことだったのかと思いました。
- 35:26うぱ / upamune: 実際の正規表現。
- 35:28うぱ / upamune: さっきもメールアドレスの前半部分は読み解けましたもんね。
- 35:32michiru_da: そうですね。教えてもらえると。
- 35:35michiru_da: 勉強になりました。
- 35:37うぱ / upamune: 珍しいですね。ミチルダも納得のテック界。
- 35:44michiru_da: コスパがいいというか、本当にシンプルにこの条件を特定したいみたいなときにめっちゃ使える汎用的なものなんだなと。
- 35:54うぱ / upamune: そうです。だいたいどこの言語だけじゃなくて、いろんなアプリケーションにこの正規表現実装されてるんで、
- 36:03うぱ / upamune: 1個覚えておけばコスパいいですよね。
- 36:06うぱ / upamune: 多分スプレッドシートとかにもあると思いますよ。
- 36:08michiru_da: ありそう。
- 36:10うぱ / upamune: だから、こういうパターンで見つけたいとか、自感したいなというときは。
- 36:17michiru_da: 確かに。次は正規表現でやってみよう。
- 36:19うぱ / upamune: 使ってみてください。
- 36:22michiru_da: 勉強になりました。
- 36:23うぱ / upamune: よかった。
- 36:25michiru_da: なんかこれ正規表現、教えて正規表現やろうって言ったの結構前なんですけど、最初に出たの。
- 36:32うぱ / upamune: 何があったんだ?
- 36:33michiru_da: なんか、うぱさんがちょっと正規表現はなぁみたいな、ちょっとなんだろう。
- 36:40うぱ / upamune: しぶってた?
- 36:41michiru_da: なんだっけな。なんかさ、めんどくさいとかじゃなくて、なんか諸説あるみたいな感じで言ってたんですよ。諸波あるみたいな。
- 36:51うぱ / upamune: うんうん。
- 36:53michiru_da: で、だから、うんって言ってちょっとしばらく寝かされてたんですけど。
- 36:57うぱ / upamune: うん。あれは何だったんだって。
- 36:58michiru_da: そう。
- 36:59うぱ / upamune: なんだろうね。正規表現って方言もあるから。
- 37:02michiru_da: 言ってって言ったのかな。そうか。
- 37:04うぱ / upamune: そうそう。この言語だとこれが使えるけどこれが使えないみたいな。
- 37:09うぱ / upamune: さっきのどっちだろう。肯定先読みか否定先読みかが使えないエンZINEとかもあるんで。
- 37:17michiru_da: うーん。
- 37:19うぱ / upamune: でもね、たぶんね、LLMだとこれで使う正規表現書いてって言われたらちゃんと考慮して書いてくれると思います。
- 37:25うぱ / upamune: なんでその正規表現書いてって言って書いたやつをなんかJavaScriptにしたら全然マチせえへんやんけみたいな感じになるときは、ちゃんとなんかJavaScriptで使う正規表現でって書いて。
- 37:38michiru_da: 重要な情報。
- 37:40うぱ / upamune: あとね、正規表現は結構ね、大変なことになることもあるんで、これって文字列を評価してるんで、正規表現の、さっきみたいなこのめっちゃむずい正規表現とかあるじゃないですか。
- 37:56うぱ / upamune: そうすると正規表現をやるコストが爆上がりして、それでなんかシステム落とすみたいなやつとかもできちゃうんですよ。
- 38:06michiru_da: そんな重たい正規表現。
- 38:09うぱ / upamune: そうそうそう。なんで。
- 38:11michiru_da: 例外パターンに対応していったら大変なこと言ったでしょ。
- 38:14うぱ / upamune: そうなんですよ。リドスですね。
- 38:17michiru_da: なんか映してます。
- 38:17うぱ / upamune: なんかドスっていうドス攻撃みたいなのがあると思うんですけど、リはレギュラーエクスプレッションの。
- 38:22michiru_da: へー。
- 38:25うぱ / upamune: それで正規表現をピュって入れることで、例えばめっちゃ簡単なやつだったら一瞬で終わるんですけど、
- 38:36例えば177秒もかかっちゃうとかそういうのがあるんで、
- 38:40うぱ / upamune: 例えばさっきのメールアドレスのところに正規表現を書いてたら、
- 38:46うぱ / upamune: ユーザーが入力するたびにそのユーザーで入力を3分ぐらいずっとそのユーザーのバリデーションするために正規表現を走ったりするのを、
- 38:56うぱ / upamune: 同じユーザーが何回もこうやってたらシステム止まっちゃうみたいなのがあるんで、
- 39:04うぱ / upamune: そういう危ないのもありますよっていう感じですね。
- 39:07うぱ / upamune: そういうのに対応しているライブラリーとかもあったりするんで、
- 39:13うぱ / upamune: 難しい正規表現を使って何かやりたいよっていう人はそこら辺も、
- 39:18うぱ / upamune: 多分LLMに言ったら、リドス大丈夫そうって言ったら何とかしてくれるんじゃないでしょうか。
- 39:24うぱ / upamune: ええ時代やでほんま。
- 39:28michiru_da: ありがたいですね。
- 39:29うぱ / upamune: ありがたいですね。
- 39:32うぱ / upamune: スプレッドシート見てみましたけど、ありましたね。
- 39:34michiru_da: めっちゃ正規表現って書いてある。
- 39:36うぱ / upamune: 正規表現を使用した検索。
- 39:39うぱ / upamune: なんかヘルプも、正規表現ヘルプもあるっぽいですね。
- 39:44michiru_da: 助かる。
- 39:46うぱ / upamune: 皆さんもぜひ正規表現を使って、我々と同じように効率中になりましょう。
- 39:54michiru_da: なりましょう。私は一回も書いたことはないです。
- 39:59うぱ / upamune: 確かにもう今書くことないよね。
- 40:02michiru_da: 面白かった。ありがとうございました。
- 40:04michiru_da: ファンの質問フィードバックは、
- 40:07michiru_da: Xのハッシュタグ、Magical FM全部小文字、または概要欄のお便りフォームまでお寄せください。
- 40:12michiru_da: Spotifyのベルマークを押すと更新通知が届きますので、そちらもお願いします。
- 40:17michiru_da: ありがとうございます。
- 40:18うぱ / upamune: ありがとうございました。