洗澡时总会有灵感蹦出,但是程先生耐不了淋浴的闷热,于是也早早地蹦出了卫生间。
原本这次打算分享PDF转Word的万能神器,但是被淋浴冲昏头脑之后,还是趁热在空调下科普本次的洗白白灵感:如何用正则表达式辅助Excel进行数据预处理。
啥,有点语无伦次?!
Excel虾/侠应该知道,从txt文件中,直接拷贝以“Tab制表符(看,人家名字就叫制表符)”分隔的文本到Excel之后,数据会老老实实、规规矩矩按行列落在它本应所处的位置。
但如果数据本身并非以Tab制表符分隔,可能是以逗号分隔(Excel所兼容的.csv文件倒是支持以英文逗号分隔数据列),也可能是以(多个)空格分隔,或者文本行是更为复杂的JSON数据格式(额,这个怎么解释呢,大家就理解为长得很“丑”的文本数据吧,类似这种:{ "firstName": "Xiansheng", "lastName":"Chen", "email": "idealRetail@163.com" });又或者说,你想以某种文本规律去处理(提取、清除)文本行数据,例如把如图所示文本中的“第X大美食”给清除掉;还有其它很多种复杂的场景(夜深脑瘫,程先生一时半会儿举不动栗子啦),特别是你从网上拷贝、下载、抓取了某些数据,你又不会编程处理或者说没有程序员男朋友时,正则表达式将会是你清洗数据的一大利器。
好啦,进入实操阶段:
首先下载个支持正则表达式的文本编辑器,例如EditPlus(推荐)、Ultraedit、Sublime等,然后拖入文本文件到编辑器内打开文件之后按Ctrl+H就可以进行正则查找、替换啦。EditPlus的操作界面如下:
正则表达式(Regular Expression),又称规则表达式,因此,它有一系列的规则,有人还把它写成了比拳头还厚的书- -,因此今天的科普文章不可能覆盖所有的case。程先生抛砖引玉,举例说明常见的情景吧。
- 连续的空格替换为Tab制表符(这样,拷贝到Excel中的文本就不会挤在同一格啦):
Find: [ ]*
Replace: \t - 以句号作为行末进行换行(比如对诗歌文本进行格式化处理,每一行都是完整的一句话):
Find: 。
Replace: 。\n - 如上所述,清除所有“第X大美食:”文字:
Find: 第.*大美食:
Replace: - 查找所有的电话号码/手机号码:
Find: [0-9]{11} (手机号码:xxxxxxxxxxx)
Find: [0-9]{3,4}-[0-9]{8} (座机:xxxx-xxxxxxxx) - 把上述的JSON数据({ "firstName": "Xiansheng", "lastName":"Chen", "email": "idealRetail@163.com" })格式化为excel列字段:
Find: .*first(匹配任何字符开头且连着first字样的文本)
Replace: first(清除行首的括号引号)
Find: " }(匹配"后接一空格及}符号的文本,}需转义)
Replace:(清除行末的括号引号)
Find: ":[ ]*"(匹配"之间含:及若干个空格的文本)
Replace: \t(替换冒号分隔为制表符分隔)
Find: ", "(匹配"之间含,及一个空格的文本)
Replace: \t(替换冒号分隔为制表符分隔)
啊,快没电了……
作为正则表达式的科普,看到这儿对自己是否适用,自己又是否感兴趣也差不多了然于心了。那么,我们留言见?
晚安눈_눈
程先生其实不姓程,他是个程序员。
他很乐意与你分享许多硬货和一点软文,并提供善解人意的技术咨询。
欢迎关注,欢迎简信。