我所说的一切都可能是错的！
即使你赞同我的观点，
你的生活也不会因此有任何改变！
除非——你采取了相应的行动。
（这是书先生的第226篇原创分享。2021年3月24日，于新加坡）
引子
今天分享一件小事儿。
事儿很小，之所以觉得值得分享，是因为我从中学到了点儿重要的东西。
这个小事儿是这样的：路夫人让我帮忙处理个文档。文档长这样：
其实就是《新概念英语第二册》的中英对照版。夫人的要求是去掉所有的英文，但是每篇课文的标题要保留。
两种思路
对我这种天天和语料库打交道的人来说，这还不简单，也就一行正则表达式的事儿。
正则表达式，英文叫regular expression，可以说是搞文本处理的朋友必须掌握的小技术。它的作用就是用一些符号的组合来匹配你想要搜索的字符串模式。你可以把它理解为升级版的通配符。
比如“\d”表示所有的数字，“\w”表示所有的字母和汉字，“\t”表示制表符，等等等等。当然，更有用的是基本符号的合理组合，来匹配更加复杂的模式，比如：
匹配Email地址：\w+([-+.]\w+)@\w+([-.]\w+).\w+([-.]\w+)*
匹配不定式（用于有句法标注的语料库）：to_TO\s.*?[a-zA-Z]+_V
匹配“it + BE + adj + that”结构（用于有词性赋码的语料库）：\S+_PPH1\s\S+_VB\w*\s\S+_J\w+\s\S+_CST\s
……
这个小技术在文本清理、爬虫编写和语料库检索方面很有用，对这些东西感兴趣的朋友很有必要花点儿时间学一下。具体的技术细节不是本文的重点，我就不赘述了。
写正则表达式的第一步就是观察文本的特征。我就在这一步犯了错误。
我的第一个思路是匹配有英文字母，但是不以“Lesson”开头的句子，于是写了这样一个正则表达式：
^((?!Lesson)).*[a-zA-Z].*
这个表达式可以匹配所有包含英文字母但是不以Lesson开头的行。一个比较简单的表达式，稍微复杂点就是里面对Lesson的“零宽负向先行断言”((?!pattern))。
工作到此可以算是完成了，但我又看了看文本，发现自己犯了一个很傻的错误——我对文本的特征概括有点复杂了。
的确，匹配所有包含英文但不以Lesson开头的行，这个思路能完成任务。但是，根据文本的特征，还有一个更简单的思路，那就是匹配所有包含中文字符的行，因为我们需要去掉的行一定是不含中文的。
这就是一个条件，而不是两个条件了，从原理上来说，简单了50%。于是我又写了下面这个正则表达式：
.^((?![\u4e00-\u9fa5]).)$
其中[\u4e00-\u9fa5]是正则表达式里匹配汉字的写法。这个表达式能达到相同的效果。
粗一看，您可能觉得两个表达式复杂程度差不多，而且都能达到目的。但是，从思路上来看，第二种更加简洁和准确。
简洁是因为只需要判断一个条件，准确是因为需要去掉的行里一定没有英文字母，但需要保留的行里却可能出现英文字母。整个文本有几十页，我们不可能把全部文本都读一遍才来匹配，所以应该在编写正则表达式时尽量选择出错概率小的。
结语
今天分享的的确是件小事儿，小到一分钟就可以解决。但这处理这个小事儿时，思路的转化，却很值得思考。还是老规矩，我帮您总结一下。如果您经常会用正则表达式处理语料库，下面两点可能值得注意：
- 概括匹配对象特征时，尽量减少匹配条件。
- 选择表达式时，尽量选择出错概率小的。
好了，今天的分享就到这里，希望对您有所帮助。欢迎点赞、留言、转发，支持这个默默耕耘的靠谱公众号。
（原创内容，未经允许，不得转载！）
