在编写处理字符串的程序或网页时,经常会有查找符合某些复杂规则的字符串的需要,正则表达式就是用于描述这些规则的工具,换句话说正则表达式是一种工具,它定义了字符串的匹配模式(如何检查一个字符串是否有跟某种模式匹配的部分或者从一个字符串中将与模式匹配的部分提取出来或者替换掉)。如果你在Windows操作系统中使用过文件查找并且在指定文件名时使用过通配符(*和?),那么正则表达式也是与之类似的用来进行文本匹配的工具,只不过比起通配符正则表达式更强大,它能更精确地描述你的需求(当然你付出的代价是书写一个正则表达式比打出一个通配符要复杂得多,要知道任何给你带来好处的东西都是有代价的,就如同学习一门编程语言一样),比如你可以编写一个正则表达式,用来查找所有以0开头,后面跟着2-3个数字,然后是一个连字号“-”,最后是7或8位数字的字符串(像028-12345678或0813-7654321),这不就是国内的座机号码吗。最初计算机是为了做数学运算而诞生的,处理的信息基本上都是数值,而今天我们在日常工作中处理的信息基本上都是文本数据,我们希望计算机能够识别和处理符合某些模式的文本,正则表达式就显得非常重要了。今天几乎所有的编程语言都提供了对正则表达式操作的支持,Python通过标准库中的re模块来支持正则表达式操作。

我们可以考虑下面一个问题:我们从某个地方(可能是一个文本文件,也可能是网络上的一则新闻)获得了一个字符串,希望在字符串中找出手机号和座机号。当然我们可以设定手机号是11位的数字(注意并不是随机的11位数字,因为你没有见过“25012345678”这样的手机号吧)而座机号跟上一段中描述的模式相同,如果不使用正则表达式要完成这个任务就会很麻烦。

关于正则表达式的相关知识,大家可以阅读一篇非常有名的博客叫《正则表达式30分钟入门教程》,读完这篇文章后你就可以看懂下面的表格,这是我们对正则表达式中的一些基本符号进行的扼要总结。

正则表达式相关知识

符号 解释 示例 说明
. 匹配任意字符 b.t 可以匹配bat / but / b#t / b1t等
\w 匹配字母/数字/下划线 b\wt 可以匹配bat / b1t / b_t等 但不能匹配b#t
\s 匹配空白字符(包括\r、\n、\t等) love\syou 可以匹配love you
\d 匹配数字 \d\d 可以匹配01 / 23 / 99等
\b 匹配单词的边界 \bThe\b
^ 匹配字符串的开始 ^The 可以匹配The开头的字符串
$ 匹配字符串的结束 .exe$ 可以匹配.exe结尾的字符串
\W 匹配非字母/数字/下划线 b\Wt 可以匹配b#t / b@t等 但不能匹配but / b1t / b_t等
\S 匹配非空白字符 love\Syou 可以匹配love#you等 但不能匹配love you
\D 匹配非数字 \d\D 可以匹配9a / 3# / 0F等
\B 匹配非单词边界 \Bio\B
[] 匹配来自字符集的任意单一字符 [aeiou] 可以匹配任一元音字母字符
[^] 匹配不在字符集中的任意单一字符 [^aeiou] 可以匹配任一非元音字母字符
* 匹配0次或多次 \w*
+ 匹配1次或多次 \w+
? 匹配0次或1次 \w?
{N} 匹配N次 \w{3}
{M,} 匹配至少M次 \w{3,}
{M,N} 匹配至少M次至多N次 \w{3,6}
| 分支 foo|bar 可以匹配foo或者bar
(?#) 注释
(exp) 匹配exp并捕获到自动命名的组中
(?exp) 匹配exp并捕获到名为name的组中
(?:exp) 匹配exp但是不捕获匹配的文本
(?=exp) 匹配exp前面的位置 \b\w+(?=ing) 可以匹配I’m dancing中的danc
(?<=exp) 匹配exp后面的位置 (?<=\bdanc)\w+\b 可以匹配I love dancing and reading中的第一个ing
(?!exp) 匹配后面不是exp的位置
(?<!exp) 匹配前面不是exp的位置
*? 重复任意次,但尽可能少重复 a.b a.?b 将正则表达式应用于aabab,前者会匹配整个字符串aabab,后者会匹配aab和ab两个字符串
+? 重复1次或多次,但尽可能少重复
?? 重复0次或1次,但尽可能少重复
{M,N}? 重复M到N次,但尽可能少重复
{M,}? 重复M次以上,但尽可能少重复

说明: 如果需要匹配的字符是正则表达式中的特殊字符,那么可以使用\进行转义处理,例如想匹配小数点可以写成.就可以了,因为直接写.会匹配任意字符;同理,想匹配圆括号必须写成(和),否则圆括号被视为正则表达式中的分组。

Python对正则表达式的支持

Python提供了re模块来支持正则表达式相关操作,下面是re模块中的核心函数。

函数 说明
compile(pattern, flags=0) 编译正则表达式返回正则表达式对象
match(pattern, string, flags=0) 用正则表达式匹配字符串 成功返回匹配对象 否则返回None
search(pattern, string, flags=0) 搜索字符串中第一次出现正则表达式的模式 成功返回匹配对象 否则返回None
split(pattern, string, maxsplit=0, flags=0) 用正则表达式指定的模式分隔符拆分字符串 返回列表
sub(pattern, repl, string, count=0, flags=0) 用指定的字符串替换原字符串中与正则表达式匹配的模式 可以用count指定替换的次数
fullmatch(pattern, string, flags=0) match函数的完全匹配(从字符串开头到结尾)版本
findall(pattern, string, flags=0) 查找字符串所有与正则表达式匹配的模式 返回字符串的列表
finditer(pattern, string, flags=0) 查找字符串所有与正则表达式匹配的模式 返回一个迭代器
purge() 清除隐式编译的正则表达式的缓存
re.I / re.IGNORECASE 忽略大小写匹配标记
re.M / re.MULTILINE 多行匹配标记

说明: 上面提到的re模块中的这些函数,实际开发中也可以用正则表达式对象的方法替代对这些函数的使用,如果一个正则表达式需要重复的使用,那么先通过compile函数编译正则表达式并创建出正则表达式对象无疑是更为明智的选择。

例子

例子1:从一段文字中提取出国内手机号码。

下面这张图是截止到2017年底,国内三家运营商推出的手机号段。

import re


def main():
    # 创建正则表达式对象 使用了前瞻和回顾来保证手机号前后不应该出现数字
    pattern = re.compile(r'(?<=\D)1[34578]\d{9}(?=\D)')
    sentence = '''
    重要的事情说8130123456789遍,我的手机号是13512346789这个靓号,
    不是15600998765,也是110或119,王大锤的手机号才是15600998765。
    '''
    # 查找所有匹配并保存到一个列表中 (一)
    mylist = re.findall(pattern, sentence)
    print(mylist)
    print('--------华丽的分隔线--------')
    # 通过迭代器取出匹配对象并获得匹配的内容 (二)
    for temp in pattern.finditer(sentence):
        print(temp.group())
    print('--------华丽的分隔线--------')
    # 通过search函数指定搜索位置找出所有匹配 (三)
    m = pattern.search(sentence)
    while m:
        print(m.group())
        m = pattern.search(sentence, m.end())


if __name__ == '__main__':
    main()

说明: 上面匹配国内手机号的正则表达式并不够好,因为像14开头的号码只有145或147,而上面的正则表达式并没有考虑这种情况,要匹配国内手机号,更好的正则表达式的写法是:(?<=\D)(1[38]\d{9}|14[57]\d{8}|15[0-35-9]\d{8}|17[678]\d{8})(?=\D),国内最近好像有19和16开头的手机号了,但是这个暂时不在我们考虑之列。

  • 注释部分
  • 注释(一): findall(pattern, string, flags=0) 查找字符串所有与正则表达式匹配的模式 返回字符串的列表,即在string中查询所有匹配模式为pattern的字符串,并将所有字符串添加到一个列表并返回
  • 注释(二): finditer(pattern, string, flags=0)查找字符串所有与正则表达式匹配的模式 返回一个迭代器,即在string中查找匹配模式为pattern的字符串,并将所有字符串添加到一个迭代器列表迭代器
  • 注释(三) m = pattern.search(sentence, m.end())搜索字符串中第一次出现正则表达式的模式 成功返回匹配对象 否则返回None,用m.end()表示m的结束位置,作为下一次查找的起始位置,防止查找重复的问题

    例子2:验证输入用户名和QQ号是否有效并给出对应的提示信息。

    """
    验证输入用户名和QQ号是否有效并给出对应的提示信息
    

要求:用户名必须由字母、数字或下划线构成且长度在620个字符之间,QQ号是512的数字且首位不能为0
“””
import re

def main():
username = input(‘请输入用户名: ‘)
qq = input(‘请输入QQ号: ‘)
# match函数的第一个参数是正则表达式字符串或正则表达式对象
# 第二个参数是要跟正则表达式做匹配的字符串对象
m1 = re.match(r’^[0-9a-zA-Z_]{6,20}$’, username) #注释(一)
if not m1:
print(‘请输入有效的用户名.’)
m2 = re.match(r’^[1-9]\d{4,11}$’, qq)
if not m2:
print(‘请输入有效的QQ号.’)
if m1 and m2:
print(‘你输入的信息是有效的!’)

if name == ‘main‘:
main()

> 提示: 上面在书写正则表达式时使用了“原始字符串”的写法(在字符串前面加上了r),所谓“原始字符串”就是字符串中的每个字符都是它原始的意义,说得更直接一点就是字符串中没有所谓的转义字符啦。因为正则表达式中有很多元字符和需要进行转义的地方,如果不使用原始字符串就需要将反斜杠写作\\,例如表示数字的\d得书写成\\d,这样不仅写起来不方便,阅读的时候也会很吃力。
- **注释(一):** `print(m1)` -> `<_sre.SRE_Match object; span=(0, 10), match='koyangyang'>` `print(type(m1))` -> `<class '_sre.SRE_Match'>`

### 例子3:替换字符串中的不良内容
```Python
import re


def main():
    sentence = '你丫是傻叉吗? 我操你大爷的. Fuck you.'
    purified = re.sub('[操肏艹]|fuck|shit|傻[比屄逼叉缺吊屌]|煞笔','*', sentence, flags=re.IGNORECASE) #注释(一)
    print(purified)  # 你丫是*吗? 我*你大爷的. * you.


if __name__ == '__main__':
    main()

说明: re模块的正则表达式相关函数中都有一个flags参数,它代表了正则表达式的匹配标记,可以通过该标记来指定匹配时是否忽略大小写、是否进行多行匹配、是否显示调试信息等。如果需要为flags参数指定多个值,可以使用按位或运算符进行叠加,如flags=re.I | re.M。

  • 注释(一): sub(pattern, repl, string, count=0, flags=0) 用指定的字符串替换原字符串中与正则表达式匹配的模式 可以用count指定替换的次数,具体还请看sub函数

    例子4:拆分长字符串

    import re
    
    

def main():
poem = ‘窗前明月光,疑是地上霜。举头望明月,低头思故乡。’
sentence_list = re.split(r’[,。, .]’, poem) #注释(一)
while ‘’ in sentence_list:
sentence_list.remove(‘’)
print(sentence_list) # [‘窗前明月光’, ‘疑是地上霜’, ‘举头望明月’, ‘低头思故乡’]

if name == ‘main‘:
main()

- **注释(一):** `split(pattern, string, maxsplit=0, flags=0)`    用正则表达式指定的模式分隔符拆分字符串 返回`列表`<br>
最开始的`sentence_list`
> ['窗前明月光', '疑是地上霜', '举头望明月', '低头思故乡', '']
经过
```Python
while '' in sentence_list:
        sentence_list.remove('')

[‘窗前明月光’, ‘疑是地上霜’, ‘举头望明月’, ‘低头思故乡’]
所以经过split()函数后返回的列表中除了切割部分还包含一个''空字符串

迭代器

  1. 迭代器是一个可以记住遍历的位置的对象。
  2. 迭代器对象从集合的第一个元素开始访问,直到所有的元素被访问完结束。迭代器只能往前不会后退。
  3. 迭代器有两个基本的方法:iter()next()
  4. 字符串,列表或元组对象都可用于创建迭代器

例如:

datas = [1,2,3,4,5,6,7,8,9,0]

data = iter(datas)
for x in data:
    print(x)


了解更多请移步:传送门

sub函数

在Python中,re模块用来实现正则表达式功能。
sub(pattern, repl, string, count=0, flags=0)具体参数如下:

  1. pattern: 是re.compile()方法生成Pattern类型,也就是索要匹配的模式。
  2. repl : 可以是一段字符串,或者是一个方法
  3. string: 需要被匹配和替换的原字符串
  4. count: 指的是最大的可以被替换的匹配到的字符串的个数,默认为0,就是所有匹配到的字符串。
  5. flags : 标志位

其中repl比较特殊:

  • 当repl为字符串的时候,也就是需要 将string中与pattern匹配的字符串都替换成repl
  • 当repl为方法的时候,就必须是一个带有一个参数,且参数为MatchObject类型的方法,该方法需要返回一个字符串。

比如:

 __author__ = 'zhoujinyu'

import fileinput,re

field_pat = re.compile(r'\[(.+?)\]')
scope = {}

def replacement(match):
    code = match.group(1)
    try:
        return str(eval(code,scope))
    except SyntaxError:
        exec code in scope
        return ''
lines = []
for line in fileinput.input():
    lines.append(line)
text=''.join(lines)

print field_pat.sub(replacement,text)

该例子的最后一句 print field_pat.sub(replacement,text)
中的replacement就是replacement(match)函数,其中match就是一个MatchObject对象。
由于sub()方法是一个循环方法,也就是会逐个找出text(string)中与field_pat(pattern)中匹配的字符串并将其替换成replacement(repl)返回的字符串。
所以每次进行匹配查找的时候都会运行一次replacement(match)函数,而每次运行这个函数的时候,match.group(1)这个方法会找到和field_pat(pattern)中第一个括号匹配的字符,由于sub方法是循环不重复进行的(下一次会从上一次匹配到的字符串之后开始匹配),所以在第二次匹配过程中
并不会重复上次一匹配到的字符串,会自动找到下一个可以匹配到的字符串。
经过多次循环,最终会找到所有匹配的字符串进行替换。

总结

对于一般的爬虫工作者来说,掌握正则表达式可以帮助我们更快的通过指定的匹配模式来查找提取文字中想要的、有用的信息。Beautiful SoupLxml来进行匹配和信息的提取,前者简单方便但是性能较差,后者既好用性能也好,但是安装稍嫌麻烦。而且再有的地方还是需要用到正则表达式,除了爬虫还有Django中的path函数匹配规则。