最全的正则(python)基础知识

起源于1951年数学家斯蒂芬·科尔·克莱尼发明的一种称之为“正则集合”的数学符号。

定义

即文本的高级匹配模式，提供搜索，替换等功能。其本质是由一系列字符和特殊符号构成的字串，这个字串即正则表达式。

原理

通过普通字符和有特定含义的字符，来组成字符串，用以描述一定的字符串规则，比如：重复，位置等，来表达某类特定的字符串，进而匹配。

普通字符

• 匹配规则：每个普通字符匹配其对应的字符

e.g.
In: re.findall('ab',"abcdefabcd")
Out:['ab','ab']

• 注：正则表达式在python中也可以匹配中文

元字符使用

或关系

• 元字符: |

• 匹配规则: 匹配 | 两侧任意的正则表达式即可

e.g.
In: re.findall('com|cn',"www.baidu.com/www.tmooc.cn")
Out:['com','cn']

匹配单个字符

• 元字符： .

• 匹配规则：匹配除换行外的任意一个字符

e.g.
In: re.findall('张.丰',"张三丰,张四丰,张五丰")
Out:['张三丰','张四丰','张五丰']

匹配字符集

• 元字符： [字符集]

• 匹配规则: 匹配字符集中的任意一个字符

• 表达形式:

[abc#!好] 表示 [] 中的任意一个字符
[0-9],[a-z],[A-Z] 表示区间内的任意一个字符
[_#?0-9a-z] 混合书写，一般区间表达写在后面

e.g.
In: re.findall('[aeiou]',"How are you!")
Out:['o','a','e','o','u']

匹配字符集反集

• 元字符：[ ^字符集]

• 匹配规则：匹配除了字符集以外的任意一个字符

e.g.
In: re.findall('[^0-9]',"Use 007 port")
Out:['U','s','e',' ',' ','p','o','r','t']

匹配字符串开始位置

• 元字符: ^

• 匹配规则：匹配目标字符串的开头位置

e.g.
In: re.findall('^Jame',"Jame,hello")
Out:['Jame']

匹配字符串的结束位置

• 元字符: $

• 匹配规则: 匹配目标字符串的结尾位置

e.g.
In: re.findall('Jame$',"Hi,Jame")
Out:['Jame']

• 规则技巧: ^ 和 $必然出现在正则表达式的开头和结尾处。如果两者同时出现，则中间的部分必须匹配整个目标字符串的全部内容。

匹配字符重复

• 元字符: *

• 匹配规则：匹配前面的字符出现0次或多次

e.g.
In: re.findall('wo*',"wooooo~~w!")
Out:['wooooo','w']

• 元字符：+

• 匹配规则： 匹配前面的字符出现1次或多次

e.g.
In: re.findall('[A-Z][a-z]+',"Hello World")
Out:['Hello','World']

• 元字符：?

• 匹配规则： 匹配前面的字符出现0次或1次

e.g. 匹配整数
In[28]: re.findall('-?[0-9]+',"Jame,age:18, -26")
Out[28]:['18','-26']

• 元字符：{n}

• 匹配规则： 匹配前面的字符出现n次

e.g. 匹配手机号码
In: re.findall('1[0-9]{10}',"Jame:13886495728")
Out:['13886495728']

• 元字符：{m,n}

• 匹配规则： 匹配前面的字符出现m-n次

e.g. 匹配qq号
In: re.findall('[1-9][0-9]{5,10}',"Baron:1259296994") 
Out:['1259296994']

匹配任意（非）数字字符

• 元字符： \d \D

• 匹配规则：\d 匹配任意数字字符，\D 匹配任意非数字字符

e.g. 匹配端口
In: re.findall('\d{1,5}',"Mysql: 3306, http:80")
Out:['3306','80']

匹配任意（非）普通字符

• 元字符： \w \W

• 匹配规则: \w 匹配普通字符，\W 匹配非普通字符

• 说明: 普通字符指数字，字母，下划线，汉字。

e.g.
In: re.findall('\w+',"server_port = 8888")
Out:['server_port','8888']

匹配任意（非）空字符

• 元字符： \s \S

• 匹配规则: \s 匹配空字符，\S 匹配非空字符

• 说明：空字符指 空格 \r \n \t \v \f 字符

e.g.
In: re.findall('\w+\s+\w+',"hello    world")
Out:['hello    world']

匹配开头结尾位置

• 元字符： \A \Z

• 匹配规则： \A 表示开头位置，\Z 表示结尾位置

匹配（非）单词的边界位置

• 元字符： \b \B

• 匹配规则： \b 表示单词边界，\B 表示非单词边界

• 说明：单词边界指数字字母(汉字)下划线与其他字符的交界位置。

e.g.
In: re.findall(r'\bis\b',"This is a test.")
Out:['is']

正则表达式的转义

1. 如果使用正则表达式匹配特殊字符则需要加 \ 表示转义。

特殊字符: . * + ? ^ $ [] () {} | \

e.g. 匹配特殊字符. 时使用 \. 表示本身含义
In: re.findall('-?\d+\.?\d*',"123,-123,1.23,-1.23")
Out:['123','-123','1.23','-1.23']

2. 在编程语言中，常使用原生字符串书写正则表达式避免多重转义的麻烦。

e.g.
python字符串-->    正则-->    目标字符串"\\$\\d+"   解析为   \$\d+   匹配"$100""\\$\\d+"  等同于  r"\$\d+"

贪婪模式和非贪婪模式

1. 定义

贪婪模式: 默认情况下，匹配重复的元字符总是尽可能多的向后匹配内容。比如: * + ? {m,n}

非贪婪模式(懒惰模式): 让匹配重复的元字符尽可能少的向后匹配内容。

2. 贪婪模式转换为非贪婪模式

• 在匹配重复元字符后加 ‘?’ 号即可

*:*?+:+?
?:  ??{m,n}:{m,n}?

e.g.
In: re.findall(r'\(.+?\)',"(abcd)efgh(higk)")
Out:['(abcd)','(higk)']

正则表达式分组

1. 定义

在正则表达式中，以()建立正则表达式的内部分组，子组是正则表达式的一部分，可以作为内部整体操作对象。

2. 作用

• 可以被作为整体操作，改变元字符的操作对象

e.g.  改变+号 重复的对象
In: re.search(r'(ab)+',"ababababab").group()
Out:'ababababab'

e.g. 改变|号 操作对象
In: re.search(r'(王|李)\w{1,3}',"王者荣耀").group()
Out:'王者荣耀'

• 可以通过编程语言某些接口获取匹配内容中，子组对应的内容部分

e.g. 获取url协议类型
re.search(r'(https|http|ftp|file)://\S+',"https://www.baidu.com").group(1)

3. 捕获组

可以给正则表达式的子组起一个名字，表达该子组的意义。这种有名称的子组即为捕获组。

格式：(?P<name>pattern)

e.g. 给子组命名为"pig"
In: re.search(r'(?P<pig>ab)+',"ababababab").group('pig')
Out:'ab'

4. 注意事项

• 一个正则表达式中可以包含多个子组
• 子组可以嵌套，但是不要重叠或者嵌套结构复杂
• 子组序列号一般从外到内，从左到右计数

5. 非捕获组

   格式：(?:xxx)

匹配 xxx 但是不记住匹配项。这种括号叫作非捕获括号，使得你能够定义与正则表达式运算符一起使用的子表达式。看看这个例子 /(?:foo){1,2}/。如果表达式是 /foo{1,2}/，{1,2} 将只应用于 ‘foo’ 的最后一个字符 ‘o’。如果使用非捕获括号，则 {1,2} 会应用于整个 ‘foo’ 单词。

三者的区别：