北京列举网 > 教育培训 > 电脑/网络 > 拉勾教育Python正则表达式
北京
[切换城市]

拉勾教育Python正则表达式

更新时间:2020-10-13 13:51:44 浏览次数:92次
区域: 北京 > 海淀 > 中关村
类别:软件工程师培训
地址:创业大街
这两天在写爬虫程序,涉及英文文本处理,需要规范化英文标点符号的写法。正常情况下,英文句号「.」后面需要保证有且只有一个空格,但也有例外情况,比如「i.e.」、「e.g.」、「P.S.」这种。由于无法预测大小写,因此在正则表达式中使用了「标志位」flags,却死活不生效。拉勾IT课小编为大家分析,正则表达式的作用。

一开始,我的函数是这样写的:
1 def punctuate(s):
2   #----其余代码暂略
3   s = re.sub(' e. g. ', 'e.g.', s, re.I)
4   return s
代码的本意是:本来好好的「e.g.」,被函数前半断的代码错改成「e. g. 」之后,需要修复一下,将英文句号「.」后面的空格删掉。但这行 re.sub() 代码主要有2个问题:
1.      「e. g.」前后不一定是空格,因此这样写的话,如果遇到「e. g.,」或是「(e. g. xxx」的情况就会被跳过。
2.      英文的句号「.」未转义
3.      标志位 re.I 不生效
前2个问题好解决。改进代码如下:
1 def punctuate(s):
2   #----其余代码暂略
3   s = re.sub('([^a-zA-Z]e.) (g.[^a-zA-Z])', 'g<1>g<2>', s, re.I)
4   return s
规则是:「e. g.」之前或之后,必须有「非英文字母」的字符(包括空格),且「e.」和「g.」中间有一个空格,则将中间的空格删掉,且保留前后的「非英文字母」(g<1>表示查找到的第1个括号内的文本,g<2>表示第2个括号)。但标志位 re.I 的问题还是没解决。
后来翻到了「Python--详解Python中re.sub」这篇文章,才顿悟:re.sub() 函数有5个参数,我传入了4个参数,后一个被认为是第4个参数,而不是第5个!多么低级的错误啊!
查阅「Python文档」可知,
re.sub(pattern, repl, string, count=0, flags=0)
我传入的第4个参数 re.I 会被当作是 count。因此,正确的姿势是明确写明「flags=re.I」。
整个标点符号规范化函数还包括其它的替换,完整代码如下:
1 def punctuate(s):
2   s = re.sub('([,:;?!.”)])', 'g<1> ', s) #后加空格
3   s = re.sub('([“(])', ' g<1>', s) #前加空格
4   s = re.sub('([“(]) ', 'g<1>', s) #后删空格
5   s = re.sub(' ([,:;?!.”)])', 'g<1>', s) #前删空格
6   s = re.sub('([,.?!;)]) ”', 'g<1>”', s) #闭引号前去空格
7   s = re.sub(') ([,:;?!.”])', ')g<1>', s) #闭括号后去空格
8   s = re.sub('(d). (d)', 'g<1>.g<2>', s) #小数点后去空格
9   s = re.sub(' +', ' ', s) #多空格改单空格
10   #拉丁加点缩写单词,点号后面去空格
11   s = re.sub('([^a-zA-Z]e.) (g.[^a-zA-Z])', 'g<1>g<2>', s, flags=re.I)
12   s = re.sub('([^a-zA-Z]i.) (e.[^a-zA-Z])', 'g<1>g<2>', s, flags=re.I)
13   s = re.sub('([^a-zA-Z]q.) (v.[^a-zA-Z])', 'g<1>g<2>', s, flags=re.I)
14   s = re.sub('([^a-zA-Z]v.) (s.[^a-zA-Z])', 'g<1>g<2>', s, flags=re.I)
15   s = re.sub('([^a-zA-Z]n.) (b.[^a-zA-Z])', 'g<1>g<2>', s, flags=re.I)
16   s = re.sub('([^a-zA-Z]p.) (s.[^a-zA-Z])', 'g<1>g<2>', s, flags=re.I)
17   s = re.sub('. ,', '.,', s)
18   return s


北京电脑/网络相关信息
办公软件培训
平谷-平谷城区
9月2日
4月23日
办公软件培训
平谷-平谷城区
4月19日
办公软件培训
平谷-平谷城区
4月11日
办公软件培训
平谷-平谷城区
4月9日
注册时间:2020年08月20日
UID:706755
---------- 认证信息 ----------
手机已认证
查看用户主页