Python正则表达式实战：从基础用法到网页URL批量抓取
本文详解Python中正则表达式（re模块）的使用流程，涵盖compile、search与findall方法及Match对象的应用。通过固话匹配示例解析可选字符处理，进而演示结合requests模块提取网页中所有HTTP/HTTPS链接。最后介绍如何利用正则匹配图片后缀并配合os模块实现批量下载存储，提供从理论到实战的完整代码逻辑。
使用正则表达式通常遵循以下四个核心步骤：
第一步，通过import re导入正则表达式模块；
第二步，利用re.compile()函数构建一个Regex对象；
第三步，调用Regex对象的search()或findall()方法，传入目标字符串，该方法将返回一个Match对象；
第四步，调用Match对象的group()方法，以获取最终匹配到的字符串内容。
接下来在交互式环境中进行简单测试，尝试从字符串中提取固话号码：
import re
text = '小明家的固话是0755-123456，而小丽家的固话时0789-654321，小王家的电话是123456789'#用于检测的字符串
ph_re = re.compile(r'\d{4}?-\d+') #创建Regex对象，匹配几种电话的方式，\d表示0-9的数字，{4}表示前面的匹配4次，？表示可选，+表示出现1次或多次。
matchs1 = ph_re.findall(text) #findall()表示查找所有匹配项，返回一个字符串
matchs2 = ph_re.search(text)#search(),查找第一次匹配的文本，返回一个对象。
print(matchs1)
print(matchs2)
matchs2.group()
执行后的返回结果如下所示：
需要注意的是，findall()方法直接返回字符串列表，可直接打印输出；而search()方法返回的是Match对象，因此直接打印时会显示对象信息（如上图第二行所示）。
若要获取具体匹配内容，需调用group()方法，此时对象将返回实际匹配到的字符串。
在上述示例中，小王的电话号码未能被匹配成功，原因在于正则表达式中的'-'符号未被设置为可选参数，即未在其后添加'?'符号。
接下来进行一个实际实验：获取指定网页中所有的http或https网址，并统计其数量。
首先需获取HTML文件内容，此处需要用到requests模块。
# -*- coding: utf-8 -*- import requests import re def get_html(url): res = requests.get(url) res.encoding = 'utf-8' html = res.text return html
get_html函数返回的内容类似于前述示例中的text，即用于后续正则匹配的原始文本。
随后，构建用于匹配网址的正则表达式：
def get_addr(response):
addr_regex = re.compile(r'''(
(http://|https://)? #http/https
(www)?
(\.[a-z1-9A-Z]+)
(\.com|\.cn)
)''',re.VERBOSE)#匹配网址，
matchs = []
for groups in addr_regex.findall(response):
matchs.append(groups[0])
if len(matchs) == 0:
print('没有网址')
return matchs
在re.compile()中传入变量re.VERBOSE作为第二个参数，允许将正则表达式书写在多行中并添加注释，如上文代码所示。
执行后将返回一个包含匹配结果的列表对象matchs。
接着编写启动函数以执行上述逻辑。
def start():
url = 'http://news.163.com/18/0127/18/D966K4CO0001899N.html'
a = get_html(url)
b = get_addr(a)
print('\n'.join(b))
print(str(len(b)))
print('ok')
if __name__ == '__main__':
start()
代码中传入的url为随机选取的一个新闻链接地址。
随后调用get_html()和get_addr()，即可获取所需数据。str(len(b))用于输出统计得到的数量结果。
实际测试的输出结果大致如下：
单纯获取URL列表看似用处有限，但如果结合前文提到的新闻列表查询方式，批量获取URL，
并将创建的正则表达式调整为匹配图片后缀（如xxx.jpg），同时调用os模块中的os.mkdir(folder)创建目录、os.chdir(folder)切换目录，将匹配到的结果写入文件并保存至指定文件夹。
如此即可实现从特定网站批量获取jpg图片并存储到本地文件夹的爬虫功能。经实测，该方法可行。
总结
以上介绍了Python使用正则表达式获取网页信息的方法，希望能对大家有所帮助。如有任何疑问，欢迎留言，小编会及时回复。感谢大家对本站的支持！
本站声明
本文内容仅供参考，不代表本站观点。转载或引用请注明出处。如发现内容问题，请通过联系我们页面反馈。
