在进行网络爬虫时，我们经常会遇到网页结构复杂、信息重复或混杂的情况。一个常见的挑战是，目标数据（例如，一个医生在不同地点的服务诊所）可能共享相同的html标签和类名。如果仅仅通过类名进行简单的选择，往往会抓取到所有相关数据，包括我们不想要的部分（例如，线上咨询服务）。本教程将展示如何利用python的requests库和beautifulsoup库，结合高级css选择器，精确地从这类复杂结构中提取和过滤所需信息。
2. 问题场景：多重服务地点与数据筛选需求假设我们需要从一个医生信息网站上抓取医生的执业地点。网站上的每个医生可能在多个地点提供服务，并且这些地点在HTML结构中都使用相同的类名标识。更具体地，某些地点可能是物理诊所，而另一些则可能是“在线视频咨询”。我们的目标是：
- 获取每个医生的姓名。
- 获取每个医生提供的所有物理服务地点，排除“在线视频咨询”这类非物理地点。
仅仅通过listing-locations类名选择，将无法区分物理地点和在线咨询，导致数据冗余。
3. 解决方案：利用CSS选择器进行精准过滤为了解决上述问题，我们可以利用BeautifulSoup强大的CSS选择器功能，特别是其对伪类（pseudo-classes）的支持，来实现更精细的数据筛选。
3.1 核心技术点- requests库：用于发送HTTP请求，获取网页内容。
- BeautifulSoup库：用于解析HTML文档，并提供多种查找和导航HTML元素的方法。
-
CSS选择器：
- 类选择器 (.classname)：选择所有具有指定类名的元素。
- 后代选择器 (parent child)：选择作为parent元素后代的child元素。
- :not(selector) 伪类：排除符合selector条件的元素。
- :-soup-contains('text') 伪类：这是BeautifulSoup特有的一个伪类，用于选择包含特定文本内容的元素。
下面是实现上述目标的代码：
import requests
from bs4 import BeautifulSoup
# 目标网页URL
url = "https://oladoc.com/pakistan/lahore/gynecologist"
try:
# 发送HTTP GET请求获取网页内容
response = requests.get(url)
response.raise_for_status() # 检查请求是否成功，如果失败则抛出HTTPError
# 使用BeautifulSoup解析HTML内容
soup = BeautifulSoup(response.content, "html.parser")
# 遍历页面上每个医生的信息块
# 每个医生信息都包含在class为"gynecologist"的div中
for doctor_block in soup.select(".gynecologist"):
# 提取医生姓名
# 医生姓名通常在每个医生信息块的h2标签中
name_element = doctor_block.h2
if name_element:
doctor_name = name_element.get_text(strip=True)
print("姓名:", doctor_name)
else:
print("未找到医生姓名")
continue # 如果没有姓名，则跳过当前医生
# 提取医生的服务地点
# 关键步骤：使用CSS选择器过滤掉“在线视频咨询”
# .listing-locations:not(:-soup-contains('Online Video Consultation'))
# 解释：
# - .listing-locations: 选择所有class为"listing-locations"的元素
# - :not(...): 排除符合括号内条件的元素
# - :-soup-contains('Online Video Consultation'): Beautiful Soup特有的伪类，
# 选择包含文本"Online Video Consultation"的元素。
# 综合起来，这个选择器会选择所有class为"listing-locations"的元素，
# 但会排除那些内容包含"Online Video Consultation"的元素。
hospital_elements = doctor_block.select(
".listing-locations:not(:-soup-contains('Online Video Consultation'))"
)
# 从过滤后的地点元素中提取医院名称
hospitals = []
for h_elem in hospital_elements:
span_text = h_elem.span.text if h_elem.span else ''
if span_text:
hospitals.append(span_text.strip())
# 打印医生的物理服务地点列表
print("物理地点:", hospitals)
print("-" * 30) # 分隔线，方便阅读
except requests.exceptions.RequestException as e:
print(f"请求失败: {e}")
except Exception as e:
print(f"处理数据时发生错误: {e}")
3.3 代码解析
-
导入库和设置URL：
- requests用于发送网络请求。
- BeautifulSoup用于解析HTML。
- url是我们要爬取的目标网页地址。
-
获取网页内容：
- requests.get(url)发送GET请求。
- response.raise_for_status()是一个好习惯，用于检查HTTP请求是否成功（状态码200），如果不是则抛出异常。
- BeautifulSoup(response.content, "html.parser")将获取到的HTML内容解析成BeautifulSoup对象，方便后续操作。
-
遍历医生信息块：
Post AI
博客文章AI生成器
50
查看详情
- soup.select(".gynecologist")使用CSS类选择器选中页面上所有类名为gynecologist的div元素。每个这样的div通常代表一个医生的完整信息块。
- 我们通过for循环逐一处理每个医生的信息。
-
提取医生姓名：
- 在每个doctor_block内部，医生姓名通常位于h2标签中。doctor_block.h2直接获取第一个h2子标签。
- get_text(strip=True)提取标签内的文本内容，并去除首尾空白字符。
-
核心过滤逻辑——提取服务地点：
- doctor_block.select(".listing-locations:not(:-soup-contains('Online Video Consultation'))")是实现精准过滤的关键。
- .listing-locations：首先选择所有类名为listing-locations的元素，这些元素代表医生的一个服务地点。
- :not(...)：这是一个CSS伪类，用于排除符合其内部选择器条件的元素。
- :-soup-contains('Online Video Consultation')：这是BeautifulSoup扩展的伪类，用于匹配包含指定文本内容的元素。在这里，它会匹配所有文本内容中包含“Online Video Consultation”的listing-locations元素。
- 结合起来，这个选择器会选择所有服务地点元素，但会排除那些文本内容中包含“Online Video Consultation”的元素，从而只保留物理服务地点。
- doctor_block.select(".listing-locations:not(:-soup-contains('Online Video Consultation'))")是实现精准过滤的关键。
-
提取医院名称并打印：
- 遍历过滤后的hospital_elements列表。
- 每个hospital_element内部，实际的医院名称通常在span标签中。h.span.text提取span标签的文本。
- 将提取到的医院名称添加到hospitals列表中，并最终打印。
运行上述代码，您将获得类似以下格式的输出，其中每个医生只列出其物理服务地点，不包含在线咨询：
姓名: Dr. Ayesha Azam Khan 物理地点: ['National Hospital & Medical Centre (DHA)', 'Surgimed Hospital (Gulberg)'] ------------------------------ 姓名: Dr. Maliha Amjad 物理地点: ['Omar Hospital & Cardiac Centre (Johar Town) (Johar Town)', 'Shalamar Hospital (Mughalpura)'] ------------------------------ 姓名: Dr. Sara Rasul 物理地点: ['Hameed Latif Hospital (New Garden Town)', 'Hameed Latif Medical Center (DHA)'] ------------------------------ ...4. 注意事项与最佳实践
- 网页结构变化：网站的HTML结构可能会更新。如果代码突然失效，请检查目标网页的HTML结构是否发生了变化，并相应调整CSS选择器。
- 错误处理：在实际项目中，应加入更完善的错误处理机制，例如处理网络连接问题、解析失败、元素不存在等情况。try-except块是必不可少的。
- 用户代理 (User-Agent)：某些网站可能会检查请求头中的User-Agent。在requests.get()中添加headers参数可以模拟浏览器行为，例如：headers = {'User-Agent': 'Mozilla/5.0...'}。
- 爬取频率：避免对网站造成过大压力，遵守网站的robots.txt协议，并设置合理的请求间隔（例如使用time.sleep()）。
- 动态内容：本教程适用于静态HTML内容。如果网站内容通过JavaScript动态加载，您可能需要使用Selenium等工具来模拟浏览器行为。
- 目标唯一性：原始问题中提到“我只想要一个地点”，而本解决方案返回了所有符合条件的物理地点。如果确实只需要一个物理地点（例如，列表中的第一个），可以在获取hospitals列表后，通过hospitals[0]（在确认列表非空后）来获取。
通过本教程，我们学习了如何利用requests和BeautifulSoup库，结合高级CSS选择器（特别是:-soup-contains()和:not()），有效地处理网络爬虫中相同标签类名下的多重数据，并实现对特定信息的精准过滤。这种方法使得从复杂网页结构中提取所需数据变得更加灵活和强大，是进行高效和精确网络爬虫的关键技能之一。掌握这些技术将帮助您在数据采集项目中应对各种挑战。
以上就是Python网络爬虫：利用CSS选择器精准提取与过滤复杂网页数据的详细内容，更多请关注知识资源分享宝库其它相关文章！
相关标签： css javascript python java html 网络爬虫 浏览器 app 工具 ai 爬虫 css选择器 Python JavaScript css html beautifulsoup for select try 循环 对象 选择器 伪类 http 大家都在看： Python网络爬虫：利用CSS选择器精准提取与过滤复杂网页数据 使用BeautifulSoup高效查找HTML元素：解决注释与CSS类选择难题 Selenium中Iframe内元素的XPath与CSS选择器定位策略 高效抓取Iframe内元素：Selenium与XPath/CSS选择器实践指南 解决Django静态文件404错误：CSS加载失败的配置与引用指南
发表评论:
◎欢迎参与讨论，请在这里发表您的看法、交流您的观点。