当前位置： 首页 > news >正文

Python爬虫解析工具之xpath使用详解

news 2026/2/7 20:16:49

文章目录

  • 一、数据解析方式
  • 二、xpath介绍
  • 三、环境安装
    • 1. 插件安装
    • 2. 依赖库安装
  • 四、xpath语法
  • 五、xpath语法在Python代码中的使用

一、数据解析方式

爬虫抓取到整个页面数据之后，我们需要从中提取出有价值的数据，无用的过滤掉。这个过程称为数据解析，也叫数据提取。数据解析的方式有多种，按照网站数据来源是静态还是动态进行分类，如下：

  1. 动态网站：字典取值。动态网站的数据一般都是JS发过来的，基本都是json格式数据，我们只需要将json格式转换为字典进行取值。
  2. 静态网站：xpath取值 + 正则取值。

说明：爬虫开发中，用的最多的数据解析方式是字典取值和xpath取值，占到80%以上，其余的少部分是正则取值。

二、xpath介绍

xpath全称XML Path Language，即XML路径语言。它是一门在XML文档中查找信息的语言，最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索。

xpath的选择功能十分强大，它提供了非常简明的路径选择表达式。另外，它还提供了众多的内建函数，用于字符串、数值、时间的匹配处理等，几乎所有我们想要定位的节点，都可以用XPath来选择。

三、环境安装

1. 插件安装

很多爬虫的初学者由于对解析工具语法的不熟练，经常会有这种情况：抓来的数据经过解析之后发现不是自己要的，就会多次调试代码，直至提取出精确的价值数据，这样就会导致爬虫多次频繁请求网站，结果自己的IP被网站封掉。那有没有好的办法规避这种情况呢？

有的，Chrome浏览器支持众多插件，其中就有适合xpath语法的元素查找插件：XPath Helper，在谷歌应用商店可以搜索安装，安装好之后图标如下图所示：

在这里插入图片描述

使用该插件的方法很简单，在Chrome浏览器中，打开任意网页之后，同时按下 Ctrl+Shift+X 键就可以看到网页上方的XPath Helper调试窗口，左边窗口是要输入的xpath语法，右边窗口是该xpath语法定位出的结果展示。这样就非常方便我们写爬虫项目，如果不确定解析出的结果是不是我们想要的，就可以先在调试窗口中多次调试，结果没有错误，再直接把该代码复制到我们的爬虫代码中运行，如下图：

在这里插入图片描述

2. 依赖库安装

在Python代码中，若要使用xpath解析，需要安装lxml这个第三方库，它对xpath语法提供了良好的支持，安装lxml库步骤如下：

1.同时按下win + R键，打开运行框，在里面输入cmd，点击确定。

在这里插入图片描述

2.来到控制台中，输入安装命令：pip install lxml -i https://mirrors.aliyun.com/pypi/simple/，然后按下回车键，等候安装完成，出现“Successfully installed …”字样即为安装成功。

在这里插入图片描述

四、xpath语法

xpath语法，也叫xpath路径表达式。因为xpath查找内容是按照HTML代码的标签树结构搜索的，每一个标签都有自己的父标签和子标签，比如下图这组HTML代码所示：

<body><div><a href="/ershoufang/dongcheng/"  title="北京东城在售二手房 ">东城</a><a href="/ershoufang/xicheng/"  title="北京西城在售二手房 ">西城</a><a href="/ershoufang/chaoyang/"  title="北京朝阳在售二手房 ">朝阳</a><a href="/ershoufang/haidian/"  title="北京海淀在售二手房 ">海淀</a></div>
</body>

代码中的 body 标签就是 div 标签的父标签，同理，div 标签是 body 标签的子标签。标签之间的这种父子关系用xpath语法表示的话就是用 / 分隔，比如我们要找 a 标签，xpath写法就是：div/a，或者 body/div/a。这种就类似我们的电脑上面文件路径表示方法，故而，xpath语法又叫xpath路径表达式。

看到上面这些，有的小伙伴可能会纳闷：既然找 a 标签，干嘛不直接写 a 就行了，怎么写这么多父子关系进行约束呢？是不是多此一举了？

在这里插入图片描述

没关系，看看下面这组代码图片：

在这里插入图片描述

如果说要在上面这组代码中找到高亮显示的这行 “2室1厅 | 53平米 | 南 北 | 精装 | 中楼层(共5层) | 板楼” 文字，单单输入 span 标签能找到吗？显然不能，因为里面有多个 span 标签，所以，使用xpath路径表达式的用意，就是希望使用标签的父子关系约束，来精确定位到我们要找的那个标签。

讲了这么多，接下来我们就看看xpath路径表达式的常用规则。使用xpath规则匹配查找的源码如下：

<body><div><a href="/ershoufang/dongcheng/"  title="北京东城在售二手房 ">东城</a><a href="/ershoufang/xicheng/"  title="北京西城在售二手房 ">西城</a><a href="/ershoufang/chaoyang/"  title="北京朝阳在售二手房 ">朝阳</a></div>
</body>

/    表示两个相邻元素节点关系，也可以说父子关系
用法示例：如果要找上述代码中的 a 标签，路径表达式为：div/a

注意：如果当前查找出来的标签有多个，比如上面查找到的 a 标签有3个，我们想要第2个，写法就是 div/a[2]，同理，我们需要第几个标签，就在标签后面加上[顺序值]

//     表示两个不相邻元素节点关系，也可以说爷孙这种隔代关系
用法示例：还是从上述代码中找 a 标签，路径表达式还可以写为：body//a

注意：// 也表示从任意位置开始检索，而不考虑它们的位置。xpath查找标签的顺序正常是从HTML文档头部开始查找，当一个HTML文档中标签非常多，我们查找的标签位于文档的中间某位置。如果直接从头部标签开始一级级往下检索，非常繁琐。用 “// + 标签名” 就相当于从该标签开始检索书写。比如我们还是要找 a 标签，可以写成 //a。

.     指代当前节点，比如xpath路径表达式找到某个元素后，想在此元素基础上往后面查找其他元素，那么前面的路径表达式就可以省略，用 . 替换

@     选取属性，作用就是更精确定位某个标签
用法示例：比如上面我们正常查找的 a 标签是有3个，我们还是要找第2个 a 标签，已经学了一种方法就是 a 标签后面加上[顺序值]。但是如果 a 标签有几十个呢，我们就要一个个数顺序，很繁琐也容易出错。这时候就可以通过标签自身的属性值来精确定位某个标签。我们仔细可以看出上面的每个 a 标签里面的 href 和 title 两个属性值都是彼此不同的，那我们要找第2个，可以这样写：//a[@href=“/ershoufang/xicheng/”] 或者 //a[@title="北京西城在售二手房 "]。格式就是：标签名[@属性名=属性值]

text()     提取标签中的文本内容
用法示例：上面的几种方式定位的都是某个标签，如果要拿到标签中的详细内容，比如要拿到第2个 a 标签的文本内容 “西城”这两个字，写法是：//a[@title="北京西城在售二手房 "]/text()。格式是：标签/text()

注意：/text()一定要写在标签及标签属性值后面，因为属性值是修饰该标签的，可以精确定位到某个标签，其次后面才加/text()，表示该标签的文本内容。当然定位的标签如果无需属性值作为修饰即可找到，则直接就是标签名加上/text()。

@属性名     提取标签内指定属性名的属性值
用法示例：上面我们提取了标签的文本内容，但是有时候可能需要提取标签内的某个属性名对应的属性值。比如要提取第2个 a 标签中 title 的属性值 “北京西城在售二手房” 这句话，写法是：//a[@title="北京西城在售二手房 "]/@title 或者 //a[2]/@title 都可以。格式是：标签/@属性名

以上就是开发中最常见的xpath表达式，记住这些对于日后解析爬虫来说就完全够用了。当然xpath还有许多其他路径表达式，有兴趣的小伙伴也可以额外探索。

五、xpath语法在Python代码中的使用

上面介绍的只是xpath路径表达式，但是如何实际在Python代码中使用呢？这就需要用到上面提到的依赖库 lxml 了。因为我们用爬虫抓取到的网页源码虽然是HTML文档，但是其实是字符串类型的数据，如下图抓取房源信息代码所示：

在这里插入图片描述

而xpath解析的是html或者lxml文档中的标签元素对象，不是字符串。我们就需要将抓到的字符串类型源码转换为html或者lxml文档中的标签元素对象，然后就可以正常使用xpath路径表达式进行解析查找。

如何将字符串内容转换成标签元素对象，要使用 lxml 库里面的 etree 模块中的 HTML() 方法，语法格式如下：

from lxml import etree  # 导入 lxml 库中的 etree 模块
变量名 = etree.HTML(网页源码)  # 使用 etree 模块的 HTML() 方法，括号中就是爬虫拿到的字符串类型的网页源码，将转换后的标签对象用变量保存

代码示例如下图所示：

在这里插入图片描述

转换为标签元素对象之后，就可以正常使用上面介绍的xpath路径表达式了，语法格式如下：

标签元素对象.xpath('路径表达式')  # 标签元素对象就是我们刚刚转换好的，括号里面的是双引号或者单引号都可以，包裹的就是路径表达式

代码示例如下图所示：

在这里插入图片描述

注意：在Python代码中，xpath路径表达式最终拿到的解析结果是以列表形式返回的，如果没有解析到目标数据，结果为空列表。

相关文章：

Python爬虫解析工具之xpath使用详解

文章目录 一、数据解析方式二、xpath介绍三、环境安装1. 插件安装2. 依赖库安装 四、xpath语法五、xpath语法在Python代码中的使用 一、数据解析方式 爬虫抓取到整个页面数据之后&#xff0c;我们需要从中提取出有价值的数据&#xff0c;无用的过滤掉。这个过程称为数据解析&a…...

编程日记 2023/8/22 16:53:46

Linux防火墙报错：Failed to start firewalld.service Unit is masked

Linux防火墙报错&#xff1a;Failed to start firewalld.service: Unit is masked. 1、故障现象&#xff1a; 启动防火墙失败&#xff0c;报错情况如下&#xff1a; systemctl start firewalld # 报错&#xff1a; Failed to start firewalld.service: Unit is masked.原因是…...

编程日记 2023/8/22 16:52:44

前端面试：【Vuex】Vue.js的状态管理利器

嗨&#xff0c;亲爱的Vuex探险家&#xff01;在Vue.js开发的旅程中&#xff0c;有一个强大的状态管理库&#xff0c;那就是Vuex。Vuex是Vue.js的官方状态管理工具&#xff0c;通过State、Mutation、Action和Module等核心概念&#xff0c;协助你轻松管理应用的状态。 1. 什么是V…...

编程日记 2023/8/22 16:51:43

Kotlin协程runBlocking并发launch，Semaphore同步1个launch任务运行

Kotlin协程runBlocking并发launch&#xff0c;Semaphore同步1个launch任务运行 <dependency><groupId>org.jetbrains.kotlinx</groupId><artifactId>kotlinx-coroutines-core</artifactId><version>1.7.3</version><type>pom&…...

编程日记 2023/8/22 16:50:40

c++ Union之妙用

union的作用基本是它里面的变量都用了同一块内存&#xff0c;跟起了别名一样&#xff0c;类型不一样的别名。 基本用法&#xff1a; struct Union{union {float a;int b;};};Union u;u.a 2.0f;std::cout << u.a << "," << u.b << std::endl…...

编程日记 2023/8/22 16:49:38

JSON的处理

1、JSON JSON(JavaScript Object Notation)&#xff1a;是一种轻量级的数据交换格式。 它是基于 ECMAScript 规范的一个子集&#xff0c;采用完全独立于编程语言的文本格式来存储和表示数据。 简洁和清晰的层次结构使得 JSON 成为理想的数据交换语言。易于人阅读和编写&#…...

编程日记 2023/8/22 16:48:37

matlab使用教程(20)—插值基础

1.网格和散点样本数据 插值是在位于一组样本数据点域中的查询位置进行函数值估算的方法。函数值是根据最接近查询点的样本数据点计算的。MATLAB 根据样本数据的结构&#xff0c;可以执行两种插值。样本数据可以形成网格&#xff0c;也可以是分散的。 网格化的样本数据使得插值…...

编程日记 2023/8/22 16:47:36

Python功能制作之简单的3D特效

需要导入的库&#xff1a; pygame: 这是一个游戏开发库&#xff0c;用于创建多媒体应用程序&#xff0c;提供了处理图形、声音和输入的功能。 from pygame.locals import *: 导入pygame库中的常量和函数&#xff0c;用于处理事件和输入。 OpenGL.GL: 这是OpenGL的Python绑定…...

编程日记 2023/8/22 16:46:35

leetcode-5-最长回文串

题目描述 给你一个字符串 s&#xff0c;找到 s 中最长的回文子串。 如果字符串的反序与原始字符串相同&#xff0c;则该字符串称为回文字符串。 示例 1&#xff1a; 输入&#xff1a;s “babad” 输出&#xff1a;“bab” 解释&#xff1a;“aba” 同样是符合题意的答案。 示…...

编程日记 2023/8/22 16:45:30

二、Oracle 数据库安装集

一、CentOS 安装 OCI下载地址 1. 启动 # 1. 登录服务器&#xff0c;切换到oracle用户&#xff0c;或者以oracle用户登录 su - oracle# 2. 打开监听服务 lsnrctl start# 3. 查看Oracle监听器运行状况 lsnrctl status# 4. 以sys用户身份登录 sqlplus /nolog# 5. 切换用户conn 用…...

编程日记 2023/8/22 16:44:29

【Python】Python中的常用函数及用法

目录 输入输出类型转换引用哈希字符串常用操作判断类型查找替换大小写转换文本对齐去除空白字符拆分和连接 列表常用操作增删改查增删改统计排序 元组常用操作 字典常用操作 范围随机数学比较常用函数三角函数数学常量 输入 input()&#xff1a;从键盘等待用户的输入&#xff0…...

编程日记 2023/8/22 16:43:25

基于JavaEE的ssm公司员工信息管理系统的设计与实现

基于JavaEE的ssm公司员工信息管理系统的设计与实现043 开发工具&#xff1a;idea 数据库mysql5.7 数据库链接工具&#xff1a;navcat,小海豚等 技术&#xff1a;ssm 摘 要 现代经济快节奏发展以及不断完善升级的信息化技术&#xff0c;让传统数据信息的管理升级为软件存…...

编程日记 2023/8/22 16:42:24

cornerstoneJS加载图片（base、矩阵）

cornerstoneJS默认加载dicom影像数据&#xff0c;将识别到的dicom数据转换成imageData数据&#xff0c;在界面上展示。故&#xff0c;cornerstoneJS也可直接加载imageData。 imageData数据的data是一个数组&#xff0c;每四个元素代表一个点&#xff0c;四个元素分别表示R、G、…...

编程日记 2023/8/22 16:41:23

3.Trunc截断函数用法

TRUNC函数用于对值进行截断 用法有两种&#xff1a;TRUNC&#xff08;NUMBER&#xff09;表示截断数字&#xff0c;TRUNC&#xff08;date&#xff09;表示截断日期 (1)截断数字 格式&#xff1a;TRUNC&#xff08;n1,n2&#xff09;&#xff0c;n1表示被截断的数字&#xf…...

编程日记 2023/8/22 16:40:22

腾讯云 CODING 荣获 TiD 质量竞争力大会 2023 软件研发优秀案例

点击链接了解详情 8 月 13-16 日&#xff0c;由中关村智联软件服务业质量创新联盟主办的第十届 TiD 2023 质量竞争力大会在北京国家会议中心召开。本次大会以“聚焦数字化转型 探索智能软件研发”为主题&#xff0c;聚焦智能化测试工程、数据要素、元宇宙、数字化转型、产融合作…...

编程日记 2023/8/22 16:39:21

VSCode如何为远程安装预设（固定）扩展

背景 在使用VSCode进行远程开发时&#xff08;python开发之远程开发工具选择_CodingInCV的博客-CSDN博客&#xff09;&#xff0c;特别是远程的机器经常变化时&#xff08;如机器来源于动态分配&#xff09;&#xff0c;每次连接新的远程时&#xff0c;都不得不手动安装一些开…...

编程日记 2023/8/22 16:38:19

一文解析HTTP与HTTPS，它们的区别和联系

一文解析HTTP与HTTPS&#xff0c;它们的区别和联系 HTTP和HTTPS之间不同点 尽管HTTP和HTTPS在安全性方面存在差异&#xff0c;但它们仍然共享许多相同的基本特征和功能。这些相同点使得HTTP成为广泛应用的标准协议&#xff0c;并且HTTPS作为更安全的替代方案被广泛采用。HTTP…...

编程日记 2023/8/22 16:37:18

Faster RCNN网络数据流总结

前言 在学习Faster RCNN时&#xff0c;看了许多别人写的博客。看了以后&#xff0c;对Faster RCNN整理有了一个大概的了解&#xff0c;但是对训练时网络内部的数据流还不是很清楚&#xff0c;所以在结合这个版本的faster rcnn代码情况下&#xff0c;对网络数据流进行总结。以便…...

编程日记 2023/8/22 16:36:16

拒绝摆烂！C语言练习打卡第五天

&#x1f525;博客主页&#xff1a;小王又困了 &#x1f4da;系列专栏&#xff1a;每日一练 &#x1f31f;人之为学&#xff0c;不日近则日退 ❤️感谢大家点赞&#x1f44d;收藏⭐评论✍️ 目录 一、选择题 &#x1f4dd;1.第一题 &#x1f4dd;2.第二题 &#x1f4d…...

编程日记 2023/8/22 16:35:13

关于LambdaQueryWrapper.or()导致错误

这个是原始的代码&#xff0c;到导致一个问题&#xff0c;后面所有的内容&#xff0c;都在这个or的右边&#xff0c;也就是整个查询语句就这一个or&#xff0c;而很明显&#xff08; xxx or xxx&#xff09;and&#xff08;&#xff09;这才是我们要的&#xff0c;所以需要将这…...

编程日记 2023/8/22 16:34:12

TDengine 快速体验（Docker 镜像方式）

简介 TDengine 可以通过安装包、Docker 镜像 及云服务快速体验 TDengine 的功能&#xff0c;本节首先介绍如何通过 Docker 快速体验 TDengine&#xff0c;然后介绍如何在 Docker 环境下体验 TDengine 的写入和查询功能。如果你不熟悉 Docker&#xff0c;请使用 安装包的方式快…...

编程新知 2026/2/3 7:43:45

基于距离变化能量开销动态调整的WSN低功耗拓扑控制开销算法matlab仿真

目录 1.程序功能描述 2.测试软件版本以及运行结果展示 3.核心程序 4.算法仿真参数 5.算法理论概述 6.参考文献 7.完整程序 1.程序功能描述 通过动态调整节点通信的能量开销&#xff0c;平衡网络负载&#xff0c;延长WSN生命周期。具体通过建立基于距离的能量消耗模型&am…...

编程新知 2026/2/6 5:38:46

【WiFi帧结构】

文章目录 帧结构MAC头部管理帧 帧结构 Wi-Fi的帧分为三部分组成&#xff1a;MAC头部frame bodyFCS&#xff0c;其中MAC是固定格式的&#xff0c;frame body是可变长度。 MAC头部有frame control&#xff0c;duration&#xff0c;address1&#xff0c;address2&#xff0c;addre…...

编程新知 2026/2/7 17:33:19

【HarmonyOS 5.0】DevEco Testing：鸿蒙应用质量保障的终极武器

——全方位测试解决方案与代码实战 一、工具定位与核心能力 DevEco Testing是HarmonyOS官方推出的​​一体化测试平台​​&#xff0c;覆盖应用全生命周期测试需求&#xff0c;主要提供五大核心能力&#xff1a; ​​测试类型​​​​检测目标​​​​关键指标​​功能体验基…...

编程新知 2026/1/28 8:17:53

Go 语言接口详解

Go 语言接口详解 核心概念 接口定义 在 Go 语言中&#xff0c;接口是一种抽象类型&#xff0c;它定义了一组方法的集合&#xff1a; // 定义接口 type Shape interface {Area() float64Perimeter() float64 } 接口实现 Go 接口的实现是隐式的&#xff1a; // 矩形结构体…...

编程新知 2026/1/4 5:19:25

Vue2 第一节_Vue2上手_插值表达式{{}}_访问数据和修改数据_Vue开发者工具

文章目录 1.Vue2上手-如何创建一个Vue实例,进行初始化渲染2. 插值表达式{{}}3. 访问数据和修改数据4. vue响应式5. Vue开发者工具--方便调试 1.Vue2上手-如何创建一个Vue实例,进行初始化渲染 准备容器引包创建Vue实例 new Vue()指定配置项 ->渲染数据 准备一个容器,例如: …...

编程新知 2026/2/7 10:59:19

2021-03-15 iview一些问题

1.iview 在使用tree组件时&#xff0c;发现没有set类的方法&#xff0c;只有get&#xff0c;那么要改变tree值&#xff0c;只能遍历treeData&#xff0c;递归修改treeData的checked&#xff0c;发现无法更改&#xff0c;原因在于check模式下&#xff0c;子元素的勾选状态跟父节…...

编程新知 2026/2/5 3:29:13

三体问题详解

从物理学角度&#xff0c;三体问题之所以不稳定&#xff0c;是因为三个天体在万有引力作用下相互作用&#xff0c;形成一个非线性耦合系统。我们可以从牛顿经典力学出发&#xff0c;列出具体的运动方程&#xff0c;并说明为何这个系统本质上是混沌的&#xff0c;无法得到一般解…...

编程新知 2025/10/19 5:14:05

【OSG学习笔记】Day 16: 骨骼动画与蒙皮（osgAnimation）

骨骼动画基础 骨骼动画是 3D 计算机图形中常用的技术&#xff0c;它通过以下两个主要组件实现角色动画。 骨骼系统 (Skeleton)&#xff1a;由层级结构的骨头组成&#xff0c;类似于人体骨骼蒙皮 (Mesh Skinning)&#xff1a;将模型网格顶点绑定到骨骼上&#xff0c;使骨骼移动…...

编程新知 2026/2/1 5:42:50

IT供电系统绝缘监测及故障定位解决方案

随着新能源的快速发展&#xff0c;光伏电站、储能系统及充电设备已广泛应用于现代能源网络。在光伏领域&#xff0c;IT供电系统凭借其持续供电性好、安全性高等优势成为光伏首选&#xff0c;但在长期运行中&#xff0c;例如老化、潮湿、隐裂、机械损伤等问题会影响光伏板绝缘层…...

编程新知 2026/2/1 6:36:36