当前位置： 首页 > news >正文

精通Python爬虫中的XPath：从安装到实战演示

news 文章来源：https://blog.csdn.net/weixin_52392194/article/details/140856769 2025/1/13 13:18:07

🔸 插件安装

首先，我们需要安装用于处理XPath的库lxml。在命令行中运行以下命令：

pip install lxml

🔹 lxml是一个强大的库，支持XPath查询和XML处理，是爬虫开发中的重要工具。

🔸 DOM节点学习

DOM（Document Object Model）是XML和HTML文档的编程接口。它将文档作为树结构处理，每个节点表示文档的一部分。常见的节点类型包括：

  • 元素节点：表示HTML或XML标签，例如<div>。
  • 属性节点：表示元素的属性，例如class="example"。
  • 文本节点：表示元素或属性中的文本内容。

🔹 理解DOM结构是使用XPath查询的基础，下面是一个简单的HTML文档示例：

<html><body><div class="content"><h1>标题</h1><p>这是一个段落。</p><a href="http://example.com">链接</a></div></body>
</html>

🔸 XPath语法学习

XPath（XML Path Language）是一种用于在XML文档中选择节点的语言。它提供了多种方式来查找和筛选节点。以下是一些常用的XPath表达式：

  • / ：从根节点选取。
  • // ：从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。
  • . ：选取当前节点。
  • .. ：选取当前节点的父节点。
  • @ ：选取属性。

🔹 常用XPath表达式示例：

  • //div：选取所有<div>元素。
  • //div[@class='content']：选取所有class属性值为content的<div>元素。
  • //a/@href：选取所有<a>元素的href属性值。

🔸 XPath定位文章数据

在爬虫中，XPath可以用来精确定位和提取网页中的数据。以下是一个实际示例，展示如何使用XPath定位文章标题和链接：

import requests
from lxml import etree# 发送HTTP请求获取网页内容
url = 'http://example.com'
response = requests.get(url)
html_content = response.content# 解析HTML文档
tree = etree.HTML(html_content)# 使用XPath定位文章标题和链接
titles = tree.xpath('//h1/text()')
links = tree.xpath('//a/@href')# 打印结果
print(f"Titles: {titles}")
print(f"Links: {links}")

🔹 在这个示例中，我们使用requests库获取网页内容，并用lxml库的etree模块解析HTML文档。通过XPath表达式提取文章标题和链接，方便快捷。

🔸 实战演示

让我们结合以上知识，进行一个实际的爬虫示例，爬取并解析一篇文章的标题、作者和内容。

import requests
from lxml import etree# 发送HTTP请求获取网页内容
url = 'https://example.com/article'
response = requests.get(url)
html_content = response.content# 解析HTML文档
tree = etree.HTML(html_content)# 使用XPath定位文章标题、作者和内容
title = tree.xpath('//h1[@class="article-title"]/text()')[0]
author = tree.xpath('//span[@class="author"]/text()')[0]
content = tree.xpath('//div[@class="article-content"]/p/text()')# 打印结果
print(f"Title: {title}")
print(f"Author: {author}")
print(f"Content: {' '.join(content)}")

🔹 在这个示例中，我们爬取一个文章页面，并通过XPath定位文章标题、作者和内容，最后将结果打印出来。

🔸 总结

🔹 通过这次学习，我们掌握了XPath的基本语法、DOM节点的学习方法，以及如何在实际爬虫中使用XPath定位和提取数据。掌握这些技巧，能够帮助我们在开发爬虫时更加高效、精准地提取网页中的信息。

相关文章：

精通Python爬虫中的XPath：从安装到实战演示

&#x1f538; 插件安装 首先&#xff0c;我们需要安装用于处理XPath的库lxml。在命令行中运行以下命令&#xff1a; pip install lxml&#x1f539; lxml是一个强大的库&#xff0c;支持XPath查询和XML处理&#xff0c;是爬虫开发中的重要工具。 &#x1f538; DOM节点学习 …...

编程日记 2024/8/2 20:18:47

redis的使用场景

目录 1. 热点数据缓存 1.1 什么是缓存&#xff1f; 1.2 缓存的原理 1.3 什么样的数据适合放入缓存中 1.4 哪个组件可以作为缓存 1.5 java使用redis如何实现缓存功能 1.5.1 需要的依赖 1.5.2 配置文件 1.5.3 代码 1.5.4 发现 1.6 使用缓存注解完成缓存功能 2. 分布式锁…...

编程日记 2024/8/2 20:17:45

记录new Date()的各种方法以及时间差的计算方法

new Date().toLocaleDateString() —— 2024/8/2new Date().toLocaleTimeString() —— 10:21:48new Date().toLocaleString() —— 2024/8/2 10:21:48new Date().toLocaleDateString() —— Fri Aug 02 2024new Date().toDateString() —— Fri Aug 02 2024new Date…...

编程日记 2024/8/2 20:15:43

vue项目创建+eslint+Prettier+git提交规范（commitizen+hooks+husk）

# 步骤 1、使用 vue-cli 创建项目 这一小节我们需要创建一个 vue3 的项目&#xff0c;而创建项目的方式依然是通过 vue-cli 进行创建。 不过这里有一点大家需要注意&#xff0c;因为我们需要使用最新的模板&#xff0c;所以请保证你的 vue-cli 的版本在 4.5.13 以上&#xff…...

编程日记 2024/8/2 20:14:42

从Docker拉取镜像一直失败超时？这些解决方案帮你解决烦恼

设置国内源&#xff1a; 提示&#xff1a;常规方案&#xff08;作用不大&#xff09; 阿里云提供了镜像源&#xff1a;https://cr.console.aliyun.com/cn-hangzhou/instances/mirrors 登录后你会获得一个专属的地址 使用命令设置国内镜像源&#xff1a;通过vim /etc/docker/d…...

编程日记 2024/8/2 20:13:40

R语言大尺度空间数据分析模拟预测及可视化：地统计与空间自相关、空间数据插值、机器学习空间预测、空间升降尺度、空间模拟残差订正、空间制图等

目录 专题一 R语言空间数据介绍及数据挖掘关键技术 专题二 R语言空间数据高级处理技术 专题三 R语言多维时空数据处理技术、数据清洗整合和时间序列分析 专题四 R语言地统计与空间自相关、空间插值方法 专题五 R语言机器学习与空间模型预测及不确定性评估 专题六 R语言空…...

编程日记 2024/8/2 20:11:37

深入理解Java内存管理机制

Java内存管理是Java开发中一个至关重要的主题。理解内存管理机制不仅有助于编写高效的代码&#xff0c;还可以帮助我们避免常见的内存问题&#xff0c;如内存泄漏和内存不足。本篇博客将详细介绍Java内存管理机制&#xff0c;并通过代码示例帮助读者更好地理解这一过程。 1. J…...

编程日记 2024/8/2 20:10:36

Helm 学习之路，一文弄懂

1. 什么是 Helm 1.1 概述 Helm 是 Kubernetes 应用程序的包管理器,和redhat中yum 管理包类似. 1.2 架构图v3 1.3 下载 官当 最新版本 官方github curl -LO https://get.helm.sh/helm-v3.15.2-linux-amd64.tar.gz 1.4 安装 解压 #由于是二进制,直接解压到/usr/local/b…...

编程日记 2024/8/2 20:09:33

【面试题解答】一个有序数组 nums ，原地删除重复出现的元素

面试题解答 仅供学习 文章目录 面试题解答题目一、python代码1.1 代码1.2 示例用法1.2.1 示例11.2.2 示例2 二、讲解2.1 初始化2.2 遍历2.3 返回 题目 要解决这个问题&#xff0c;可以使用双指针方法进行原地修改&#xff0c;以确保每个元素最多出现两次。 一、python代码 1.1…...

编程日记 2024/8/2 20:08:31

【数据结构算法经典题目刨析（c语言）】随机链表的复制（图文详解）

&#x1f493; 博客主页&#xff1a;C-SDN花园GGbond ⏩ 文章专栏&#xff1a;数据结构经典题目刨析(c语言) 目录 一、题目描述 二、思路分析 三、代码实现 一、题目描述 二、思路分析 要完成一个带随机指针的链表的复制&#xff0c;有一个巧妙的办法:分三步走 1.完成节…...

编程日记 2024/8/2 20:07:29

cqyjldfx

CVE-2023-27179 靶标介绍&#xff1a; GDidees CMS v3.9.1及更低版本被发现存在本地文件泄露漏洞&#xff0c;漏洞通过位于 /_admin/imgdownload.php 的 filename 参数进行利用。攻击者可以通过向 filename 参数传递恶意输入来下载服务器上的任意文件。 提示有本地文件泄露&a…...

编程日记 2024/8/2 20:06:29

大数据——HBase原理

摘要 HBase 是一个开源的、非关系型的分布式数据库系统&#xff0c;主要用于存储海量的结构化和半结构化数据。它是基于谷歌的 Bigtable 论文实现的&#xff0c;运行在 Hadoop 分布式文件系统&#xff08;HDFS&#xff09;之上&#xff0c;并且可以与 Hadoop 生态系统的其他组…...

编程日记 2024/8/2 20:05:28

《电视技术》是什么级别的期刊？是正规期刊吗？能评职称吗？

问题解答 问&#xff1a;《电视技术》是不是核心期刊&#xff1f; 答&#xff1a;不是&#xff0c;是知网收录的第一批认定学术期刊。 问&#xff1a;《电视技术》级别&#xff1f; 答&#xff1a;国家级。主管单位&#xff1a;中国电子科技集团公司 主办单位&#xff…...

编程日记 2024/8/2 20:04:26

网络编程 --------- 2、socket网络编程接口

1、什么是socket 套接字 socke套接字是一个编程的接口 (网络编程的接口)、是一种特殊的文件描述符 (read/write)&#xff0c;不局限于TCP/IP 。socket是独立于具体协议的网络编程接口这个接口是位于 应用层和传输层之间 。 类型&#xff1a; (1)流式套接字 SOCK_ST…...

编程日记 2024/8/2 20:02:24

C# Deconstruct详解

总目录 前言 该文来源于探索弃元的使用&#xff0c;由弃元了解到元组&#xff0c;由元组又了解到解构方法Deconstruct。 另外本文中 解构和析构一个意思&#xff0c;不要在意&#xff01; 一、Deconstruct是什么&#xff1f; 1. 关于元组 如果我们想了解Deconstruct 的使用&…...

编程日记 2024/8/2 20:01:22

Java 面试常见问题之——为什么重写equals时必须重写hashCode方法

Java 面试常见问题之——为什么重写equals时必须重写hashCode方法 当重写 equals 方法时&#xff0c;通常也应该重写 hashCode 方法&#xff0c;原因主要有以下几点&#xff1a; 一致性原则&#xff1a;根据 Java 的约定&#xff0c;如果两个对象通过 equals 方法比较返回 tr…...

编程日记 2024/8/2 20:00:20

后端给的树形结构 递归 改造成阶联选择器所需要的lable、value结构

赋值&#xff1a;this.newTreeData this.renameFields(this.treeData) 递归方法&#xff1a;renameFields (tree) {return tree.map(node > {// 创建一个新对象来存放修改后的字段名const newNode {value: node.id,label: node.title,// 如果有子节点&#xff0c;则递归处理…...

编程日记 2024/8/2 19:58:16

文献阅读：基于拓扑结构模型构建ICI收益诊断模型

介绍 Custom scoring based on ecological topology of gut microbiota associated with cancer immunotherapy outcome是来自法国Gustave Roussy Cancer Campus的Laurence Zitvogel实验室最近发表在cell的关于使用肠道微生物拓扑结构预测免疫治疗疗效的文章。 该研究提供基于…...

编程日记 2024/8/2 19:56:14

Python文献调研（四）QtDesigner的布局

一、新建项目&#xff1a; 1.打开pycharm&#xff0c;新建一个Python项目 &#xff08;1&#xff09;右键项目列表区&#xff0c;找到我们之前配置好的外部工具&#xff0c;点击Pyside6 QtDesigner 打开Qt Designer后会是这个界面&#xff1a; &#xff08;2&#xff09;此时…...

编程日记 2024/8/2 19:53:09

CentOS Linux release 7.9.2009 中sudo命令未找到

先在 Windows 环境中下载 sudo 的安装包 下载安装包&#xff1a;https://www.sudo.ws/releases/stable/ 然后把安装包拷贝的 Centos 中&#xff0c;cd 进入安装包所在的目录执行下面的命令&#xff1a; 格式&#xff1a;rpm -Uhv xxxxx.rpm rpm -Uhv sudo-logsrvd-1.9.15-6.…...

编程日记 2024/8/2 19:52:08

生产计划问题的不同最优化工具软件求解

一、优化求解软件简介 众所周知&#xff0c;常用的优化工具软件有Lingo、Mathcad和MATLAB。 1. LINGO是Linear Interactive and General Optimizer的缩写&#xff0c;即“交互式的线性和通用优化求解器”&#xff0c;由美国LINDO系统公司&#xff08;Lindo System Inc.&…...

编程日记 2024/8/2 19:50:06

Java关键字及保留字总结

文章目录 Java关键字及保留字总结&#xff08;按首字母字母顺序所排列&#xff09;1.abstract2.boolean3.break4.byte5.case6.catch7.char8.class9.continue10.default11.do12.double13.else14.enum15.extends16.final17.finally18.float19.for20.if21.implements22.import23.i…...

编程日记 2024/8/2 19:49:05

【PGCCC】PostgreSQL 14 小版本分析，有那个版本不建议使用#PG中级

以下是对 PostgreSQL 14 各个小版本的详细分析&#xff0c;包括每个版本的主要变化、修复的 bug 和潜在的问题&#xff1a; PostgreSQL 14.0 发布日期&#xff1a;2021 年 9 月 30 日 主要变化&#xff1a; 增加了并行查询的改进&#xff0c;提升了性能。增强了 JSON 数据类…...

编程日记 2024/8/2 19:48:03

B树在数据库中的应用：理论与实践

B树在数据库中的应用&#xff1a;理论与实践 B树&#xff08;B-tree&#xff09;是一种自平衡的树数据结构&#xff0c;广泛应用于数据库系统中&#xff0c;特别是用于实现索引和文件系统中的关键字查找。B树的设计目标是保持数据有序并允许高效的查找、插入和删除操作。本文将…...

编程日记 2024/8/2 19:47:01

网络编程 -------- 3、TCP_UDP_UNIX

1、基于TCP的套接字编程流程 Server.c socket bind &#xff08;服务器的ip端口&#xff09; listen accept recv / send close Client.c socket connect &#xff08;服务器的ip端口&#xff09; …...

编程日记 2024/8/2 19:43:56

口袋奇兵：游戏辅助教程！陆军搭配阵容推荐，平民必备！

《口袋奇兵》是一款策略类手游&#xff0c;玩家需要在游戏中组建和指挥自己的军队&#xff0c;进行各种战斗和任务。为了在游戏中取得更好的成绩&#xff0c;合理搭配英雄和使用辅助工具是非常重要的。本攻略将为大家介绍一种强力的陆军搭配阵容&#xff0c;以及如何利用VMOS云…...

编程日记 2024/8/2 19:42:53

Spring Boot 集成参数效验 Validator

为什么需要参数效验？ 在业务开发中，为了防止非法参数对业务造成影响，所以需要对用户输入的正确性、数据完整性、安全性、业务规则的执行做效验，靠代码对接口参数做if判断的话就太繁琐了，代码冗余且可读性差（主要是不够优雅）。 Validator效验框架遵循了JSR-303验证规范…...

编程日记 2024/8/2 19:39:49

63、ELK安装和部署

一、ELK日志系统 1.1、ELK平台的定义 ELK平台是一套完整的日志集中处理解决方案&#xff0c;将ElasticSearch、Logstash和Kiabana 三个开源工具配合使用&#xff0c;完成更强大的用户对日志的查询、排序、统计需求 E:elasticsearch ES分布式索引型非关系数据库&#xff0c;存…...

编程日记 2024/8/2 19:38:47

【Dash】简单的直方图

一、Visualizing Data The Plotly graphing library has more than 50 chart types to choose from. In this example, we will make use of the histogram chart. # Import packages from dash import Dash, html, dash_table, dcc import pandas as pd import plotly.expre…...

编程日记 2024/8/2 19:35:43

【CTF-Crypto】格密码基础（例题较多，非常适合入门！）

格密码相关 文章目录 格密码相关格密码基本概念&#xff08;属于后量子密码&#xff09;基础的格运算&#xff08;行列式运算&#xff09;SVP&#xff08;shortest Vector Problem&#xff09;最短向量问题CVP&#xff08;Closet Vector Problem&#xff09;最近向量问题 做题要…...

编程日记 2024/8/2 19:34:41

在dw里网站页面列表怎么做/百度app内打开

在web或移动端开发中&#xff0c;有时候我们需要做一个可滚动显示的banner、轮播、滑动翻页显示内容等&#xff0c;常用的插件就数swiper。当然如果我不想因为一个小的页面去引入一个库&#xff0c;那么我们就手动写一个简易版的swiper。因为正做的项目是vue中需要用到滑动翻页…...

编程日记 2025/1/13 11:44:00

wordpress 主题 ie8/成全在线观看免费高清动漫

首先要知道的是(如JLS所述)以下增强的for循环&#xff1a;for (String s : list) {// Do something with s}相当于&#xff1a;for (Iterator it list.iterator(); it.hasNext();) {String s it.next();// Do something with s}如果你看一下AbstractList中迭代器的实现,你会看…...

编程日记 2025/1/13 10:47:21

优秀音乐网站设计欣赏/百度客服人工电话24

每次把虚拟机关机后&#xff0c;网络就可以通了&#xff0c;但是很多时候&#xff0c;我们需要它能在我们下次再来的时候能够保持原样。 我的虚拟机是ubuntu操作系统&#xff0c;所以打开终端 输入命令&#xff1a;vim /etc/network/interfaces 然后发现自己没有权限 这时候…...

编程日记 2025/1/13 10:21:26

在新闻网站做采编/品牌策划与推广

1、清单文件AndroidManifest.xml需要添加SD卡的读取和写入权限2、MainActivity.java package com.t20.camera;import java.io.File; import java.text.SimpleDateFormat; import java.util.Calendar; import java.util.Date;import android.net.Uri; import android.os.Bundle;…...

编程日记 2025/1/13 9:37:41

Vps wordpress https/百度网站推广费用多少

一、什么是JAVA的消息服务 上文中我们提到Java消息服务指的是两个应用程序之间进行异步通信的API&#xff0c;它为标准消息协议和消息服务提供了一组通用接口&#xff0c;包括创建、发送、读取消息等&#xff0c;用于支持JAVA应用程序开发。在J2EE中&#xff0c;当两个应用程序…...

编程日记 2025/1/13 8:44:50

wordpress生成静态教程/seo网站推广服务

1.函数重载的原理是在汇编时&#xff0c;给各个函数取别名&#xff0c;C语言不能重载的原因是没有取别名 2.C的函数在汇编时&#xff0c;会给函数取别名&#xff0c;C语言不会。这时如果C来调用C语言的函数&#xff0c;那么C会去找取了别名的函数但是C语言没有起别名&#xff…...

编程日记 2025/1/13 6:43:02