当前位置：首页 > news >正文

【爬虫】4.4 Scrapy 爬取网站数据

news 2025/7/3 4:33:29

1. 建立 Web 网站

2. 编写 Scrapy 爬虫程序

为了说明 scrapy 爬虫爬取网站多个网页数据的过程，用 Flask 搭建一个小型的 Web 网站。

1. 建立 Web 网站

（1）books.html

<!DOCTYPE html>
<html lang="en">
<head><meta charset="UTF-8"><title>books</title>
</head>
<body><h3>计算机</h3><ul><li><a href="database.html">数据库</a></li><li><a href="program.html">程序设计</a></li><li><a href="network.html">计算机网络</a></li></ul>
</body>
</html>

（2）databse.html

<!DOCTYPE html>
<html lang="en">
<head><meta charset="UTF-8"><title>database</title>
</head>
<body><h3>数据库</h3><ul><li><a href="mysql.html">MySQL数据库</a></li></ul><a href="books.html">Home</a>
</body>
</html>

（3）program.html

<!DOCTYPE html>
<html lang="en">
<head><meta charset="UTF-8"><title>program</title>
</head>
<body><h3>程序设计</h3><ul><li><a href="python.html">Python程序设计</a></li><li><a href="java.html">Java程序设计</a></li></ul><a href="books.html">Home</a>
</body>
</html>

（4）network.html

<!DOCTYPE html>
<html lang="en">
<head><meta charset="UTF-8"><title>network</title>
</head>
<body><h3>计算机网络</h3><a href="books.html">Home</a>
</body>
</html>

（5）mysql.html

<!DOCTYPE html>
<html lang="en">
<head><meta charset="UTF-8"><title>mysql</title>
</head>
<body><h3>MySQL数据库</h3><a href="books.html">Home</a>
</body>
</html>

（6）python.html

<!DOCTYPE html>
<html lang="en">
<head><meta charset="UTF-8"><title>python</title>
</head>
<body><h3>Python程序设计</h3><a href="books.html">Home</a>
</body>
</html>

（7）java.html

<!DOCTYPE html>
<html lang="en">
<head><meta charset="UTF-8"><title>java</title>
</head>
<body><h3>Java程序设计</h3><a href="books.html">Home</a>
</body>
</html>

【问题】编写一个爬虫程序爬取这个网站所有的页面的<h3>标题文字。

服务器程序 server.py 如下：

import flask
import osapp = flask.Flask(__name__)def getFile(fileName):data = b""fileName = "web_html/" + fileName  # 将7个html页面放到web_html目录下，做了个路径拼接if os.path.exists(fileName):fobj = open(fileName, "rb")data = fobj.read()fobj.close()return data@app.route("/")
def index():return getFile("books.html")@app.route("/<section>")
def process(section):data = ""if section != "":data = getFile(section)return dataif __name__ == "__main__":app.run()

2. 编写 Scrapy 爬虫程序

仍然使用4.1节中的爬虫程序项目，重新编写MySpider.py程序

爬虫程序 MySpider.py 如下：

import scrapyclass MySpider(scrapy.Spider):name = "mySpider"def start_requests(self):url = 'http://127.0.0.1:5000'yield scrapy.Request(url=url, callback=self.parse)# 函数start_requests可以用start_urls替换# start_urls = ['http://127.0.0.1:5000']def parse(self, response, **kwargs):try:print(response.url)data = response.body.decode()selector = scrapy.Selector(text=data)print(selector.xpath("//h3/text()").extract_first())links = selector.xpath("//a/@href").extract()for link in links:url = response.urljoin(link)yield scrapy.Request(url=url, callback=self.parse)except Exception as err:print(err)

开启服务器server.py

执行run.py如下：

http://127.0.0.1:5000
计算机
http://127.0.0.1:5000/network.html
计算机网络
http://127.0.0.1:5000/program.html
程序设计
http://127.0.0.1:5000/database.html
数据库
http://127.0.0.1:5000/mysql.html
MySQL数据库
http://127.0.0.1:5000/java.html
Java程序设计
http://127.0.0.1:5000/books.html
计算机
http://127.0.0.1:5000/python.html
Python程序设计

scrapy 自动筛选已经访问过的网站，我们来分析程序的执行过程：

(1)

start_urls=['http://127.0.0.1:5000']

这是入口地址，访问这个地址成功后会回调parse函数；

(2)

def parse(self, response):

这是回调函数，该函数的response对象包含了网站返回的信息；

(3)

data=response.body.decode()

selector=scrapy.Selector(text=data)

网站返回的response.body的二进制数据，要decode转为文本，然后建立Selector对象；

(4)

print(selector.xpath("//h3/text()").extract_first())

获取网页中的<h3>标题的文本，这就是要爬取的数据，为了简单起见这个数据只有一项；

(5)

links=selector.xpath("//a/@href").extract()

获取所有的<a href=...>链接的 href值，组成links列表；

(6)

for link in links:

url=response.urljoin(link)

yield scrapy.Request(url=url,callback=self.parse)

访问links的每个link，通过urljoin函数与response.url地址组合成完整的 url地址，再次建立Request对象，回调函数仍然为parse，即这个parse函数会被递归调用。其中使用了yield语句返回每个Request对象，这是 scrapy程序的要求。

【爬虫】4.4 Scrapy 爬取网站数据

目录 1. 建立 Web 网站 2. 编写 Scrapy 爬虫程序为了说明 scrapy 爬虫爬取网站多个网页数据的过程，用 Flask 搭建一个小型的 Web 网站。 1. 建立 Web 网站 （1）books.html <!DOCTYPE html> <html lang"en"> <h…...

编程日记 2023/6/12 22:22:58

PureComponent和Component的区别和底层处理机制

PureComponent和Component都是React中的组件类，但它们在实现细节和使用上有些差别。 Component是React中定义组件的基类，它的shouldComponentUpdate方法默认返回true，也就是说，每次调用setState或forceUpdate方法都会引发组件重新…...

编程日记 2023/6/12 22:17:57

python3 爬虫相关学习9：BeautifulSoup 官方文档学习

目录 1 BeautifulSoup 官方文档报错暂时保存 2 用bs 和 requests 打开本地html的区别：代码里的一段html内容 2.1 代码和运行结果 2.2 用beautiful 打开本地 html 文件 2.2.1 本地html文件 2.2.2 soup1BeautifulSoup(html1,"lxml") 2.3 用reque…...

编程日记 2023/6/12 22:12:56

物联网Lora模块从入门到精通(九)Flash的读取与存储--结题

一、前言这将是"物联网Lora模块从入门到精通"系列的最后一篇文章，相信各位同僚通过前面八篇文章的分享已经极好的掌握了Lora模块的编程，本文的Flash的读取与存储将是Lora模块开发的最后一块，感谢大家的陪伴与支持！ 希望…...

编程日记 2023/6/12 22:07:55

STM32MP157_PRO开发板的第一个驱动程序

文章目录目的：为什么编译驱动程序之前要先编译内核？编译内核编译设备树编译安装内核模块编译内核模块安装内核模块到 Ubuntu 的NFS目录下备用安装内核和模块到开发板上编译 led 驱动在开发板安装驱动模块下载驱动程序安装驱动模块目的： 在…...

编程日记 2023/6/12 22:02:54

你“被”全链路了么？全链路压测实践之理论

要说当下研发领域最热门的几个词，全链路压测肯定跑不了。最近的几次大会上，也有不少关于全链路的议题。之前有朋友在面试过程中也有被问到了什么是全链路压测，如何有效的开展全链路压测。今天我们就来聊聊全链路压测，但本文不会涉…...

编程日记 2023/6/12 21:57:53

基于Tensorflow+SDD+Python人脸口罩识别系统（深度学习）含全部工程源码及模型+视频演示+图片数据集

目录前言总体设计系统整体结构图系统流程图运行环境Python 环境Anaconda 环境搭建模块实现1. 数据预处理2. 模型构建及算法实现3. 模型生成系统测试1. 训练准确率2. 运行结果工程源代码下载其它资料下载前言在当今全球范围内，新冠疫情对我们的生活方式带来了…...

编程日记 2023/6/12 21:52:52

abc200 D 鸽巢原理

题意：https://www.luogu.com.cn/problem/AT_abc200_d 思路：对于一个序列最多有多少个模数，其实就是子序列个数，所以当子序列个数超过200是那么答案一定存在，那么我们就可以直接枚举了，所以我们直接枚举前八…...

编程日记 2023/6/12 21:47:51

QT day1 (图形界面设计)

要求： 功能函数模块 #include "mainwindow.h" #include "ui_mainwindow.h"MainWindow::MainWindow(QWidget *parent) :QMainWindow(parent),ui(new Ui::MainWindow) {qDebug("%s","hello world");//qDebug() << &qu…...

编程日记 2023/6/12 21:42:50

JS逆向系列之猿人学爬虫第9题-动态cookie2

文章目录目标参数流程分析js代码Python调用测试目标 https://match.yuanrenxue.cn/match/9参数流程分析二次请求cookie携带m 第一次请求响应内容格式化之后是这样的： < body > < script src = "/static/match/safety/match9/udc.js" > <...

编程日记 2023/6/12 21:37:49

Java ~ Reference ~ FinalizerHistogram【总结】

前言文章相关系列：《Java ~ Reference【目录】》（持续更新）相关系列：《Java ~ Reference ~ FinalizerHistogram【源码】》（学习过程/多有漏误/仅作参考/不再更新）相关系列：《Java ~ Referenc…...

编程日记 2023/6/12 21:32:48

【MySQL】一文带你了解SQL

🎬 博客主页：博主链接 🎥 本文由 M malloc 原创，首发于 CSDN🙉 🎄 学习专栏推荐：LeetCode刷题集！ 🏅 欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指…...

编程日记 2023/6/12 21:27:46

python基础学习3【NumPy矩阵与通用函数【矩阵相乘+平方+广播机制+转置】+ save、load、sort、repeat、unique、鸢尾花1】

NumPy矩阵与通用函数 a np.mat([[1,2],[3,4]])#生成矩阵b np.matrix([[1,7],[6,4]])np.bmat("a b") 矩阵的运算矩阵特有属性： 属性说明 T自身转置H共轭转置I逆矩阵A自身数据的二维数据视图例如： np.matrix(a).T 矩阵相乘：…...

编程日记 2023/6/12 21:22:45

【Spring学习之更简单的读取和存储Bean对象】教会你使用五大类注解和方法注解去存储 Bean 对象

前言： 💞💞今天我们依然是学习Spring，这里我们会更加了解Spring的知识，知道Spring是怎么更加简单的读取和存储Bean对象的。也会让大家对Spring更加了解。 💟💟前路漫漫，希望大家坚持…...

编程日记 2023/6/12 21:17:44

微客云原生淘宝客APP小程序系统如何定制

淘宝是中国最大的电商网站，而淘宝的火热，也兴起了一个全新的行业，淘宝客。就是帮助淘宝商家推广商品的一种职业。目前淘宝每年有百分之10的销售业绩都是通过淘宝客贡献的，所以说淘宝客的市场越来越大。但是淘宝客要推广自己的产品…...

编程日记 2023/6/12 21:07:37

QT CTK插件开发(六) 多对一插件

CTK在软件的开发过程中可以很好的降低复杂性、使用 CTK Plugin Framework 提供统一的框架来进行开发增加了复用性将同一功能打包可以提供多个应用程序使用避免重复性工作、可以进行版本控制提供了良好的版本更新迭代需求、并且支持动态热拔插动态更新、开发更加简单快捷方便…...

编程日记 2023/6/12 21:02:36

【Spring Boot整合MyBatis教程】

Spring Boot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。通过这种方式，Spring Boot致力于在蓬勃发展的快速应用开发…...

编程日记 2023/6/12 20:57:35

ThinkPHP3.2.3通过局域网手机访问项目

折腾一上午， 试了nginx， 试了修改Apache的httpd.conf 试了关闭代理试了手动配置网络试了关闭防火墙试了添加防火墙入站出站规则问了五个ChatGPT 都没解决。记录一下 wampserver3.0.4 Apache2.4.18 PHP 5.6.19 MySQL 5.7.11 所有服务启…...

编程日记 2023/6/12 20:52:34

2306C++虚继承

构 B{无序映<串,串>列;整大小0;空 f(){大小;} }; //虚继承其实不错,但是占位置,占空间.构 C:虚公 B{空 g(){} };构 D:虚公 C{空 h(){} }; 构 S{}; 构 T{}; //元<类 T>构 E:虚公 D{}; 构 E:虚公 D{};空主(){//E<S>e;e.f();打印(e.大小);//E<T>m;m…...

编程日记 2023/6/12 20:47:33

使用oracle遇到问题笔记

一、oracle还原到不同版本的oracle数据库报错和解决办法产生：执行imp导入dmp备份文件时报错错误内容：导入失败提示：“不是有效的导出文件, 标头验证失败”解决方法解决办法：http://t.csdn.cn/pJyhc...

编程日记 2023/6/12 20:42:32

华为云AI开发平台ModelArts

华为云ModelArts：重塑AI开发流程的“智能引擎”与“创新加速器”！ 在人工智能浪潮席卷全球的2025年，企业拥抱AI的意愿空前高涨，但技术门槛高、流程复杂、资源投入巨大的现实，却让许多创新构想止步于实验室。数据科学家…...

编程新知 2025/7/1 4:37:59

Qt/C++开发监控GB28181系统/取流协议/同时支持udp/tcp被动/tcp主动

一、前言说明在2011版本的gb28181协议中，拉取视频流只要求udp方式，从2016开始要求新增支持tcp被动和tcp主动两种方式，udp理论上会丢包的，所以实际使用过程可能会出现画面花屏的情况，而tcp肯定不丢包，起码…...

编程新知 2025/7/2 17:01:56

Spring Boot面试题精选汇总

🤟致敬读者 🟩感谢阅读🟦笑口常开🟪生日快乐⬛早点睡觉 📘博主相关 🟧博主信息🟨博客首页🟫专栏推荐🟥活动信息文章目录 Spring Boot面试题精选汇总⚙️ **一、核心概…...

编程新知 2025/6/15 5:20:21

C++八股 —— 单例模式

文章目录 1. 基本概念2. 设计要点3. 实现方式4. 详解懒汉模式 1. 基本概念线程安全（Thread Safety） 线程安全是指在多线程环境下，某个函数、类或代码片段能够被多个线程同时调用时，仍能保证数据的一致性和逻辑的正确性&#xf…...

编程新知 2025/6/21 18:07:22

OPenCV CUDA模块图像处理-----对图像执行均值漂移滤波（Mean Shift Filtering）函数meanShiftFiltering()

操作系统：ubuntu22.04 OpenCV版本：OpenCV4.9 IDE:Visual Studio Code 编程语言：C11 算法描述在 GPU 上对图像执行均值漂移滤波（Mean Shift Filtering），用于图像分割或平滑处理。该函数将输入图像中的…...

编程新知 2025/6/26 10:08:19

学校时钟系统，标准考场时钟系统，AI亮相2025高考，赛思时钟系统为教育公平筑起“精准防线”

2025年#高考将在近日拉开帷幕，#AI 监考一度冲上热搜。当AI深度融入高考，#时间同步不再是辅助功能，而是决定AI监考系统成败的“生命线”。 AI亮相2025高考，40种异常行为0.5秒精准识别 2025年高考即将拉开帷幕，江西、…...

编程新知 2025/6/25 2:37:18

JVM虚拟机：内存结构、垃圾回收、性能优化

1、JVM虚拟机的简介 Java 虚拟机（Java Virtual Machine 简称：JVM）是运行所有 Java 程序的抽象计算机，是 Java 语言的运行环境，实现了 Java 程序的跨平台特性。JVM 屏蔽了与具体操作系统平台相关的信息，使得 Java 程序只需生成在 JVM 上运行的目标代码（字节码），就可以…...

编程新知 2025/6/27 10:36:03

A2A JS SDK 完整教程：快速入门指南

目录什么是 A2A JS SDK?A2A JS 安装与设置A2A JS 核心概念创建你的第一个 A2A JS 代理A2A JS 服务端开发A2A JS 客户端使用A2A JS 高级特性A2A JS 最佳实践A2A JS 故障排除什么是 A2A JS SDK? A2A JS SDK 是一个专为 JavaScript/TypeScript 开发者设计的强大库&#xff…...

编程新知 2025/6/18 3:11:41

（一）单例模式

一、前言单例模式属于六大创建型模式，即在软件设计过程中，主要关注创建对象的结果，并不关心创建对象的过程及细节。创建型设计模式将类对象的实例化过程进行抽象化接口设计，从而隐藏了类对象的实例是如何被创建的，封装了软件系统使用的具体对象类型。六大创建型模式包括…...

编程新知 2025/6/16 16:54:17

十九、【用户管理与权限 - 篇一】后端基础：用户列表与角色模型的初步构建

【用户管理与权限 - 篇一】后端基础：用户列表与角色模型的初步构建前言准备工作第一部分：回顾 Django 内置的 `User` 模型第二部分：设计并创建 `Role` 和 `UserProfile` 模型第三部分：创建 Serializers第四部分：创建 ViewSets第五部分：注册 API 路由第六部分：后端初步测…...

编程新知 2025/6/21 11:15:11

1. 建立 Web 网站

2. 编写 Scrapy 爬虫程序

相关文章：