当前位置：首页 > news >正文

【爬虫】4.4 Scrapy 爬取网站数据

news 文章来源：https://blog.csdn.net/qq_57268251/article/details/131175480 2025/1/12 18:09:56

1. 建立 Web 网站

2. 编写 Scrapy 爬虫程序

为了说明 scrapy 爬虫爬取网站多个网页数据的过程，用 Flask 搭建一个小型的 Web 网站。

1. 建立 Web 网站

（1）books.html

<!DOCTYPE html>
<html lang="en">
<head><meta charset="UTF-8"><title>books</title>
</head>
<body><h3>计算机</h3><ul><li><a href="database.html">数据库</a></li><li><a href="program.html">程序设计</a></li><li><a href="network.html">计算机网络</a></li></ul>
</body>
</html>

（2）databse.html

<!DOCTYPE html>
<html lang="en">
<head><meta charset="UTF-8"><title>database</title>
</head>
<body><h3>数据库</h3><ul><li><a href="mysql.html">MySQL数据库</a></li></ul><a href="books.html">Home</a>
</body>
</html>

（3）program.html

<!DOCTYPE html>
<html lang="en">
<head><meta charset="UTF-8"><title>program</title>
</head>
<body><h3>程序设计</h3><ul><li><a href="python.html">Python程序设计</a></li><li><a href="java.html">Java程序设计</a></li></ul><a href="books.html">Home</a>
</body>
</html>

（4）network.html

<!DOCTYPE html>
<html lang="en">
<head><meta charset="UTF-8"><title>network</title>
</head>
<body><h3>计算机网络</h3><a href="books.html">Home</a>
</body>
</html>

（5）mysql.html

<!DOCTYPE html>
<html lang="en">
<head><meta charset="UTF-8"><title>mysql</title>
</head>
<body><h3>MySQL数据库</h3><a href="books.html">Home</a>
</body>
</html>

（6）python.html

<!DOCTYPE html>
<html lang="en">
<head><meta charset="UTF-8"><title>python</title>
</head>
<body><h3>Python程序设计</h3><a href="books.html">Home</a>
</body>
</html>

（7）java.html

<!DOCTYPE html>
<html lang="en">
<head><meta charset="UTF-8"><title>java</title>
</head>
<body><h3>Java程序设计</h3><a href="books.html">Home</a>
</body>
</html>

【问题】编写一个爬虫程序爬取这个网站所有的页面的<h3>标题文字。

服务器程序 server.py 如下：

import flask
import osapp = flask.Flask(__name__)def getFile(fileName):data = b""fileName = "web_html/" + fileName  # 将7个html页面放到web_html目录下，做了个路径拼接if os.path.exists(fileName):fobj = open(fileName, "rb")data = fobj.read()fobj.close()return data@app.route("/")
def index():return getFile("books.html")@app.route("/<section>")
def process(section):data = ""if section != "":data = getFile(section)return dataif __name__ == "__main__":app.run()

2. 编写 Scrapy 爬虫程序

仍然使用4.1节中的爬虫程序项目，重新编写MySpider.py程序

爬虫程序 MySpider.py 如下：

import scrapyclass MySpider(scrapy.Spider):name = "mySpider"def start_requests(self):url = 'http://127.0.0.1:5000'yield scrapy.Request(url=url, callback=self.parse)# 函数start_requests可以用start_urls替换# start_urls = ['http://127.0.0.1:5000']def parse(self, response, **kwargs):try:print(response.url)data = response.body.decode()selector = scrapy.Selector(text=data)print(selector.xpath("//h3/text()").extract_first())links = selector.xpath("//a/@href").extract()for link in links:url = response.urljoin(link)yield scrapy.Request(url=url, callback=self.parse)except Exception as err:print(err)

开启服务器server.py

执行run.py如下：

http://127.0.0.1:5000
计算机
http://127.0.0.1:5000/network.html
计算机网络
http://127.0.0.1:5000/program.html
程序设计
http://127.0.0.1:5000/database.html
数据库
http://127.0.0.1:5000/mysql.html
MySQL数据库
http://127.0.0.1:5000/java.html
Java程序设计
http://127.0.0.1:5000/books.html
计算机
http://127.0.0.1:5000/python.html
Python程序设计

scrapy 自动筛选已经访问过的网站，我们来分析程序的执行过程：

(1)

start_urls=['http://127.0.0.1:5000']

这是入口地址，访问这个地址成功后会回调parse函数；

(2)

def parse(self, response):

这是回调函数，该函数的response对象包含了网站返回的信息；

(3)

data=response.body.decode()

selector=scrapy.Selector(text=data)

网站返回的response.body的二进制数据，要decode转为文本，然后建立Selector对象；

(4)

print(selector.xpath("//h3/text()").extract_first())

获取网页中的<h3>标题的文本，这就是要爬取的数据，为了简单起见这个数据只有一项；

(5)

links=selector.xpath("//a/@href").extract()

获取所有的<a href=...>链接的 href值，组成links列表；

(6)

for link in links:

url=response.urljoin(link)

yield scrapy.Request(url=url,callback=self.parse)

访问links的每个link，通过urljoin函数与response.url地址组合成完整的 url地址，再次建立Request对象，回调函数仍然为parse，即这个parse函数会被递归调用。其中使用了yield语句返回每个Request对象，这是 scrapy程序的要求。

【爬虫】4.4 Scrapy 爬取网站数据

目录 1. 建立 Web 网站 2. 编写 Scrapy 爬虫程序为了说明 scrapy 爬虫爬取网站多个网页数据的过程，用 Flask 搭建一个小型的 Web 网站。 1. 建立 Web 网站 （1）books.html <!DOCTYPE html> <html lang"en"> <h…...

编程日记 2023/6/12 22:22:58

PureComponent和Component的区别和底层处理机制

PureComponent和Component都是React中的组件类，但它们在实现细节和使用上有些差别。 Component是React中定义组件的基类，它的shouldComponentUpdate方法默认返回true，也就是说，每次调用setState或forceUpdate方法都会引发组件重新…...

编程日记 2023/6/12 22:17:57

python3 爬虫相关学习9：BeautifulSoup 官方文档学习

目录 1 BeautifulSoup 官方文档报错暂时保存 2 用bs 和 requests 打开本地html的区别：代码里的一段html内容 2.1 代码和运行结果 2.2 用beautiful 打开本地 html 文件 2.2.1 本地html文件 2.2.2 soup1BeautifulSoup(html1,"lxml") 2.3 用reque…...

编程日记 2023/6/12 22:12:56

物联网Lora模块从入门到精通(九)Flash的读取与存储--结题

一、前言这将是"物联网Lora模块从入门到精通"系列的最后一篇文章，相信各位同僚通过前面八篇文章的分享已经极好的掌握了Lora模块的编程，本文的Flash的读取与存储将是Lora模块开发的最后一块，感谢大家的陪伴与支持！ 希望…...

编程日记 2023/6/12 22:07:55

STM32MP157_PRO开发板的第一个驱动程序

文章目录目的：为什么编译驱动程序之前要先编译内核？编译内核编译设备树编译安装内核模块编译内核模块安装内核模块到 Ubuntu 的NFS目录下备用安装内核和模块到开发板上编译 led 驱动在开发板安装驱动模块下载驱动程序安装驱动模块目的： 在…...

编程日记 2023/6/12 22:02:54

你“被”全链路了么？全链路压测实践之理论

要说当下研发领域最热门的几个词，全链路压测肯定跑不了。最近的几次大会上，也有不少关于全链路的议题。之前有朋友在面试过程中也有被问到了什么是全链路压测，如何有效的开展全链路压测。今天我们就来聊聊全链路压测，但本文不会涉…...

编程日记 2023/6/12 21:57:53

基于Tensorflow+SDD+Python人脸口罩识别系统（深度学习）含全部工程源码及模型+视频演示+图片数据集

目录前言总体设计系统整体结构图系统流程图运行环境Python 环境Anaconda 环境搭建模块实现1. 数据预处理2. 模型构建及算法实现3. 模型生成系统测试1. 训练准确率2. 运行结果工程源代码下载其它资料下载前言在当今全球范围内，新冠疫情对我们的生活方式带来了…...

编程日记 2023/6/12 21:52:52

abc200 D 鸽巢原理

题意：https://www.luogu.com.cn/problem/AT_abc200_d 思路：对于一个序列最多有多少个模数，其实就是子序列个数，所以当子序列个数超过200是那么答案一定存在，那么我们就可以直接枚举了，所以我们直接枚举前八…...

编程日记 2023/6/12 21:47:51

QT day1 (图形界面设计)

要求： 功能函数模块 #include "mainwindow.h" #include "ui_mainwindow.h"MainWindow::MainWindow(QWidget *parent) :QMainWindow(parent),ui(new Ui::MainWindow) {qDebug("%s","hello world");//qDebug() << &qu…...

编程日记 2023/6/12 21:42:50

JS逆向系列之猿人学爬虫第9题-动态cookie2

文章目录目标参数流程分析js代码Python调用测试目标 https://match.yuanrenxue.cn/match/9参数流程分析二次请求cookie携带m 第一次请求响应内容格式化之后是这样的： < body > < script src = "/static/match/safety/match9/udc.js" > <...

编程日记 2023/6/12 21:37:49

Java ~ Reference ~ FinalizerHistogram【总结】

前言文章相关系列：《Java ~ Reference【目录】》（持续更新）相关系列：《Java ~ Reference ~ FinalizerHistogram【源码】》（学习过程/多有漏误/仅作参考/不再更新）相关系列：《Java ~ Referenc…...

编程日记 2023/6/12 21:32:48

【MySQL】一文带你了解SQL

🎬 博客主页：博主链接 🎥 本文由 M malloc 原创，首发于 CSDN🙉 🎄 学习专栏推荐：LeetCode刷题集！ 🏅 欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指…...

编程日记 2023/6/12 21:27:46

python基础学习3【NumPy矩阵与通用函数【矩阵相乘+平方+广播机制+转置】+ save、load、sort、repeat、unique、鸢尾花1】

NumPy矩阵与通用函数 a np.mat([[1,2],[3,4]])#生成矩阵b np.matrix([[1,7],[6,4]])np.bmat("a b") 矩阵的运算矩阵特有属性： 属性说明 T自身转置H共轭转置I逆矩阵A自身数据的二维数据视图例如： np.matrix(a).T 矩阵相乘：…...

编程日记 2023/6/12 21:22:45

【Spring学习之更简单的读取和存储Bean对象】教会你使用五大类注解和方法注解去存储 Bean 对象

前言： 💞💞今天我们依然是学习Spring，这里我们会更加了解Spring的知识，知道Spring是怎么更加简单的读取和存储Bean对象的。也会让大家对Spring更加了解。 💟💟前路漫漫，希望大家坚持…...

编程日记 2023/6/12 21:17:44

微客云原生淘宝客APP小程序系统如何定制

淘宝是中国最大的电商网站，而淘宝的火热，也兴起了一个全新的行业，淘宝客。就是帮助淘宝商家推广商品的一种职业。目前淘宝每年有百分之10的销售业绩都是通过淘宝客贡献的，所以说淘宝客的市场越来越大。但是淘宝客要推广自己的产品…...

编程日记 2023/6/12 21:07:37

QT CTK插件开发(六) 多对一插件

CTK在软件的开发过程中可以很好的降低复杂性、使用 CTK Plugin Framework 提供统一的框架来进行开发增加了复用性将同一功能打包可以提供多个应用程序使用避免重复性工作、可以进行版本控制提供了良好的版本更新迭代需求、并且支持动态热拔插动态更新、开发更加简单快捷方便…...

编程日记 2023/6/12 21:02:36

【Spring Boot整合MyBatis教程】

Spring Boot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。通过这种方式，Spring Boot致力于在蓬勃发展的快速应用开发…...

编程日记 2023/6/12 20:57:35

ThinkPHP3.2.3通过局域网手机访问项目

折腾一上午， 试了nginx， 试了修改Apache的httpd.conf 试了关闭代理试了手动配置网络试了关闭防火墙试了添加防火墙入站出站规则问了五个ChatGPT 都没解决。记录一下 wampserver3.0.4 Apache2.4.18 PHP 5.6.19 MySQL 5.7.11 所有服务启…...

编程日记 2023/6/12 20:52:34

2306C++虚继承

构 B{无序映<串,串>列;整大小0;空 f(){大小;} }; //虚继承其实不错,但是占位置,占空间.构 C:虚公 B{空 g(){} };构 D:虚公 C{空 h(){} }; 构 S{}; 构 T{}; //元<类 T>构 E:虚公 D{}; 构 E:虚公 D{};空主(){//E<S>e;e.f();打印(e.大小);//E<T>m;m…...

编程日记 2023/6/12 20:47:33

使用oracle遇到问题笔记

一、oracle还原到不同版本的oracle数据库报错和解决办法产生：执行imp导入dmp备份文件时报错错误内容：导入失败提示：“不是有效的导出文件, 标头验证失败”解决方法解决办法：http://t.csdn.cn/pJyhc...

编程日记 2023/6/12 20:42:32

我和老刘又被搞惨了

前两天在调试PHY的时候遇到了一堆问题，老刘都不耐其烦的搞定了，这次我们开始调试音频部分，音频部分很简单，无非就是录音，要是能把录音的音频拿到了，那就万事大吉了。老刘也是信心满满，老刘对我说…...

编程日记 2023/6/12 20:37:31

DDD--基本概念

最近项目组一直在推DDD领域驱动设计，现就一些个人理解分享如下。 DDD（领域驱动设计）是一种软件开发方法论，旨在解决复杂业务场景下的软件设计与开发问题。以下是DDD的基本概念： 领域（Domain）&…...

编程日记 2023/6/12 20:32:30

chatgpt赋能python：Python多行注释

Python 多行注释在 Python 中，我们经常需要写注释来解释代码或者用于调试。Python 的注释分为单行注释和多行注释，本文主要介绍 Python 中如何多行注释。单行注释在 Python 中，单行注释以符号 # 开头，可以写在代码的任何位置…...

编程日记 2023/6/12 20:27:28

JSP详细基础教学

目录前言环境设置创建JSP文件编写基本的JSP代码部署和运行JSP页面基础语法前言 JSP（JavaServer Pages）是一种用于开发动态网页的Java技术。它允许将Java代码嵌入HTML页面中，以便在服务器端生成动态内容。在本次教程中&#xff…...

编程日记 2023/6/12 20:22:21

mysql修改登录用户的密码

文章目录 mysql5.7即mysql7.0 的修改方式mysql5.8即mysql8.0的修改方式如果修改完密码，发现旧密码和新密码都登录不进来怎么办？发现设置密码老报错 mysql5.7即mysql7.0 的修改方式 1.如果是使用docker里装的mysql 首先使用 [rootlocalhost /]# docker p…...

编程日记 2023/6/12 20:17:20

SNAT和DNAT

SNAT和DNAT 一、SNAT的策略及应用： 1.SNAT： （1）定义：又称源地址转换。源地址转换是内网地址向外访问时，发起访问的内网ip地址转换为指定的ip地址（可指定具体的服务以及相应的端口或端口范围&…...

编程日记 2023/6/12 20:12:19

好程序员：月薪2万程序员的简历，原来长这个样子！

6月份现在正是招聘季节，不少同学java岗位投递不少，但回复不多，根本原因可能是java面试简历不够吸引人。你的java简历不会写？看看别人就知道咋写了，这里给大家拆解一份好程序员月薪2万的java简历。 java自我评价模块&a…...

编程日记 2023/6/12 20:07:17

STM32之FreeRTOS

目录 FreeRTOS 介绍什么是 FreeRTOS ？ 为什么选择 FreeRTOS ? FreeRTOS 资料与源码下载祼机开发与 FreeRTOS 祼机开发： FreeRTOS： FreeRTOS 实现多任务的原理二、移植 FreeRTOS 手动移植使用CubeMX快速移植快速移植流程…...

编程日记 2023/6/12 20:02:16

有趣的图(二)(56)

小朋友们好，大朋友们好！ 我是猫妹，一名爱上Python编程的小学生。和猫妹学Python，一起趣味学编程。今日主题咱们书接上回，上次学了图的基本概念，你都学会了吗？ 咱们今天要学习内容如下&a…...

编程日记 2023/6/12 19:57:15

Linux之环境变量

目录 Linux之环境变量分类环境变量定义设置环境变量设置环境变量（永久） 用户环境变量配置所在文件： 全局环境变量配置所在文件： 显示与取消环境变量通过echo或printf打印环境变量通过env或set显示默认的环境变量用 …...

编程日记 2023/6/12 19:52:13

苹果做安卓游戏下载网站好/百度推广客户端手机版

本文主要向大家介绍了C/C知识点之1003 Emergency(25 分)C语言版本(提问求解答)，通过具体的内容向大家展示，希望对大家学习C/C知识点有所帮助。1003 Emergency(25 分)As an emergency rescue team leader of a city, you are given a special map of your…...

编程日记 2025/1/12 17:57:04

上虞中国建设银行官网站/百度公司

作为一名工程师，一名做技术的工程师，NUMA也是我的近期工作重点之一。在工作时间，在茶余饭后，也看了些NUMA的资料，学习了英特尔下一代Xeon处理器。这里就是我的一点小结，一点心得，和感兴趣的朋友…...

编程日记 2025/1/12 17:54:02

文化建设基金管理有限公司网站/北京seo排名公司

41、42知识点1：委托构造函数：一个委托构造函数使用它所属类的其他构造函数执行它自己的初始化过程。 class OH{ OH(string s, int a, int b):book(s),price(a),sale(b){} //三参数构造函数的参数列表和函数体首先被执行 OH():OH("",0,0);//默认构造函数又委托给了…...

编程日记 2025/1/12 16:10:02

品牌网站制作流程/百度一下你就知道移动官网

项目介绍一款 PHP 语言基于 Laravel9.x、Layui、MySQL等框架精心打造的一款模块化、插件化、高性能的前后端分离架构敏捷开发框架，可用于快速搭建前后端分离后台管理系统，本着简化开发、提升开发效率的初衷，框架自研了一套个性化的组件&…...

编程日记 2025/1/12 13:41:34

淘宝客网站怎么做的/市场调研分析报告怎么写

发现美术给过来的资源，集合到unity后，发现用Spine的默认材质Spine/Skeleton有毛边问题。对比demo的图片后发现demo的图片（都是png格式）没有白色块，而自己的图片有。原因是Spine工具导出png图片的时候没有选择premulti…...

编程日记 2025/1/12 12:41:48

中国建设工程信息网清欠/深圳seo优化排名

K的因子中只包含2 3 5。满足条件的前10个数是：2,3,4,5,6,8,9,10,12,15。所有这样的K组成了一个序列S，现在给出一个数n，求S中 > 给定数的最小的数。例如：n 13，S中 > 13的最小的数是15，所以输出15。In…...

编程日记 2025/1/12 12:37:46

1. 建立 Web 网站

2. 编写 Scrapy 爬虫程序

相关文章：