当前位置： 首页 > news >正文

Python 爬虫入门教程：从零构建你的第一个网络爬虫

news 文章来源：https://blog.csdn.net/weixin_42238129/article/details/144032453 2025/1/12 13:48:53

网络爬虫是一种自动化程序，用于从网站抓取数据。Python 凭借其丰富的库和简单的语法，是构建网络爬虫的理想语言。本文将带你从零开始学习 Python 爬虫的基本知识，并实现一个简单的爬虫项目。

1. 什么是网络爬虫？

网络爬虫（Web Crawler）是一种通过网络协议（如 HTTP/HTTPS）获取网页内容，并提取其中有用信息的程序。常见的爬虫用途包括：

  • 收集商品价格和评价。
  • 抓取新闻或博客内容。
  • 统计数据分析。

爬虫工作原理

  1. 发送 HTTP 请求到目标网站。
  2. 获取服务器返回的 HTML 页面。
  3. 解析 HTML 内容，提取所需数据。
  4. 保存数据以供后续使用。

2. 爬虫的基本工具

在 Python 中，我们可以使用以下工具和库来构建爬虫：

2.1 requests

requests 是一个强大的 HTTP 库，用于发送网络请求，获取网页内容。

安装：

pip install requests

示例：

import requests 
url = "https://example.com" 
response = requests.get(url) 
print(response.text) # 打印网页内容

2.2 BeautifulSoup

BeautifulSoup 是一个解析 HTML 和 XML 的库，用于从网页中提取数据。

安装：

pip install beautifulsoup4

示例：

from bs4 import BeautifulSouphtml = "<html><body><h1>Hello, World!</h1></body></html>"
soup = BeautifulSoup(html, "html.parser")
print(soup.h1.text)  # 输出 "Hello, World!"

2.3 pandas

pandas 是一个用于数据处理和分析的库，适合将爬取的数据保存到 CSV 或 Excel。

安装：

pip install pandas

示例：

import pandas as pddata = {"Title": ["Example"], "Link": ["https://example.com"]}
df = pd.DataFrame(data)
df.to_csv("output.csv", index=False)

3. 爬虫案例：抓取豆瓣电影排行榜

下面我们将构建一个爬虫，从豆瓣电影的网页抓取电影排行榜。

3.1 准备工作

目标网址： https://movie.douban.com/top250

我们将抓取以下信息：

  • 电影名称
  • 评分
  • 引言

3.2 代码实现

import requests
from bs4 import BeautifulSoup
import pandas as pd# 爬取一个页面的数据
def scrape_page(url):headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36"}response = requests.get(url, headers=headers)soup = BeautifulSoup(response.text, "html.parser")movies = []for item in soup.find_all("div", class_="item"):title = item.find("span", class_="title").textrating = item.find("span", class_="rating_num").textquote = item.find("span", class_="inq").text if item.find("span", class_="inq") else "N/A"movies.append({"Title": title, "Rating": rating, "Quote": quote})return movies# 主程序：爬取多页
def main():base_url = "https://movie.douban.com/top250?start={}"all_movies = []for i in range(0, 250, 25):  # 每页 25 部电影url = base_url.format(i)print(f"Scraping: {url}")movies = scrape_page(url)all_movies.extend(movies)# 保存为 CSV 文件df = pd.DataFrame(all_movies)df.to_csv("douban_top250.csv", index=False)print("Scraping complete! Data saved to douban_top250.csv")if __name__ == "__main__":main()

3.3 代码解析

  1. 设置请求头： 模拟浏览器访问，避免被反爬机制屏蔽。

  2. BeautifulSoup 提取内容： 使用 find 和 find_all 定位 HTML 标签，提取标题、评分和引言。

  3. 循环抓取多页： 构造分页 URL，逐页爬取。

  4. 保存为 CSV： 使用 pandas 将数据存储为 CSV 文件。

4. 运行与结果

运行程序后，将生成 douban_top250.csv 文件，内容如下：

5. 注意事项

5.1 遵守爬虫的礼仪

  1. 合理设置延迟： 在抓取页面时加入适当的延时，避免对服务器造成压力。

  2. 检查 robots.txt： 访问目标网站的 https://example.com/robots.txt 查看允许抓取的内容。

  3. 请求头伪装： 使用 User-Agent 模拟浏览器访问。

5.2 反爬机制应对

如果遇到反爬机制，可以尝试：

  • 使用代理 IP。
  • 处理动态内容（如 JavaScript 加载的页面）。
  • 使用更高级的库如 selenium 或 Playwright。

6. 总结与扩展

通过本文，我们学习了使用 Python 构建基本爬虫的流程，并完成了一个抓取豆瓣电影 Top250 的项目。你可以将爬虫技术扩展到更复杂的应用场景，比如：

  • 动态加载数据的网站（如使用 selenium 或 requests-html）。
  • 数据清洗与可视化（结合 pandas 和 matplotlib）。
  • 大规模爬取（结合分布式爬虫框架如 Scrapy）。

在实际应用中，记得遵守法律法规和网站的爬虫协议，合理使用网络爬虫技术！

相关文章：

Python 爬虫入门教程：从零构建你的第一个网络爬虫

网络爬虫是一种自动化程序&#xff0c;用于从网站抓取数据。Python 凭借其丰富的库和简单的语法&#xff0c;是构建网络爬虫的理想语言。本文将带你从零开始学习 Python 爬虫的基本知识&#xff0c;并实现一个简单的爬虫项目。 1. 什么是网络爬虫&#xff1f; 网络爬虫&#x…...

编程日记 2024/11/28 23:05:41

Java面试题、八股文——JVM篇最终篇

1.如何选择垃圾收集器&#xff1f; 选择合适的垃圾收集器&#xff08;Garbage Collector, GC&#xff09;对于优化Java应用程序的性能至关重要。不同的应用场景和系统需求可能需要不同类型的垃圾收集器来满足。以下是一些考虑因素以及常见的垃圾收集器选项&#xff0c;帮助您做…...

编程日记 2024/11/28 23:01:37

Spring Boot整合Redis Stack构建本地向量数据库相似性查询

Spring Boot整合Redis Stack构建本地向量数据库相似性查询 在微服务架构中&#xff0c;数据的高效存储与快速查询是至关重要的。Redis作为一个高性能的内存数据结构存储系统&#xff0c;不仅可以用作缓存、消息代理&#xff0c;还可以扩展为向量数据库&#xff0c;实现高效的相…...

编程日记 2024/11/28 22:59:36

shell脚本基础学习_总结篇（完结）

细致观看可以&#xff0c;访问shell脚本学习专栏&#xff0c;对应章节会有配图https://blog.csdn.net/2201_75446043/category_12833287.html?spm1001.2014.3001.5482 导语 一、shell脚本简介 1. 定义&#xff1a; 2. 主要特点&#xff1a; 3. shell脚本的基本结构 4. S…...

编程日记 2024/11/28 22:57:34

什么是 C++ 中的函数对象？它有什么特点？

在 C 中&#xff0c;函数对象&#xff08;Function Object&#xff09;是一种可调用对象&#xff0c;它允许像函数一样被调用&#xff0c;但实际上它可能并不是真正的函数。函数对象可以是以下几种类型之一&#xff1a; 普通函数&#xff1a; 一个普通的、定义在命名空间或类…...

编程日记 2024/11/28 22:55:30

css:项目

这是一个完整的网站制作的流程 美工会先制作一个原型图&#xff1a; 原型图写的不详细&#xff0c;就是体现一个网页大致的布局 然后美工再做一个psd样例图片 然后再交给程序员 项目 模块化开发&#xff1a;把代码的不同的样式封装起来&#xff0c;需要用到相同样式的标签就…...

编程日记 2024/11/28 22:54:29

macOS 开发环境配置与应用开发指南

macOS 开发环境配置与应用开发指南 macOS作为苹果公司推出的操作系统&#xff0c;因其稳定性、优雅的用户界面和强大的开发支持&#xff0c;已成为开发者和创意专业人士的首选平台之一。无论是开发iOS、macOS桌面应用&#xff0c;还是Web应用、跨平台程序&#xff0c;macOS都提…...

编程日记 2024/11/28 22:53:28

[A-19][V06]ARMv8/v9-内存虚拟化原理

ver0.2 [看前序文章有惊喜，关注W\X\G=Z+H=“浩瀚架构师”，可以解锁全部文章] 前言 前一篇文章，我们介绍了ARM内存的属性，算是一个小小的里程碑点，接下来我们会把注意力重新拉回虚拟化的赛道。我们从[V-05] 虚拟化基础-异常模型(Exception model)之后，花了很多笔墨介绍…...

编程日记 2024/11/28 22:52:27

registry 删除私有仓库镜像

原文链接&#xff1a;https://blog.csdn.net/yogima/article/details/122172744 如果需要彻底删除&#xff0c;只需进行register 磁盘删除镜像 彻底删除了&#xff0c;就可以到达彻底删除的目的。 如果只需要软删除&#xff0c;则只需进行通过API删除。 curl --header "Ac…...

编程日记 2024/11/28 22:50:25

UPLOAD LABS | UPLOAD LABS 靶场初识

关注这个靶场的其它相关笔记&#xff1a;UPLOAD LABS —— 靶场笔记合集-CSDN博客 0x01&#xff1a;UPLOAD LABS 靶场简介 UPLOAD LABS 靶场是一个专门用于学习文件上传漏洞攻击和防御的靶场。它提供了一系列文件上传漏洞的实验环境&#xff0c;用于帮助用户了解文件上传漏洞的…...

编程日记 2024/11/28 22:49:23

Samba服务器常见问题处理

指定的网络文件夹目前是以其他用户名和密码进行映射的。要用其他用户名和密码进行连接&#xff0c;首先请断开所有现有的连接到网络共享的映射 解决方案 单击“开始”菜单&#xff0c;选择“运行…”。 在弹出的窗口中&#xff0c;输入cmd 进入命令行模式&#xff0c;并输入…...

编程日记 2024/11/28 22:48:22

Java基础 设计模式——针对实习面试

目录 Java基础 设计模式单例模式工厂模式观察者模式策略模式装饰器模式其他设计模式 Java基础 设计模式 单例模式 单例模式&#xff08;Singleton Pattern&#xff09; 定义&#xff1a;确保一个类只有一个实例&#xff0c;并提供一个全局访问点来访问这个实例。适用场景&…...

编程日记 2024/11/28 22:47:21

最大公约数和最小公倍数-多语言

目录 C 语言实现 Python 实现 Java 实现 Js 实现 题目&#xff1a;输入两个正整数m和n&#xff0c;求其最大公约数和最小公倍数。 程序分析&#xff1a; 最小公倍数输入的两个数之积除于它们的最大公约数&#xff0c;关键是求出最大公约数&#xff1b; 求最大公约数用辗转…...

编程日记 2024/11/28 22:44:18

第三方数据库连接免费使用和安装

是强大的一体化数据库开发解决方案&#xff0c;可从单一应用程序无缝连接多个数据库&#xff0c;包括 MySQL、PostgreSQL、MongoDB、MariaDB、SQL Server、Oracle、SQLite 和 Redis。 下载&#xff1a;https://download.csdn.net/download/mo3408/90045937 升级特性 模型&…...

编程日记 2024/11/28 22:40:10

水库大坝安全监测之量水堰计应用

量水堰计是水库大坝安全监测系统中的一种关键设备&#xff0c;主要用于测量水库水位、流量等水力参数。以下是量水堰计在水库大坝安全监测中的应用及注意事项&#xff1a; 一、量水堰计的工作原理 量水堰计是一种专门用于测量水流流量的仪器&#xff0c;其工作原理主要基于水流…...

编程日记 2024/11/28 22:39:09

算法笔记：滑动窗口

前言 滑动窗口作为一个考点较高的算法&#xff0c;广泛应用于子串问题中&#xff0c;本文将进行详细讲解。 一、滑动窗口是什么 滑动窗口是双指针算法的一种&#xff0c;基本思路为维护一个窗口&#xff0c;然后从前往后遍历元素进行运算。 二、滑动窗口算法和其他双指针算…...

编程日记 2024/11/28 22:37:07

Ubuntu下的Graphviz的基础使用方法

一、Graphviz介绍 graphviz是贝尔实验室开发的一个开源的工具包&#xff0c;它使用一个特定的DSL(领域特定语言):dot作为脚本语言&#xff0c;然后使用布局引擎来解析此脚本&#xff0c;并完成自动布局 1、什么是Graphviz 官网地址&#xff0c;https://www.graphviz.org/ Gr…...

编程日记 2024/11/28 22:35:05

微积分复习笔记 Calculus Volume 1 - 6.8 Exponential Growth and Decay

6.8 Exponential Growth and Decay - Calculus Volume 1 | OpenStax...

编程日记 2024/11/28 22:34:04

React的ts文件中通过createElement拼接一段内容出来

比如接口返回一个值 const values [23.00, 40.00/kg];想做到如下效果&#xff0c; 如果单纯的用render渲染会很简单&#xff0c; 但是在ts文件中处理&#xff0c;所以采用了createElement拼接 代码如下&#xff1a; format: (values: string[]) > {if (!values || !val…...

编程日记 2024/11/28 22:30:01

Pinia之1：介绍Pinia、项目中引入Pinia

欢迎来到“雪碧聊技术”CSDN博客&#xff01; 在这里&#xff0c;您将踏入一个专注于Java开发技术的知识殿堂。无论您是Java编程的初学者&#xff0c;还是具有一定经验的开发者&#xff0c;相信我的博客都能为您提供宝贵的学习资源和实用技巧。作为您的技术向导&#xff0c;我将…...

编程日记 2024/11/28 22:26:55

Python双向链表、循环链表、栈

一、双向链表 1.作用 双向链表也叫双面链表。 对于单向链表而言。只能通过头节点或者第一个节点出发&#xff0c;单向的访问后继节点&#xff0c;每个节点只能记录其后继节点的信息&#xff08;位置&#xff09;&#xff0c;不能向前遍历。 所以引入双向链表&#xff0c;双…...

编程日记 2024/11/28 22:25:53

5G基础学习笔记

功能软件化 刚性网络&#xff1a;固定连接、固定功能、固化信令交互 柔性网络&#xff1a;网元拆解成服务模块&#xff0c;基于API接口调用 服务化架构&#xff08;SBA&#xff09; Service based Architecture &#xff08;SBA&#xff09;: 借鉴了业界成熟的SOA、微服务架…...

编程日记 2024/11/28 22:24:52

Python plotly库介绍

一、引言 在数据可视化领域&#xff0c;Python提供了众多强大的库。其中&#xff0c;plotly是一个功能强大、交互式的可视化库&#xff0c;可以创建各种类型的图表&#xff0c;包括线图、散点图、柱状图、饼图、3D图表等。它不仅提供了美观的可视化效果&#xff0c;还支持交互式…...

编程日记 2024/11/28 22:19:46

go编程中yaml的inline应用

下列代码&#xff0c;设计 Config 和 MyConfig 是为可扩展 Config&#xff0c;同时 Config 作为公共部分可保持变化。采用了匿名的内嵌结构体&#xff0c;但又不希望 yaml 结果多出一层。如果 MyConfig 中的 Config 没有使用“yaml:",inline"”修饰&#xff0c;则读取…...

编程日记 2024/11/28 22:07:35

手机实时提取SIM卡打电话的信令声音-智能拨号器的双SIM卡切换方案

手机实时提取SIM卡打电话的信令声音 --智能拨号器app的双SIM卡切换方案 一、前言 在蓝牙电话的方案中&#xff0c;由于采用市场上的存量手机来做为通讯呼叫的载体&#xff0c;而现在市面上大部分的手机都是“双卡双待单通”手机&#xff0c;简称双卡双待手机。即在手机开机后…...

编程日记 2024/11/28 22:06:34

探索Python WebSocket新境界：picows库揭秘

文章目录 探索Python WebSocket新境界&#xff1a;picows库揭秘第一部分&#xff1a;背景介绍第二部分&#xff1a;picows库概述第三部分&#xff1a;安装picows库第四部分&#xff1a;简单库函数使用方法第五部分&#xff1a;场景应用第六部分&#xff1a;常见Bug及解决方案第…...

编程日记 2024/11/28 22:05:33

2024年11月24日Github流行趋势

项目名称&#xff1a;FreeCAD 项目维护者&#xff1a;wwmayer, yorikvanhavre, berndhahnebach, chennes, WandererFan等项目介绍&#xff1a;FreeCAD是一个免费且开源的多平台3D参数化建模工具。项目star数&#xff1a;20,875项目fork数&#xff1a;4,117 项目名称&#xff1…...

编程日记 2024/11/28 22:04:32

NewStar CTF week5 Crypto wp

easy_ecc ecc的模板题&#xff0c;稍加推理就会发现c1mc2*k因此做一个减法就行&#xff0c;需要注意的点是c1,c2必须放到ecc里面过一道才能出正确结果 k 86388708736702446338970388622357740462258632504448854088010402300997950626097 p 644088904089909773124499208053…...

编程日记 2024/11/28 22:01:29

vue3+antd注册全局v-loading指令

文章目录 1. 创建指令文件2. 全局注册3. 使用 1. 创建指令文件 src/directives 在directives中创建如下文件 src│─directives│ index.ts└─loadingindex.tsindex.vuedirectives/ index.ts export * from ./loadingdirectives/loading/index.ts import { createApp } f…...

编程日记 2024/11/28 22:00:29

初试无监督学习 - K均值聚类算法

文章目录 1. K均值聚类算法概述2. k均值聚类算法演示2.1 准备工作2.2 生成聚类用的样本数据集2.3 初始化KMeans模型对象&#xff0c;并指定类别数量2.4 用样本数据训练模型2.5 用训练好的模型生成预测结果2.6 输出预测结果2.7 可视化预测结果 3. 实战小结 1. K均值聚类算法概述…...

编程日记 2024/11/28 21:57:26

做网站来钱快/医院线上预约

#include #include #include #include //#include /*屏幕操作函数*/#define MAX 50//#define NULL 0typedef struct node1{int school; /*学校编号*/int record; /*项目成绩*/struct node1 *next; /*链域*/}Schools;typedef struct {int item; /*项目编号*/Schools *firstschoo…...

编程日记 2025/1/12 12:58:57

龙岗区做网站/如何制作一个自己的网页网站

这套面试题主要目的是帮助那些还没有java软件开发实际工作经验&#xff0c;而正在努力寻找java软件开发工作的朋友在笔试时更好地赢得笔试和面试。由于这套面试题涉及的范围很泛&#xff0c;很广&#xff0c;很杂&#xff0c;大家不可能一天两天就看完和学完这套面试宝典&#…...

编程日记 2025/1/12 12:19:10

深圳专业制作网站的公司哪家好/网站运营课程

原文&#xff1a;Best Practices for Speeding Up Your Web Site 26 开发灵巧的事件处理程序 Develop Smart Event Handlers tag&#xff1a;javascript 如果有太多的事件处理逻辑部署在DOM树的不同元素上&#xff0c;它们的频繁执行会拖慢页面的响应速度。而使用事件委托是一…...

编程日记 2025/1/12 8:27:31

房山网站建设服务/seo优化常识

说明&#xff1a; 本文原创作者『Allen5G』 首发于微信公众号『Allen5G』&#xff0c;同时也更新在我的&#xff1a;CSDN&#xff0c;简书 标签&#xff1a;嵌入式软件&#xff0c;算法&#xff0c;通信 上拉电路 --- 应用于总线或者开漏模式&#xff0c;提供稳定电压 码字不…...

编程日记 2025/1/12 5:38:42

php可以做网站布局吗/我要登录百度

作者&#xff1a;指针不指南吗 专栏&#xff1a;蓝桥杯倒计时冲刺 &#x1f43e;马上就要蓝桥杯了&#xff0c;最后的这几天尤为重要&#xff0c;不可懈怠哦&#x1f43e; 文章目录1.Floyd求最短路2.Dijkstra求最短路&#xff08;堆优化版&#xff09;1.Floyd求最短路 题目 链接…...

编程日记 2025/1/12 5:35:21

wordpress 重写url插件/seo渠道

监听域对象的生命周期&#xff1a;在Web应用程序的运行期间&#xff0c;Web容器会创建和销毁三个比较重要的对象ServletContext、HttpSession和ServletRequest&#xff0c;这些对象被称为域对象&#xff0c;为了监听这些域对象的生命周期&#xff0c;Servlet API中专门提供三个…...

编程日记 2025/1/12 3:48:02