当前位置： 首页 > news >正文

Python 网页解析初级篇：BeautifulSoup库的入门使用

news 文章来源：https://blog.csdn.net/u012409436/article/details/132359497 2024/11/28 8:42:21

在Python的网络爬虫中，网页解析是一项重要的技术。而在众多的网页解析库中，BeautifulSoup库凭借其简单易用而广受欢迎。在本篇文章中，我们将学习BeautifulSoup库的基本用法。

一、BeautifulSoup的安装与基本使用

首先，我们需要使用pip命令来安装BeautifulSoup库，命令如下：

pip install beautifulsoup4

安装完成后，我们就可以开始使用BeautifulSoup来解析网页了。首先，我们需要导入BeautifulSoup类，然后使用BeautifulSoup类的构造方法创建一个BeautifulSoup对象，代码如下：

from bs4 import BeautifulSouphtml_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>
"""soup = BeautifulSoup(html_doc, 'html.parser')print(soup.prettify())

二、网页元素的提取

BeautifulSoup提供了一系列方法，让我们可以轻松的提取出网页中的元素。例如，我们可以使用tag.name属性获取标签的名字，tag.string属性获取标签内的字符串，使用tag['attr']获取标签的属性，代码如下：

from bs4 import BeautifulSouphtml_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>
"""soup = BeautifulSoup(html_doc, 'html.parser')title_tag = soup.titleprint(title_tag.name)  # 输出：title
print(title_tag.string)  # 输出：The Dormouse's story

三、网页元素的查找

BeautifulSoup提供了find和find_all方法，让我们可以轻松的查找到网页中的元素。例如，我们可以查找到所有的p标签，代码如下：

from bs4 import BeautifulSouphtml_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were</p>
"""soup = BeautifulSoup(html_doc, 'html.parser')p_tags = soup.find_all('p')for p in p_tags:print(p.string)

四、CSS选择器的使用

BeautifulSoup还支持CSS选择器，我们可以使用select方法来使用CSS选择器选择元素，例如：

from bs4 import BeautifulSouphtml_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were</p>
"""soup = BeautifulSoup(html_doc, 'html.parser')title_tag = soup.select('p.title')for title in title_tag:print(title.string)

以上就是BeautifulSoup库的基本用法，通过BeautifulSoup，我们可以轻松地解析出网页中的元素，为网络爬虫提供强大的支持。

相关文章：

Python 网页解析初级篇：BeautifulSoup库的入门使用

在Python的网络爬虫中&#xff0c;网页解析是一项重要的技术。而在众多的网页解析库中&#xff0c;BeautifulSoup库凭借其简单易用而广受欢迎。在本篇文章中&#xff0c;我们将学习BeautifulSoup库的基本用法。 一、BeautifulSoup的安装与基本使用 首先&#xff0c;我们需要使…...

编程日记 2023/8/22 14:18:37

Spring Schedular 定时任务

大家好 , 我是苏麟 , 今天带来定时任务的实现 . Spring网站 : 入门 |计划任务 (spring.io) 什么是定时任务 通过时间表达式来进行调度和执行的一类任务被称为定时任务 定时任务实现 1.Spring Schedule (Spring boot 默认整合了) 2.Quartz(独立于Spring 存在的定时任务框架…...

编程日记 2023/8/22 14:17:35

营业额统计

营业额统计 # 题目描述 Tiger 最近被公司升任为营业部经理&#xff0c;他上任后接受公司交给的第一项任务便是统计并分析公司成立以来的营业情况。 Tiger 拿出了公司的账本&#xff0c;账本上记录了公司成立以来每天的营业额。分析营业情况是一项相当复杂的工作。由于节假日&…...

编程日记 2023/8/22 14:16:32

使用lodash的throttle函数会触发两次

当使用lodash的throttle函数时会触发两次&#xff0c;分别在最开始和最后。 严格来说不算是bug&#xff0c;因为官方文档写的很清楚。throttle函数其实有三个参数&#xff1a; _.throttle(func, [wait0], [options]) func: 要节流的函数 wait: 等待时间 options: 选项 op…...

编程日记 2023/8/22 14:15:30

如何使用CSS实现一个瀑布流布局？

聚沙成塔每天进步一点点 ⭐ 专栏简介⭐ 使用CSS实现瀑布流布局⭐ 写在最后 ⭐ 专栏简介 前端入门之旅&#xff1a;探索Web开发的奇妙世界 记得点击上方或者右侧链接订阅本专栏哦 几何带你启航前端之旅 欢迎来到前端入门之旅&#xff01;这个专栏是为那些对Web开发感兴趣、刚刚…...

编程日记 2023/8/22 14:14:28

dfs之有重复字符串的排列组合

https://leetcode.cn/problems/permutation-ii-lcci/description/ ■ 题目描述 考古问题&#xff0c;假设以前的石碑被打碎成了很多块&#xff0c;每块上面都有一个或若干个字符&#xff0c;请你写个程序来把之前石碑上文字可能的组合全部写出来&#xff0c;按升序进行排列。…...

编程日记 2023/8/22 14:13:27

Java之抽象类

Java之抽象类 抽象类概念抽象类如何使用抽象类的特性 作者简介&#xff1a; zoro-1&#xff0c;目前大一&#xff0c;正在学习Java&#xff0c;数据结构等 作者主页&#xff1a;zoro-1的主页 欢迎大家点赞 &#x1f44d; 收藏 ⭐ 加关注哦&#xff01;&#x1f496;&#x1f49…...

编程日记 2023/8/22 14:12:26

“无Internet连接但是可以上网” 解决全流程

先说我的最后解决方法&#xff1a; 修改注册表下\HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\NlaSvc\Parameters\Internet下 的 EnableActiveProbing 项&#xff1a;将 1 改成 0 为什么要解决“无Internet连接但是可以上网”这个问题&#xff1f; 因为虽然可以上百…...

编程日记 2023/8/22 14:11:22

VS2022 CMake报错解决小结

目录 一、问题背景 二、问题分析 三、问题解决 一、问题背景 VS2022中能够跨平台的工程类型就是CMake项目&#xff0c;一套代码能跨windows/Linux/Mac多种操作系统。而实际使用时&#xff0c;发现相关资料比较少&#xff0c;需要摸索一下。 碰到的问题简述&#xff1a; 1、C…...

编程日记 2023/8/22 14:10:21

java之webservice_aegis.xml学习

开门见山，直奔主题，让我们先来看一个接口： public interface UserInfo {public Collection findRoleInfosByUserID(String userUniqueID);public User findUserInfosByUserID(String userUniqueID);public String test();} 观察此接口，首先我们看findRoleInfosByUserID方法…...

编程日记 2023/8/22 14:09:19

总结 TCP 协议的相关特性

TCP协议段格式: 如图, 端口号: 是其中一个重要的部分,知道端口号才能确认数据交给哪个应用程序(端口号属于传输层的概念). 4位首部长度:4bit表示的范围是0->15,在此处,单位是"4字节",因此,将这里的数值 * 4&#xff0c;才是真正的报头长度,即TCP 报头最大长度,60…...

编程日记 2023/8/22 14:08:18

不负众望~历时4年修炼，这本册子终于成书了（文末赠书）

名字&#xff1a;阿玥的小东东 学习&#xff1a;Python、C/C 主页链接&#xff1a;阿玥的小东东的博客_CSDN博客-python&&c高级知识,过年必备,C/C知识讲解领域博主 目录 精进Spring Boot首选读物 “小册”变“大书”&#xff0c;彻底弄懂Spring Boot 全方位配套资源…...

编程日记 2023/8/22 14:07:16

【校招VIP】java语言考点之垃圾回收算法

考点介绍&#xff1a; 垃圾回收算法是必考题。GC中的垃圾指的是存在于内存中的、不会再被使用的对象。而垃圾回收就是把那些不再被使用的对象进行清除&#xff0c;收回占用的内存空间...... 『java语言考点之垃圾回收算法』相关题目及解析内容可点击文章末尾链接查看&#xff…...

编程日记 2023/8/22 14:06:15

juc概述和Lock接口

目录 一、什么是JUC 1、JUC概述 2、进程与线程 3、线程的状态 4、wait/sleep 的区别 5、并发与并行 6、管程 7、用户线程和守护线程 二、Lock接口 1、Synchronized 使用synchronized实现售票案例 使用synchronized实现增减变量操作 2、什么是 Lock 买票例子使用lo…...

编程日记 2023/8/22 14:05:14

图像降采样的计算原理：F.interpolate INTER_AREA

一、F.interpolate——数组采样操作 torch.nn.functional.interpolate(input, size=None, scale_factor=None, mode=nearest, align_corners=None, recompute_scale_factor=None) 功能：利用插值方法，对输入的张量数组进行上\下采样操作，换句话说就是科学合理地改变数组的尺…...

编程日记 2023/8/22 14:04:12

云上的甜蜜早安：腾讯云云函数助力PHP打造女友专属每日推送

用腾讯云的云函数做一个微信公众号早安&#xff0c;每天定时发送早安给你的女朋友&#xff01; 1.首先我们登录腾讯云&#xff0c;在搜索栏搜索云函数 2.进入云函数&#xff0c;点击立即体验 3.这里我们选择 按照步骤选择 php 4.再就是配置页面&#xff0c;这里我们只需要配…...

编程日记 2023/8/22 14:03:10

Javaweb基础学习（3）

Javaweb基础学习 web核心介绍一、HTTP1.1 HTTP介绍1.2、HTTP请求数据格式1.3、HTTP响应数据格式 二、Tomcat2.1 简介2.2 基本使用2.3 Tomcat配置2.4 Tomcat部署项目2.5 Web项目结构2.6 创建Maven Web项目 三、Servlet3.1、Servlet简介&快速入门3.2 创建Servlet步骤3.3 Serv…...

编程日记 2023/8/22 14:02:09

使用在 Web 浏览器中运行的 VSCode 实现 ROS2 测程法

一、说明 Hadabot是软件工程师学习ROS2和机器人技术的机器人套件。我们距离Hadabot套件的测试版还有一周左右的时间。我们将在本文末尾披露有关如何注册的更多信息。 新的Hadabot套件完全支持ROS2。除了硬件套件外&#xff0c;Hadabot软件环境将主要基于Web浏览器&#xff0c;以…...

编程日记 2023/8/22 14:01:08

快速学习GO语言总结

备注&#xff1a;本博客将自己初步学习GO的总结进行分享&#xff0c;希望大家通过本博客可以在短时间内快速掌握GO的基本程序编码能力&#xff0c;如有错误请留言指正&#xff0c;谢谢&#xff01; 一、初步了解Go语言 &#xff08;一&#xff09;Go语言诞生的主要问题和目标…...

编程日记 2023/8/22 14:00:06

尚硅谷宋红康MySQL笔记 10-18

是记录&#xff0c;我不会记录的特别详细 第10章 创建和管理表 标识符命名规则 数据库名、表名不得超过30个字符&#xff0c;变量名限制为29个只能包含 A–Z, a–z, 0–9, _共63个字符数据库名、表名、字段名等对象名中间不要包含空格同一个MySQL软件中&#xff0c;数据库不能…...

编程日记 2023/8/22 13:59:05

Java 面试题--SpringBoot篇

一、什么是 SpringBoot&#xff1f; Spring Boot 是 Spring 开源组织下的子项目&#xff0c; 是 Spring 组件一站式解决方案&#xff0c;主要是简化 了使用 Spring 的难度&#xff0c;简省了繁重 xml 的配 置&#xff0c;提供了各种启动器&#xff0c;在运行过程中自定 配置,&a…...

编程日记 2023/8/22 13:58:03

GitKraken 详细图文教程

前言 写这篇文章的原因是组内的产品和美术同学&#xff0c;开始参与到git工作流中&#xff0c;但是网上又没有找到一个比较详细的使用教程&#xff0c;所以干脆就自己写了一个[doge]。文章的内容比较基础&#xff0c;介绍了Git内的一些基础概念和基本操作&#xff0c;适合零基…...

编程日记 2023/8/22 13:57:02

ubuntu20.04 root用户下使用中文输入法——root用户pycharm无法用中文输入法问题

因为一些众所不周知的bug&#xff0c;我的pycharm使用apt或者snap安装都不行了&#xff0c;官网下了“绿色版”&#xff0c;运行pycharm.sh也运行不起来&#xff0c;有个java相关环境报错&#xff0c;jre和jdk都装了&#xff0c;还是有点问题&#xff0c;最后尝试发现可以用roo…...

编程日记 2023/8/22 13:56:01

FastDFS与Nginx结合搭建文件服务器，并实现公网访问【内网穿透】

文章目录 前言1. 本地搭建FastDFS文件系统1.1 环境安装1.2 安装libfastcommon1.3 安装FastDFS1.4 配置Tracker1.5 配置Storage1.6 测试上传下载1.7 与Nginx整合1.8 安装Nginx1.9 配置Nginx 2. 局域网测试访问FastDFS3. 安装cpolar内网穿透4. 配置公网访问地址5. 固定公网地址5.…...

编程日记 2023/8/22 13:54:59

嵌入式蓝海变红海？其实是大浪淘沙！

嵌入式是当下热门的职业方向之一&#xff0c;吸引了众多求职者的目光。然而&#xff0c;有人担心大家一拥而上&#xff0c;导致嵌入式就业竞争激烈&#xff0c;找工作难度大。其实&#xff0c;嵌入式行业的竞争并非无法逾越的天堑&#xff0c;也远远没有从蓝海变成红海&#xf…...

编程日记 2023/8/22 13:53:58

【附安装包】Solid Edge2023安装教程最强CAD选择

软件下载 软件&#xff1a;Solid Edge版本&#xff1a;2023语言&#xff1a;简体中文大小&#xff1a;3.85G安装环境&#xff1a;Win11/Win10/Win8/Win7硬件要求&#xff1a;CPU2.0GHz 内存4G(或更高&#xff09;下载通道①百度网盘丨64位下载链接&#xff1a;https://pan.bai…...

编程日记 2023/8/22 13:52:57

494. 目标和

494. 目标和 原题链接&#xff1a;完成情况&#xff1a;解题思路&#xff1a;数组回溯法动态规划 参考代码&#xff1a;数组回溯法__494目标和__动态规划 经验吸取 原题链接&#xff1a; 494. 目标和 https://leetcode.cn/problems/target-sum/description/ 完成情况&#…...

编程日记 2023/8/22 13:51:55

C++学习笔记总结练习：C++编译过程详解

编译和链接的过程 0 概述 程序要运行起来&#xff0c;必须要经过四个步骤&#xff1a;预处理、编译、汇编和链接。接下来通过几个简单的例子来详细讲解一下这些过程。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EFwSfKYp-1692237034055)(imag…...

编程日记 2023/8/22 13:50:54

嵌入式设备应用开发（qt界面开发）

【 声明：版权所有，欢迎转载，请勿用于商业用途。 联系信箱：feixiaoxing @163.com】 linux界面开发有很多的方案可以选。比如说lvgl、minigui、ftk之类的。但是，这么多年来，一直屹立不倒的还是qt。相比较其他几种方案，qt支持多个平台，这里面就包括了linux平台。此…...

编程日记 2023/8/22 13:49:53

pytest结合Excel实现接口自动化

前言 我们先来回顾下之前篇章“pytest通过parametrize方法实现数据驱动实战”&#xff0c;主要是通过yaml文件来读取测试用例。而我们用Excel文件存放测试用例又有什么区别呢&#xff1f; 毫无疑问&#xff0c;Pytest自动化测试框架也能读取Excel文件实现数据驱动。 还记得之…...

编程日记 2023/8/22 13:48:51

求人做网站的网站/广州seo优化费用

作者 | 马超责编 | 伍杏玲封图 | 视觉中国出品 | CSDN&#xff08;ID:CSDNnews&#xff09;最近CVPR2020的论文集合在GitHub火了&#xff0c;CVPR2020-Paper- Code 的项目&#xff08;https://github.com/extreme-assistant/CVPR2020-Paper-Code-Interpretation&#xff09;已获…...

编程日记 2024/11/28 6:22:49

wordpress if include/郑州网站建设外包

这是我STM32F103C8T6开发笔记专栏的一部分。可以到专栏中查阅更多内容。STM32F103C8T6开发笔记整理​zhuanlan.zhihu.com【写在前面】&#xff1a;这篇笔记的内容&#xff0c;一是要实现STM32中串口的收发功能&#xff0c;二是要解析来自上位机发送的命令&#xff0c;从而控制单…...

编程日记 2024/11/28 5:48:26

深圳宝安区好不好/苏州seo门户网

solaris下默认的ls后显示的目录或者文件等等是不带颜色的&#xff0c;如果要使其像linux下&#xff0c;那么需要如下步骤一、去www.sunfreeware.com下载coreutils-4.5.4-sol9-sparc-local.gz二、以下分十步完成1. 彩色输出是GUN版本ls命令的一个特征,所以你必须先得到这个版本&…...

编程日记 2024/11/27 22:58:01

自己如何建设网站/宁波正规优化seo价格

C编译器生成的默认函数话题引入&#xff1a; 对象的赋值与复制是如何进行的&#xff1f;他们的区别是什么&#xff1f;如果一个空的自定义类型能否执行这些操作&#xff1f; 对象赋值&#xff1a;通过“ ”运算符重载 User a(10),b; b a; 对象复制&#xff1a;调用拷贝构造函…...

编程日记 2024/11/27 20:01:32

网络设计课程靠谱么/贵港seo关键词整站优化

修改IDEA编码 但是这个配置⽂件⼏乎⽆法再使⽤记事本修改了。。。⽤记事本打开编辑时&#xff0c;发现内容被修改成了unicode编码&#xff0c;如果线上部署后&#xff0c;查找问题或者查找配置很难发现。 将application.properties改为application.yml 就是将application.pro…...

编程日记 2024/11/27 17:00:38

网站建设项目分工/什么平台可以免费推广产品

Springboot接口简单实现调用接口生成MySQL插入语句在实际测试中&#xff0c;有这样一个需求场景&#xff0c;比如&#xff1a;在性能压力测试中&#xff0c;可能需要我们事先插入数据库中一些相关联的数据。我们在实际测试中&#xff0c;遇到问题&#xff0c;需要事先在数据库中…...

编程日记 2024/11/27 15:49:43