当前位置：首页 > news >正文

BeautifulSoup文档4-详细方法 | 用什么方法对文档树进行搜索？

news 2025/7/7 6:42:02

4-详细方法 | 用什么方法对文档树进行搜索？

1 过滤器
- 1.1 字符串
- 1.2 正则表达式
- 1.3 列表
- 1.4 True
- 1.5 可以自定义方法
2 find_all()
- 2.1 参数原型
- 2.2 name参数
- 2.3 keyword 参数
- 2.4 string 参数
- 2.5 limit 参数
- 2.6 recursive 参数
3 find()
4 find_parents()和find_parent()
5 find_next_siblings() 和 find_next_sibling()
6 find_previous_siblings() 和 find_previous_sibling()
7 find_all_next() 和 find_next()
8 find_all_previous() 和 find_previous()
9 本文涉及的源码

BeautifulSoup的文档搜索方法有很多，官方文档中重点介绍了两个方法：

find() 和 find_all()

下文中的实例，依旧是官网的例子：

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p><p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p><p class="story">...</p>
"""from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc, 'html.parser')

1 过滤器

在介绍文档搜索方法之前，先了解下各种过滤器。

1.1 字符串

即在搜索方法中传如一个字符串参数；
BeautifulSoup会查找与字符串完全匹配的内容；
如查找b标签：

print(soup.find_all('b'))

输出为：

[<b>The Dormouse's story</b>]

1.2 正则表达式

传入正则表达式作为参数；
Beautiful Soup会通过正则表达式的 match() 来匹配内容；
如找出所有以b开头的标签：

import re
for tag in soup.find_all(re.compile("^b")):print(tag.name)

输出为：

body
b

1.3 列表

传入列表参数；
Beautiful Soup会将与列表中任一元素匹配的内容返回；
如找到文档中所有a标签和b标签:

print(soup.find_all(["a", "b"]))

输出为：

[<b>The Dormouse's story</b>, 
<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, 
<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, 
<a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

1.4 True

True 可以匹配任何值；
如查找到所有的tag：

for tag in soup.find_all(True):print(tag.name)

输出为：

html
head
title
body
p
b
p
a
a
a
p

1.5 可以自定义方法

如果没有合适过滤器,那么还可以定义一个方法；
方法只接受一个元素参数；
如果这个方法返回 True 表示当前元素匹配并且被找到,如果不是则反回 False；

2 find_all()

搜索当前tag的所有tag子节点,并判断是否符合过滤器的条件。
比如：

print(soup.find_all("title"))

输出为：

[<title>The Dormouse's story</title>]

2.1 参数原型

find_all( name , attrs , recursive , string , **kwargs )

2.2 name参数

查找所有名字为 name 的tag；
如：print(soup.find_all("title"))，输出为：[<title>The Dormouse's story</title>]。

2.3 keyword 参数

如果一个指定名字的参数不是搜索内置的参数名,搜索时会把该参数当作指定名字tag的属性来搜索；
如：print(soup.find_all(id='link2'))，输出为：

[<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]

按照CSS搜索，可以通过 class_ 参数搜索有指定CSS类名的tag；
如：print(soup.find_all("a", class_="sister"))，输出为：

[<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]
[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

2.4 string 参数

通过 string 参数可以搜文档中的字符串内容.与 name 参数的可选值一样；
如：print(soup.find_all(string="Elsie"))，输出为：['Elsie']；

2.5 limit 参数

可以使用 limit 参数限制搜索返回结果的数量，避免返回结果很大速度很慢；
如：soup.find_all("a", limit=2)，输出为：

[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, 
<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]

2.6 recursive 参数

只搜索tag的直接子节点,可以使用参数 recursive=False ；
如：

<html><head><title>The Dormouse's story</title></head>
...

不使用recursive 参数：

print(soup.html.find_all("title"))

输出为：

[<title>The Dormouse's story</title>]

使用recursive 参数：

print(soup.html.find_all("title", recursive=False))

输出为：

[]

3 find()

find_all() 方法的返回结果是值包含一个元素的列表,而 find() 方法直接返回结果；
find_all() 方法没有找到目标是返回空列表, find() 方法找不到目标时,返回 None。
如：print(soup.find("nosuchtag"))，输出为：None。
参数原型：

find( name , attrs , recursive , string , **kwargs )

4 find_parents()和find_parent()

参数原型：

find_parents( name , attrs , recursive , string , **kwargs )

find_parent( name , attrs , recursive , string , **kwargs )

find_parents() 和 find_parent()用来搜索当前节点的父辈节点；
find_all() 和 find() 只搜索当前节点的所有子节点,孙子节点等；
如：

a_string = soup.find(string="Lacie")
print(a_string)
print(a_string.find_parents("a"))

输出为：

Lacie
[<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]

5 find_next_siblings() 和 find_next_sibling()

参数原型：

find_next_siblings( name , attrs , recursive , string , **kwargs )

find_next_sibling( name , attrs , recursive , string , **kwargs )

这2个方法通过 .next_siblings 属性对当tag的所有后面解析的兄弟tag节点进行迭代；
find_next_siblings() 方法返回所有符合条件的后面的兄弟节点；
find_next_sibling() 只返回符合条件的后面的第一个tag节点；
如：

first_link = soup.a
print(first_link)
print(first_link.find_next_siblings("a"))
first_story_paragraph = soup.find("p", "story")
print(first_story_paragraph.find_next_sibling("p"))

输出为：

<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>
[<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
<p class="story">...</p>

6 find_previous_siblings() 和 find_previous_sibling()

参数原型：

find_previous_siblings( name , attrs , recursive , string , **kwargs )

find_previous_sibling( name , attrs , recursive , string , **kwargs )

这2个方法通过 .previous_siblings 属性对当前tag的前面解析的兄弟tag节点进行迭代；
find_previous_siblings() 方法返回所有符合条件的前面的兄弟节点；
find_previous_sibling() 方法返回第一个符合条件的前面的兄弟节点。

7 find_all_next() 和 find_next()

参数原型：

find_all_next( name , attrs , recursive , string , **kwargs )

find_next( name , attrs , recursive , string , **kwargs )

这2个方法通过 .next_elements 属性对当前tag的之后的tag和字符串进行迭代；
find_all_next() 方法返回所有符合条件的节点；
find_next() 方法返回第一个符合条件的节点。

8 find_all_previous() 和 find_previous()

参数原型：

find_all_previous( name , attrs , recursive , string , **kwargs )

find_previous( name , attrs , recursive , string , **kwargs )

这2个方法通过 .previous_elements 属性对当前节点前面的tag和字符串进行迭代；
find_all_previous() 方法返回所有符合条件的节点；
find_previous() 方法返回第一个符合条件的节点。

9 本文涉及的源码

# -*- coding:utf-8 -*-
# 作者：NoamaNelson
# 日期：2023/2/17 
# 文件名称：bs04.py
# 作用：beautifulsoup的应用
# 联系：VX(NoamaNelson)
# 博客：https://blog.csdn.net/NoamaNelsonfrom bs4 import BeautifulSouphtml_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p><p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p><p class="story">...</p>
"""
soup = BeautifulSoup(html_doc, 'html.parser')
# ====== 过滤器 ======
# 字符串
print(soup.find_all('b'))
# 正则表达式
import re
for tag in soup.find_all(re.compile("^b")):print(tag.name)
# 列表
print(soup.find_all(["a", "b"]))
# True
for tag in soup.find_all(True):print(tag.name)# ====== find_all() ======
print(soup.find_all("title"))
print(soup.find_all(id='link2'))
print(soup.find_all("a", class_="sister"))
print(soup.find_all(string="Elsie"))
print(soup.find_all("a", limit=2))
print(soup.html.find_all("title", recursive=False))# ====== find() ======
print(soup.find("nosuchtag"))
a_string = soup.find(string="Lacie")
print(a_string)
print(a_string.find_parents("a"))
first_link = soup.a
print(first_link)
print(first_link.find_next_siblings("a"))
first_story_paragraph = soup.find("p", "story")
print(first_story_paragraph.find_next_sibling("p"))

BeautifulSoup文档4-详细方法 | 用什么方法对文档树进行搜索？

4-详细方法 | 用什么方法对文档树进行搜索？1 过滤器1.1 字符串1.2 正则表达式1.3 列表1.4 True1.5 可以自定义方法2 find_all()2.1 参数原型2.2 name参数2.3 keyword 参数2.4 string 参数2.5 limit 参数2.6 recursive 参数3 find()4 find_parents()和find_parent()5…...

编程日记 2023/2/17 17:03:29

初识Tkinter界面设计

目录前言一、初识Tkinter 二、Label控件三、Button控件四、Entry控件前言本文简单介绍如何使用Python创建一个界面。一、初识Tk...

编程日记 2023/2/17 17:02:24

软件测试面试题中的sql题目你会做吗？

目录 1.学生表 2.一道SQL语句面试题，关于group by表内容： 3.表中有A B C三列,用SQL语句实现：当A列大于B列时选择A列否则选择B列，当B列大于C列时选择B列否则选择C列 4. 5.姓名：name 课程：subject 分数&…...

编程日记 2023/2/17 17:01:18

VS实用调试技巧

一.什么是BUG🐛Bug一词的原意是虫子，而在电脑系统或程序中隐藏着的一些未被发现的缺陷或问题，人们也叫它"bug"。这是为什么呢？这就要追溯到一个程序员与飞蛾的故事了。Bug的创始人格蕾丝赫柏（Grace Murray H…...

编程日记 2023/2/17 17:00:13

通俗易懂理解三次握手、四次挥手（TCP）

文章目录1、通俗语言理解1.1 三次握手1.2 四次挥手2、进一步理解三次握手和四次挥手2.1 三次握手2.2 四次挥手1、通俗语言理解 1.1 三次握手 C:客户端 S：服务器端第一次握手： C：在吗？我要和你建立连接。第二次握手&#xff…...

编程日记 2023/2/17 16:59:09

1.1 什么是并发

1.1 什么是并发并发：指两个或更多独立的活动同时发生。并发在生活中随处可见。我们可以一边走路一边说话，也可以两只手同时做不同的动作。 1.1.1 计算机系统中的并发当我们提到计算机术语的“并发”，指的是在单个系统里同时执行多个独立…...

编程日记 2023/2/17 16:58:04

万字讲解你写的代码是如何跑起来的？

今天我们来思考一个简单的问题，一个程序是如何在 Linux 上执行起来的？ 我们就拿全宇宙最简单的 Hello World 程序来举例。 #include <stdio.h> int main() {printf("Hello, World!\n");return 0; } 我们在写完代码后，进行…...

编程日记 2023/2/17 16:56:58

034.Solidity入门——21不可变量

Solidity 中的不可变量是在编译时就被确定的常量，也称为常量变量（constant variable）或只读变量（read-only variable）。这些变量在定义时必须立即初始化，并且在整个合约中都无法被修改，可以在函…...

编程日记 2023/2/17 16:55:52

Vulnhub 渗透练习（四）—— Acid

环境搭建环境下载 kail 和靶机网络适配调成 Nat 模式，实在不行直接把网络适配还原默认值，再重试。信息收集主机扫描没扫到，那可能端口很靠后，把所有端口全扫一遍。发现 33447 端口。扫描目录，没什么有用的…...

编程日记 2023/2/17 16:54:46

online编译器https://godbolt.org/Online C Compiler - online editor (onlinegdb.com) https://www.onlinegdb.com/online_c_compilerC Shell (cpp.sh) https://cpp.sh/在线文档Open Standards (open-std.org)Index of /afs/cs.cmu.edu/academic/class/15211/spring.96/wwwC P…...

编程日记 2023/2/17 16:53:39