当前位置： 首页 > news >正文

python爬虫--某房源网站验证码破解

news 文章来源：https://blog.csdn.net/zhangzhaoyuxunlei/article/details/144346784 2025/4/5 13:28:17

文章目录

    • 使用模块
    • 爬取目标
    • 验证码
    • 技术细节
    • 实现成果
    • 代码实现

使用模块

requests请求模块

lxml数据解析模块

ddddocr光学识别

爬取目标

网站验证码破解思路是统一的，本文以城市列表为例

目标获取城市名以及城市连接，之后获取城市房源信息技术直接替换地址即可

验证码

技术细节

一、 访问频次过快会触发验证码页面

使用302从定向到验证码页面，在请求地址中包含location参数与ext参数需要提取出来供后续使用

    print(f"触发验证码")redirect_url = res.headers["location"]parsed_url = urlparse(redirect_url)query_params = parse_qs(parsed_url.query)location = query_params.get('location')[0]ext = query_params.get('ext', [''])[0]

二、点击点击验证按钮

发起请求获取验证码图片对应的base64编码

<

相关文章：

python爬虫--某房源网站验证码破解

文章目录 使用模块爬取目标验证码技术细节实现成果代码实现使用模块 requests请求模块 lxml数据解析模块 ddddocr光学识别 爬取目标 网站验证码破解思路是统一的，本文以城市列表为例 目标获取城市名以及城市连接，之后获取城市房源信息技术直接替换地址即可 验证码 技术…...

编程日记 2024/12/10 21:08:47

Micropython编译ESP32C3开发板版本过程详细步骤步骤

一、环境说明 开发板&#xff1a;合宙ESP32-C3 工作机器CPU&#xff1a;AMD64 操作系统&#xff1a;Windows10 2004&#xff08;19041.508&#xff09; 使用WSL2安装Linux系统 Linux&#xff1a;Ubuntu 24.04.1 LTS python&#xff1a;python 3.12.3&#xff08;Windows和…...

编程日记 2024/12/10 21:05:45

【开源免费】基于SpringBoot+Vue.JS大创管理系统（JAVA毕业设计）

博主说明&#xff1a;本文项目编号 T 081 &#xff0c;文末自助获取源码 \color{red}{T081&#xff0c;文末自助获取源码} T081&#xff0c;文末自助获取源码 目录 一、系统介绍二、演示录屏三、启动教程四、功能截图五、文案资料5.1 选题背景5.2 国内外研究现状5.3 可行性分析…...

编程日记 2024/12/10 21:01:40

mysql 和 tidb的区别

MySQL 和 TiDB 是两种常见的关系型数据库管理系统&#xff0c;但它们的设计理念和适用场景有显著区别。以下从架构、性能、扩展性、适用场景等方面进行对比&#xff1a; 架构设计 MySQL 单机架构为主&#xff0c;可通过主从复制实现读写分离或高可用。分布式支持依赖外部组件&…...

编程日记 2024/12/10 21:00:39

传输层5——TCP可靠传输的实现（重点！！）

TCP协议如何实现可靠传输&#xff1f;确保接收方收到数据&#xff1f; 需要依靠几个结构&#xff1a; 以字节为单位的滑动窗口 这其中包括发送方的发送窗口和接收方的接收窗口 下面的描述&#xff0c;我们指定A为发送端口&#xff0c;B为接收端口 TCP的可靠传输就是靠着滑动窗口…...

编程日记 2024/12/10 20:59:38

基于Python实现web网页内容爬取

文章目录 1. 网页分析2. 获取网页信息2.1 使用默认的urllib.request库2.2 使用requests库1.3 urllib.request 和 requests库区别 2. 更改用户代理3. BeautifulSoup库筛选数据3.1 soup.find()和soup.find_all() 函数 4. 抓取分页链接参考资料 在日常学习和工作中&#xff0c;我们…...

编程日记 2024/12/10 20:58:36

Centos7和9安装mysql5.7和mysql8.0详细教程（超详细）

目录 一、简介 1.1 什么是数据库 1.2 什么是数据库管理系统&#xff08;DBMS&#xff09; 1.3 数据库的作用 二、安装MySQL 1.1 国内yum源安装MySQL5.7&#xff08;centos7&#xff09; &#xff08;1&#xff09;安装4个软件包 &#xff08;2&#xff09;找到4个软件包…...

编程日记 2024/12/10 20:56:32

星闪WS63E开发板的OpenHarmony环境构建

目录 引言 关于SDK 安装步骤 1. 更新并安装基本依赖 2. 设置 Python 3.8 为默认版本 3. 安装 Python 依赖 4. 安装有冲突的包 5. 设置工作目录 6. 设置环境变量 7. 下载预构建文件以及安装编译工具 8. 编译工程 nearlink_dk_3863 设置编译产品 编译 制品存放路径…...

编程日记 2024/12/10 20:54:30

MongoDB数据建模小案例

MongoDB数据建模小案例 朋友圈评论内容管理 需求 社交类的APP需求，一般都会引入“朋友圈”功能，这个产品特性有一个非常重要的功能就是评论体系。 先整理下需求： 这个APP希望点赞和评论信息都要包含头像信息： 点赞列表，点赞用户的昵称，头像；评论列表，评论用户的昵称…...

编程日记 2024/12/10 20:50:24

MySQL(库的操作)

目录 1. 创建数据库 2. 删除数据库 3. 查看数据库 4. 修改数据库 5. 备份和恢复 6. 查看连接情况 1. 创建数据库 CREATE DATABASE [IF NOT EXISTS] db_name [create_specification [, create_specification] ...] 1. 大写的是关键字 2. [ ]可带可不带 3. db_name 数据…...

编程日记 2024/12/10 20:44:18

【55 Pandas+Pyecharts | 实习僧网Python岗位招聘数据分析可视化】

文章目录 &#x1f3f3;️‍&#x1f308; 1. 导入模块&#x1f3f3;️‍&#x1f308; 2. Pandas数据处理2.1 读取数据2.2 查看数据信息2.3 去除重复数据2.4 调整部分城市名称 &#x1f3f3;️‍&#x1f308; 3. Pyecharts数据可视化3.1 招聘数量前20岗位3.2 各城市招聘数量3…...

编程日记 2024/12/10 20:41:15

java中23种设计模式的优缺点

文兴一言 设计模式分为创建型模式、结构型模式和行为型模式。以下是每种设计模式及其优缺点的详细介绍&#xff1a; 一、创建型模式 简单工厂模式 优点&#xff1a;通过一个共同的工厂类来创建对象&#xff0c;将对象的创建逻辑封装在一个地方&#xff0c;客户端只需要与工厂…...

编程日记 2024/12/10 20:34:08

【JavaEE】多线程（7）

一、JUC的常见类 JUC→java.util.concurrent&#xff0c;放了和多线程相关的组件 1.1 Callable 接口 看以下从计算从1加到1000的代码&#xff1a; public class Demo {public static int sum;public static void main(String[] args) throws InterruptedException {Thread …...

编程日记 2024/12/10 20:33:06

如何高效的向AI大模型提问？ - 提示工程Prompt Engineering

大模型的输入&#xff0c;决定了大模型的输出&#xff0c;所以一个符合要求的提问Prompt起到关键作用。 以下是关于提示工程Prompt Engineering主要方法的详细表格&#xff0c;包括每种方法的优点、缺点、应用场景以及具体示例&#xff1a; 主要方法优点缺点应用场景示例明确性…...

编程日记 2024/12/10 20:28:00

4K高清壁纸网站推荐

1. Awesome Wallpapers 官网: https://4kwallpapers.com/ 主题: 创意、摄影、人物、动漫、绘画、视觉 分辨率: 4K Awesome Wallpapers 提供了丰富的高质量图片&#xff0c;分为通用、动漫、人物三大类&#xff0c;可以按屏幕比例和分辨率检索&#xff0c;满足你对壁纸的各种…...

编程日记 2024/12/10 20:22:55

EasyExcel注解使用

上接《Springboot下导入导出excel》&#xff0c;本篇详细介绍 EasyExcel 注解使用。 1. ExcelProperty value&#xff1a;指定写入的列头&#xff0c;如果不指定则使用成员变量的名字作为列头&#xff1b;如果要设置复杂的头&#xff0c;可以为value指定多个值order&#xff…...

编程日记 2024/12/10 20:17:47

Visual Basic 6 关于应用的类库 - 开源研究系列文章

上次整理VB6的原来写的代码&#xff0c;然后遇到了关于应用窗体的显示问题。VB6不比C#&#xff0c;能够直接反射调用里面的方法&#xff0c;判断是否显示关于窗体然后显示。以前写过一个VB6插件的例子&#xff0c;不过那个源码不在&#xff0c;所以就找了度娘&#xff0c;能够象…...

编程日记 2024/12/10 20:15:45

C#泛型

泛型是一种非常强大的特性&#xff0c;它允许程序员编写灵活的代码&#xff0c;同时保持类型安全。泛型的核心思想是允许类或方法在定义时不指定具体的数据类型&#xff0c;而是在实际使用时指定。这意味着你可以创建一个可以与任何数据类型一起工作的类或方法 泛型类通过在类…...

编程日记 2024/12/10 20:13:43

go语言的成神之路-标准库篇-fmt标准库

目录 一、三种类型的输出 print&#xff1a; println&#xff1a; printf&#xff1a; 总结&#xff1a; 代码展示&#xff1a; 二、格式化占位符 %s&#xff1a;用于格式化字符串。 %d&#xff1a;用于格式化整数。 %f&#xff1a;用于格式化浮点数。 %v&#xff1…...

编程日记 2024/12/10 20:10:39

React Native的router解析

写在前面 React Native&#xff08;简称RN&#xff09;是一个由Facebook开发的开源框架&#xff0c;用于构建跨平台的移动应用程序。在RN中&#xff0c;路由&#xff08;router&#xff09;是非常重要的概念&#xff0c;它允许我们在不同的屏幕之间进行导航和切换。 以下是RN…...

编程日记 2024/12/10 20:09:37

Linux update-alternatives 命令详解

1、查看所有候选项 sudo update-alternatives --list &#xff08;java筛选​​​​​​​sudo update-alternatives --list java&#xff09; 2、​​​​​​​更换候选项 sudo update-alternatives --config java 3、自动选择优先级最高的作为默认项 sudo update-alterna…...

编程日记 2024/12/10 20:08:35

【踩坑】修复报错libcurl.so.4、LIBFFI_BASE_7.0、libssl.so.3

转载请注明出处&#xff1a;小锋学长生活大爆炸[xfxuezhagn.cn] 如果本文帮助到了你&#xff0c;欢迎[点赞、收藏、关注]哦~ libcurl.so.4&#xff1a; sudo apt install curl -y LIBFFI_BASE_7.0: conda install libffi3.3 -y libssl.so.3: sudo apt install -y openssl li…...

编程日记 2024/12/10 19:52:13

python网络爬虫基础：html基础概念与遍历文档树

开始之前导入html段落&#xff0c;同时下载好本节将用到的库。下载方式为&#xff1a;pip install beautifulsoup4 一点碎碎念&#xff1a;为什么install后面的不是bs4也不是BeautifulSoup&#xff1f; html_doc """ <html><head><title>The…...

编程日记 2024/12/10 19:51:12

【已解决】MacOS上VMware Fusion虚拟机打不开的解决方法

在使用VMware Fusion时&#xff0c;不少用户可能会遇到虚拟机无法打开的问题。本文将为大家提供一个简单有效的解决方法&#xff0c;只需删除一个文件&#xff0c;即可轻松解决这一问题。 一、问题现象 在MacOS系统上&#xff0c;使用VMware Fusion运行虚拟机时&#xff0c;有…...

编程日记 2024/12/10 19:50:11

经典视觉神经网络1 CNN

一、概述 输入的图像都很大&#xff0c;使用全连接网络的话&#xff0c;计算的代价较高&#xff0c;图像也很难保留原本特征。 卷积神经网络&#xff08;Convolutional Neural Network&#xff0c;CNN&#xff09;是一种专门用于处理具有网格状结构数据的深度学习模型。主要应用…...

编程日记 2024/12/10 19:49:09

一些硬件知识【2024/12/6】

MP6924A: 正点原子加热台拆解&#xff1a; PMOS 相比 NMOS 的缺点&#xff1a; 缺点描述迁移率低PMOS 中的空穴迁移率约为电子迁移率的 1/3 到 1/2&#xff0c;导致导通电流较低。开关速度慢由于迁移率较低&#xff0c;PMOS 的开关速度比 NMOS 慢&#xff0c;不适合高速数字电…...

编程日记 2024/12/10 19:45:06

网络安全法-网络安全支持与促进

第二章 网络安全支持与促进 第十五条 国家建立和完善网络安全标准体系。国务院标准化行政主管部门和国务院其他有关部门根据各自的职责&#xff0c;组织制定并适时修订有关网络安全管理以及网络产品、服务和运行安全的国家标准、行业标准。 国家支持企业、研究机构、高等学…...

编程日记 2024/12/10 19:40:00

【Docker】如何在Docker中配置防火墙规则？

Docker本身并不直接管理防火墙规则&#xff1b;它依赖于主机系统的防火墙设置。不过&#xff0c;Docker在启动容器时会自动配置一些iptables规则来管理容器网络流量。如果你需要更细粒度地控制进出容器的流量&#xff0c;你需要在主机系统上配置防火墙规则。以下是如何在Linux主…...

编程日记 2024/12/10 19:38:58

Cesium 问题： 添加billboard后移动或缩放地球，标记点位置会左右偏移

文章目录 问题分析原先的：添加属性——解决漂移移动问题产生新的问题：所选的经纬度坐标和应放置的位置有偏差解决坐标位置偏差的问题完整代码问题 添加 billboard 后， 分析 原先的： // 图标加载 function addStation ({lon, lat, el, testName...

编程日记 2024/12/10 19:37:56

使用Python3 连接操作 OceanBase数据库

注&#xff1a;使用Python3 连接 OceanBase数据库&#xff0c;可通过安装 PyMySQL驱动包来实现。 本次测试是在一台安装部署OBD的OceanBase 测试linux服务器上&#xff0c;通过python来远程操作OceanBase数据库。 一、Linux服务器通过Python3连接OceanBase数据库 1.1 安装pyth…...

编程日记 2024/12/10 19:30:47