关于 python request 的 response 返回 b‘\xa3\xff\xff\x11E .....‘ 类型的数据的解决方案
最近写开发一个爬虫, 程序在本地好好的,返回的是正常的 html, 但是到了生产环境,不知道为什么返回的是一堆乱码
长这样:
查了好几天都没有进展, 对其进行各种转码均无效
今天终于找到解决办法了,感谢这个回答:
python 3.x - Unable to read json response from requests library - Stack Overflow
原来这种数据是经 Brotli 压缩后的数据,下面是文心一言给出的解释:
关于Brotli
Brotli是一种由Google开发的开源通用数据压缩算法,旨在优化网络上的数据传输。
以下是关于Brotli的详细概述:
- 背景与目的:
- 现代的网页通常包含大量的HTML、CSS和JavaScript代码以及图片、视频等大型文件数据,导致网页加载速度较慢。
- Brotli的设计目标是通过高效的压缩算法,减少网络传输的数据量,从而加快网页加载速度,提升用户体验。
- 技术特点:
- 压缩效率:相比传统的GZIP和DEFLATE算法,Brotli具有更高的压缩比,可以将数据压缩到更小的体积,节省带宽和存储空间。
- 编码技术:Brotli采用了多种先进的编码技术,包括霍夫曼编码(Huffman coding)、LZ77字典匹配以及自适应二进制长度编码(Adaptive Binary Length Coding),能够针对不同的输入数据动态调整压缩策略,实现最佳的压缩效果。
- 可配置性:Brotli的编码器库提供了12个质量级别(从0到11),允许在压缩速度和压缩率之间进行权衡。
- 跨平台支持:Brotli库支持多种操作系统和编程语言,包括C/C++、Python、Java等,方便开发者集成到各种项目中。
- 应用场景:
- Web性能优化:Brotli能够显著减少网络传输的数据量,加快页面加载速度,适用于HTTP/2多路复用和WebSocket传输等场景。
- 服务器资源节省:在存储有限的环境或带宽成本较高的情况下,Brotli可以帮助节省存储空间和带宽消耗。
- 实时通信:在实时通信应用(如视频会议)中,数据压缩可以降低延迟,改善用户交互体验。
- 兼容性:
- 尽管Brotli是一种新的压缩标准,但它已经在大多数现代浏览器中得到支持,确保了广泛的兼容性。
- 注意事项:
- Brotli压缩只在HTTPS下生效,因为HTTP请求中的
Accept-Encoding
头通常不包含br
(Brotli的缩写)。
- Brotli压缩只在HTTPS下生效,因为HTTP请求中的
综上所述,Brotli作为一种高效的压缩算法,为Web加速提供了有力的支持,是提升网络性能和用户体验的重要工具。
python Brotli 解压
在Python中,你可以使用brotli
库来解压Brotli压缩的数据。这个库提供了Brotli压缩和解压的API。如果你还没有安装这个库,你可以通过pip来安装它:
pip install brotli
一旦安装完成,你就可以在Python代码中使用这个库来解压Brotli数据了。下面是一个简单的例子:
import brotli # 假设你有一个Brotli压缩的字节串
compressed_data = b'...' # 这里应该是你的Brotli压缩数据 # 使用brotli.decompress()函数来解压数据
decompressed_data = brotli.decompress(compressed_data) # 现在decompressed_data包含了原始数据
print(decompressed_data)
在这个例子中,brotli.decompress()
函数接收一个字节串(bytes),该字节串应该包含Brotli压缩的数据。这个函数会返回一个字节串,该字节串包含了解压后的原始数据。
解压后, 终于显示正常数据了,谢天谢地谢广坤,终于解决了
同理,可能还会有其他压缩格式, 是根据 header 的 Accept-Encoding, 用上面的解压方式不行的话, 可尝试其他 Accept-Encoding 的其他解压方式
知识库又增加了一点点
相关文章:
关于 python request 的 response 返回 b‘\xa3\xff\xff\x11E .....‘ 类型的数据的解决方案
最近写开发一个爬虫, 程序在本地好好的,返回的是正常的 html, 但是到了生产环境,不知道为什么返回的是一堆乱码 长这样: 查了好几天都没有进展, 对其进行各种转码均无效 今天终于找到解决办法了ÿ…...
后端高频面试题分享-用Java判断一个列表是否是另一个列表的顺序子集
问题描述 编写一个函数,该函数接受两个列表作为参数,判断第一个列表是否是第二个列表的顺序子集,返回True或False。 要求 判断一个列表是否是另一个列表的顺序子集,即第一个列表的所有元素在第二个列表需要顺序出现。列表中的元…...
【数据初步变现】论自助BI在数字化转型中如何赋能业务
引言:数字化转型要求企业更加依赖数据来指导业务决策。自助BI作为数据分析的重要工具,能够迅速、准确地从海量数据中提取有价值的信息,为企业的战略规划和业务执行提供有力支持。在数字化时代,企业需要快速响应市场变化并优化业务…...
Python 学习 第二册 第14章 网络编程
----用教授的方式学习 目录 14.1 几个网络模块 14.1.1 模块 socket 14.1.2 模块 urllib 和 urllib2 14.1.3 其他模块 14.2 SocketServer 及相关的类 14.3.1 使用 SocketServer 实现分叉和线程化 14.3.2 使用 select 和 poll 实现异步 I/O 14.4 Twisted 14.4.1 下载…...
微信 小程序应用,页面,组件的生命周期
组件生命周期 组件的生命周期:指的是组件自身的一些钩子函数,这些函数在特定的时间节点时被自动触发 组件的生命周期函数需要在 lifetimes 字段内进行声明 最重要的生命周期是 created attached detached 包含一个组件生命周期流程的最主要时间点 定…...
代码随想录算法训练营Day41|背包问题、分割等和子集
背包问题 二维 46. 携带研究材料(第六期模拟笔试) (kamacoder.com) dp数组有两维,横轴表示背包重量j(0-j),纵轴表示不同物品(0-i),dp[i][j]即表示从下标为[0-i]的物品…...
oracle SCHEDULER
从Oracle 10g开始,推荐使用DBMS_SCHEDULER包,因为它提供了更强大的功能和灵活性,包括更复杂的调度规则、依赖管理和事件驱动等 1. 用法 DBMS_SCHEDULER.CREATE_JOB (job_name IN VARCHAR2,job_type IN VARCHAR2,job_action IN VARCHAR2,…...
实现虚拟机的难点
一、背景 目前的虚拟机有很多,例如VMWare、VitrualBox、QEMU、JVM、Python虚拟机等等。 二、虚拟机的作用 在一台已有的计算机中,忽略实际操作系统种类和硬件的型号,用一些接口库来搭建一台用户想要的,虚拟的程序运行环境。 例如…...
JAVA-线程
先上图,有点长,比较碎,有xmind文件......,详细内容均在图片里介绍了,提供了PDF文件 1.线程简介 进程是操作系统中正在执行的不同的应用程序,例如:我们可以同时打开Word和记事本 线程是一个应用…...
代码随想录——电话号码的字母组合(Leetcode17)
题目链接 回溯 class Solution {List<String> res new ArrayList<String>();StringBuilder str new StringBuilder();HashMap<String, String> Sites new HashMap<String, String>();public List<String> letterCombinations(String digit…...
多款可观测产品全面升级丨阿里云云原生 5 月产品月报
云原生月度动态 云原生是企业数字创新的最短路径。 《阿里云云原生每月动态》,从趋势热点、产品新功能、服务客户、开源与开发者动态等方面,为企业提供数字化的路径与指南。 趋势热点 🥇 阿里云云原生产品负责人李国强:推进可…...
python实践笔记(三): 异常处理和文件操作
1. 写在前面 最近在重构之前的后端代码,借着这个机会又重新补充了关于python的一些知识, 学习到了一些高效编写代码的方法和心得,比如构建大项目来讲,要明确捕捉异常机制的重要性, 学会使用try...except..finally&…...
Excel VLOOKUP 使用记录
Excel VLOOKUP 使用记录 VLOOKUP简单使用 VLOOKUP(lookup_value,table_array,col_index_num,[range-lookup]) 下面是excel对VLOOKUP 的解释 lookup_value(查找值):要匹配查找的值 table_array(数据表)࿱…...
Spring Cloud Stream 消息驱动基础入门与实践总结
Spring Cloud Stream是用于构建与共享消息传递系统连接的高度可伸缩的事件驱动微服务框架,该框架提供了一个灵活的编程模型,它建立在已经建立和熟悉的Spring熟语和最佳实践上,包括支持持久化的发布/订阅、消费组以及消息分区这三个核心概念。…...
你好rust
第一次安装rust,记录一下笔记。 几年前就听说过rust,自己一直是个c爱好者,所以比较抵触rust,早年还有什么rust向上突破群。一直比较抵触,直到这几年rust已经渐渐深入到linux内核、云原生可观测以及zend社区当中&#x…...
STM32 printf 重定向到CAN
最近在调试一款电机驱动板 使用的是CAN总线而且板子上只有一个CAN 想移植Easylogger到上面试试easylogger的效果,先实现pritnf的重定向功能来打印输出 只需要添加以下代码即可实现 代码 #include <stdarg.h> uint8_t FDCAN_UserTxBuffer[512]; void FDCAN_p…...
jmeter性能优化之mysql监控sql慢查询语句分析
接上次博客:基础配置 多用户登录并退出jmx文件:百度网盘 提取码:0000 一、练习jmeter脚本检测mysql慢查询 随意找一个脚本(多用户登录并退出),并发数设置300、500后分别查看mysql监控平台 启动后查看,主要查看mysql…...
海南聚广众达电子商务咨询有限公司引领行业变革
在数字化浪潮席卷全球的今天,电商行业正以前所未有的速度发展。海南聚广众达电子商务咨询有限公司,凭借其在抖音电商领域的深厚积累和不断创新,正逐步成为行业的佼佼者。这家以专注、专业、专注为核心理念的公司,不仅为客户提供全…...
Unity API学习之资源的动态加载
资源的动态加载 在实际游戏开发的更新换代中,随着开发的软件不断更新,我们在脚本中需要拖拽赋值的变量会变空,而要想重新拖拽又太花费时间,因此我们就需要用到Resources.Load<文件类型>("文件名")函数来在一开始…...
C++算法——回溯
回溯算法 实现思想 先看一个实例: //暴力枚举的算法 int n 5; for (int a 1; i < n; i) {for (int b 1; b < n; b){for (int c 1; c < n; c){for (int d 1; d < n; d){for (int e 1; e < n; e){//判断 abcde 是否互补相同if (a ! b &&a…...
java的深拷贝和浅拷贝
总结: 深拷贝:无论是基本类型还是引用类型都会创建新的实例。 浅拷贝:对于基本类型就是复制其值,对于引用类型则是复制了指向这些数据类型的内存地址。 浅拷贝(Shallow Copy) 浅拷贝是指在创建新对象时&am…...
AI产品经理,应掌握哪些技术?
美国的麻省理工学院(Massachusetts Institute of Technology)专门负责科技成果转化商用的部门研究表明: 每一块钱的科研投入,需要100块钱与之配套的投资(人、财、物),才能把思想转化为产品&…...
同三维T80004EHL-W-4K30 4K HDMI编码器,支持WEBRTC协议
输入:1路HDMI1路3.5音频,1路HDMI环出1路3.5音频解嵌输出 4K30超高清,支持U盘/移动硬盘/TF卡录制,支持WEBRTC协议,超低延时,支持3个点外网访问 1个主流1个副流输出,可定制选配POE供电模块,WEBR…...
Hi3861 OpenHarmony嵌入式应用入门--点灯
本篇实现对gpio的控制,通过控制输出进行gpio的点灯操作。 硬件 我们来操作IO2,控制绿色的灯。 软件 GPIO API API名称 说明 hi_u32 hi_gpio_deinit(hi_void); GPIO模块初始化 hi_u32 hi_io_set_pull(hi_io_name id, hi_io_pull val); 设置某个IO…...
SaaS案例分享:成功构建销售渠道的实战经验
面对SaaS产品推广的难题,你是否曾感到迷茫,不知如何选择有效的销售渠道?Shopify独立站联盟营销或许能为你提供新的思路。Shopify作为领先的电商解决方案提供商,其独立站功能为众多商家提供了强大的在线销售平台。而联盟营销&#…...
密钥管理简介
首先我们要知道什么是密钥管理? 密钥管理是一种涉及生成、存储、使用和更新密钥的过程。 密钥的种类 我们知道,对称密码主要包括分组密码和序列密码。但有时也可以将杂凑函数和消息认证码划分为这一类,将它们的密钥称为对称密钥;…...
2024中国应急(消防)品牌巡展成都站成功召开!
汇聚品牌力量,共同相聚成都。6月14日,由中国安全产业协会指导,中国安全产业协会应急创新分会、应急救援产业网联合主办,四川省消防协会协办的“一切为了安全”2024年中国应急(消防)品牌巡展-成都站成功举办。该巡展旨在展示中国应…...
ansible-Role角色批量按照node_export节点,并追加信息到Prometheus文件中
文章目录 剧本功能 inventory.yaml文件定义deploy.yaml角色定义node_exporter_lock角色定义任务角色main.yamlnode_exporter_tasks.yml角色触发任务notifyextra_tasks.yml角色prometheus_node_config.j2模板文件 执行命令查看变量 剧本功能 功能1: 批量执行node_ex…...
求最小公倍数 、小球走过路程计算 题目
题目 JAVA11 求最小公倍数分析:代码:大佬代码: JAVA12 小球走过路程计算分析:代码: JAVA11 求最小公倍数 描述 编写一个方法,该方法的返回值是两个不大于100的正整数的最小公倍数。 输入描述:…...
【Android面试八股文】你能说一说为什么IO是耗时操作?
IO(输入/输出)操作之所以是耗时操作,主要是由于以下几个原因: 1. 物理设备的限制 机械动作:传统的硬盘驱动器(HDD)包含旋转的磁盘和移动的磁头,以读取或写入数据。这些机械动作需要时间完成。虽然固态硬盘(SSD)没有机械部件,但它们仍然受到电子信号传输速度的限制。…...
怎么搞一个网站/电子商务沙盘seo关键词
第1章 认识大蟒:Python快速入门 2 1.1 什么是大蟒(Python) 1.2 Python是位“年轻的老同志” 3 1.3 Python语言有什么特点 5 1.4 Python语言的应用领域 7 第2章 磨好利牙,子弹上膛:准备好工作环境 9 2.1 版本的比较与选…...
零食网站制作的建设大纲/百度关键词优化公司
一、源码安装首先安装开发工具包yum groupinstall -y "Development tools"安装依赖软件包yum -y install gcc gcc-c zlib-devel bzip2-devel openssl-devel sqlite-devel readline-devel libffi-devel wget上Python 官网 找源码包的下载地址wget https://www.python.…...
大学生创业做网站的筹资方式/小学生简短小新闻
CAN FD描述 随着电动汽车,无人驾驶汽车技术的快速发展,以及对汽车高级驾驶辅助系统和人机交互的增加,传统的CAN总线在传输速率和带宽等方面越来越显得力不从心,因此改进版的CAN总线应运而生。从2012年第13届ICC大会上发布&#x…...
更改wordpress登陆/长沙百度网站优化
/* 结构体与类之间的区别在于:结构体中所有成员(包括数据成员和成员函数)缺省情况下都是public, 而类中所有成员缺省情况下都是private。除些之外,两者可以通用。 */ #include <iostream> #include <string…...
网站建设头像/枸橼酸西地那非片的作用及功效
一,多线程的创建 QT通过三种形式提供了对线程的支持。它们分别是,一、平台无关的线程类,二、线程安全的事件投递,三、跨线程的信号-槽连接。这使得开发轻巧的多线程Qt程序更为容易,并能充分利用多处理器机器的优势。多…...
项目负责人质量建设厅官方网站/上海网站推广服务
在实际的项目中,图片的处理往往是最麻烦的,无论是前后台,我自己也试手了一两个图片上传的小项目,把步骤写下来,以后自己忘记可以返回来看一下,同时希望能够帮到小伙伴们... 前端网页 框架: vue …...