当前位置： 首页 > news >正文

爬虫笔记_

news 2026/2/8 10:53:04

爬虫简介

在这里插入图片描述
在这里插入图片描述

爬虫初始深入

爬虫在使用场景中的分类

  • 通用爬虫：
    • 抓取系统重要组成部分。抓取的是一整张页面数据
  • 聚焦爬虫：
    • 是建立在通用爬虫的基础上。抓取的是页面中特定的局部内容。
  • 增量式爬虫
    • 监测网站中数据更新的情况。只会抓取网站中最新更新出来的数据。
  • 反爬机制
    • 可以通过制定相应的策略或技术手段防止爬虫进行爬取。
  • 反反爬策略
    • 可以通过制定相关策略或技术手段破解反爬机制从而可以获取门户网站中相关的数据。

反爬机制：robots.txt协议

君子协议，规定了网站中哪些数据可以被爬虫爬取，哪些不可以。

HTTP&HTTPS

超文本传输协议：服务器和客户端进行数据交互的一种形式

常用请求头信息

  • User-Agent：请求载体的身份标识
  • Connection：请求完毕后，是断开连接还是保持连接

常用响应头信息

  • Content-Type: 服务器响应回客户端的数据类型。

https协议

  • 安全的超文本传输协议

加密方式

  • 对称密钥加密：将密文和密钥一起发送
  • 非对称密钥加密：公开密钥加密，私有密钥解密。（客户端拿到的公钥可能被篡改）
  • 证书密钥加密（https）：加入证】书认证机构在这里插入图片描述

requests模块基础

在这里插入图片描述
在这里插入图片描述

以json文件保存到本地

file = open('./huanzhuanpin.json','w',encoding='utf-8')
json.dump(all_data,fp=file,ensure_ascii=False)

相关文章：

爬虫笔记_

爬虫简介 爬虫初始深入 爬虫在使用场景中的分类 通用爬虫： 抓取系统重要组成部分。抓取的是一整张页面数据 聚焦爬虫： 是建立在通用爬虫的基础上。抓取的是页面中特定的局部内容。 增量式爬虫 监测网站中数据更新的情况。只会抓取网站中最新更新出来的…...

编程日记 2023/9/25 5:56:24

Spring设计模式，事务管理和代理模式的应用

扩充：贝叶斯定理答案见底。 设计模式对关于面向对象问题的具体解决方案． 1，单例多例 在设计单例模式时，要注意两个点 1.构造方法要私有 2.成员变量要私有 3.创建对象所用的方法要被synchronized修饰.(因为方法体中会涉及到判断当…...

编程日记 2023/9/25 5:55:23

基于海康Ehome/ISUP接入到LiveNVR实现海康摄像头、录像机视频统一汇聚，做到物联网无插件直播回放和控制

LiveNVR支持海康NVR摄像头通EHOME接入ISUP接入LiveNVR分发视频流或是转GB28181 1、海康 ISUP 接入配置2、海康设备接入2.1、海康EHOME接入配置示例2.2、海康ISUP接入配置示例 3、通道配置3.1、直播流接入类型 海康ISUP3.2、海康 ISUP 设备ID3.3、启用保存3.4、接入成功 4、相关…...

编程日记 2023/9/25 5:54:22

Linux下git安装及使用

Linux下Git使用 1. git的安装 sudo apt install git安装完，使用git --version查看git版本 2. 配置git git config --global user.name "Your Name“ ##配置用户 git config --global user.email emailexample.com ##配置邮箱git config --global --list …...

编程日记 2023/9/25 5:51:20

python读取图片

要在Python中读取图片，你可以使用第三方库Pillow（Python Imaging Library，PIL）或OpenCV。以下是使用这两个库的示例： 使用Pillow库读取图片： 首先，确保你已经安装了Pillow库。如果还没有安装&am…...

编程日记 2023/9/25 5:49:18

虚幻4学习笔记（15）读档 和存档 的实现

虚幻4学习笔记 读档存档 B站UP谌嘉诚课程：https://www.bilibili.com/video/BV164411Y732 读档 添加UI蓝图 SaveGame_UMG 添加Scroll Box 修改Scrollbar Thickness滚动条厚度 15 15 勾选 is variable 添加text 读档界面 添加背景模糊 添加UI蓝图 SaveGame_Slot …...

编程日记 2023/9/25 5:48:17

Spring面试题22：Spring支持哪些ORM框架？优缺点分别是什么？Spring可以通过哪些方式访问Hibernate?

该文章专注于面试，面试只要回答关键点即可，不需要对框架有非常深入的回答，如果你想应付面试，是足够了，抓住关键点 面试官：Spring支持哪些ORM框架？优缺点分别是什么？ Spring 支持多种 ORM（对象关系映射）框架，其中包括： Hibernate：Hibernate 是一个强大的 ORM 框架…...

编程日记 2023/9/25 5:47:16

流行的Python库numpy及Pandas简要介绍

numpy.ndarray 是NumPy库中的主要数据结构，它是一个多维数组，用于存储和操作数值数据。NumPy是Python中用于数值计算的强大库，numpy.ndarray 是它的核心数据类型，提供了高效的数值运算和广泛的数学函数。 以下是 numpy.ndarray 的…...

编程日记 2023/9/25 5:46:15

【二、安装centOS】

下载 地址：https://mirrors.aliyun.com/centos/ 地址 1、https://mirrors.aliyun.com/centos/7.9.2009/ 2、https://mirrors.aliyun.com/centos/7.9.2009/isos/ 3、https://mirrors.aliyun.com/centos/7.9.2009/isos/x86_64/ 选哪一个 可以选择第一个&#xff0…...

编程日记 2023/9/25 5:45:14

【动手学深度学习-Pytorch版】序列到序列的学习（包含NLP常用的Mask技巧）

序言 这一节是对于“编码器-解码器”模型的实际应用，编码器和解码器架构可以使用长度可变的序列作为输入，并将其转换为固定形状的隐状态（编码器实现）。本小节将使用“fra-eng”数据集（这也是《动手学习深度学习-Pytor…...

编程日记 2023/9/25 5:44:13

AUTOSAR 面试知识回顾

如果答不上来，就讲当时做了什么 1. Ethernet基础: 硬件接口： ECU到PHY： data 是MII总线， 寄存器控制是SMI总线【MDCMDIO两根线, half duplex】PHY输出(100BASE-T1)： MDI总线，2 wire 【T1: twisted 1 pair …...

编程日记 2023/9/25 5:42:12

华为NFC设置教程（门禁卡/公交卡/校园卡等）

今天把华为NFC设置教程分享给大家 出门带门禁卡、校园卡、银行卡、身份证……东西又多，携带又麻烦，还容易搞丢，有没有一种方法可以把它们都装下？有！只要一部手机，出门不带卡包，各种证件&#x…...

编程日记 2023/9/25 5:40:10

基于微信小程序的音乐播放器设计与实现(源码+lw+部署文档+讲解等)

前言 💗博主介绍：✌全网粉丝10W,CSDN特邀作者、博客专家、CSDN新星计划导师、全栈领域优质创作者，博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战✌💗 👇🏻…...

编程日记 2023/9/25 5:39:09

如何取消显示Notepad++每行显示的CRLF符号

新电脑中重新安装了Nodepad，打开记事本后发现出现了许多黑底的CR|LF标记，特别碍眼。 如何取消呢？ 视图 -> 显示符号 -> 取消勾选 显示行尾符操作步骤 预期效果...

编程日记 2023/9/25 5:37:07

数据结构与算法之时间复杂度和空间复杂度（C语言版）

1. 时间复杂度 1.1 概念 简而言之，算法中的基本操作的执行次数，叫做算法的时间复杂度。也就是说，我这个程序执行了多少次，时间复杂度就是多少。 比如下面这段代码的执行次数： void Func1(int N) {int count 0;for…...

编程日记 2023/9/25 5:36:06

TLS/SSL(十) session缓存、ticket 票据、TLS 1.3的0-RTT

一 TLS优化手段 TLS 为了提升握手速度而提出优化手段,主要是减少TLS握手中RTT消耗的时间关于session cache和session ticket,nginx关于ssl握手的地方都有影子 [指令] https面经 ① session 缓存 resume: 重用,复用 案例： 第二次访问www.baidu.com 说明&#x…...

编程日记 2023/9/25 5:35:05

C++设计模式_06_Decorator 装饰模式

本篇将会介绍Decorator 装饰模式，它是属于一个新的类别，按照C设计模式_03_模板方法Template Method中介绍的划分为“单一职责”模式。 “单一职责”模式讲的是在软件组件的设计中，如果责任划分的不清晰，使用继承得到的结果往往是随…...

编程日记 2023/9/25 5:34:04

MySQL 8.0数据库主从搭建和问题处理

错误处理： 在从库通过start slave启动主从复制时出现报错 Last_IO_Error: error connecting to master slaveuser10.115.30.212:3306 - retry-time: 60 retries: 1 message: Authentication plugin caching_sha2_password reported error: Authentication require…...

编程日记 2023/9/25 5:30:01

公众号迁移多久可以完成？

公众号账号迁移的作用是什么？只能变更主体吗？长期以来，由于部分公众号在注册时，主体不准确的历史原因，或者公众号主体发生合并、分立或业务调整等现实状况，在公众号登记主体不能对应实际运营人的情况下&…...

编程日记 2023/9/25 5:25:57

Spring Cloud Stream Kafka(3.2.2版本)使用

问题 正在尝试只用Spring Cloud Stream Kafka。 步骤 配置 spring:cloud:function:definition: project2Building stream:kafka:binder:brokers: xxxx:9002configuration:enable.auto.commit: falsesession.timeout.ms: 30000max.poll.records: 30allow.auto.create.top…...

编程日记 2023/9/25 5:23:55

css实现圆环展示百分比，根据值动态展示所占比例

代码如下 <view class""><view class"circle-chart"><view v-if"!!num" class"pie-item" :style"{background: conic-gradient(var(--one-color) 0%,#E9E6F1 ${num}%),}"></view><view v-else …...

编程新知 2026/2/5 4:28:28

ubuntu搭建nfs服务centos挂载访问

在Ubuntu上设置NFS服务器 在Ubuntu上&#xff0c;你可以使用apt包管理器来安装NFS服务器。打开终端并运行&#xff1a; sudo apt update sudo apt install nfs-kernel-server创建共享目录 创建一个目录用于共享&#xff0c;例如/shared&#xff1a; sudo mkdir /shared sud…...

编程新知 2026/2/6 23:18:59

2025年能源电力系统与流体力学国际会议 (EPSFD 2025)

2025年能源电力系统与流体力学国际会议&#xff08;EPSFD 2025&#xff09;将于本年度在美丽的杭州盛大召开。作为全球能源、电力系统以及流体力学领域的顶级盛会&#xff0c;EPSFD 2025旨在为来自世界各地的科学家、工程师和研究人员提供一个展示最新研究成果、分享实践经验及…...

编程新知 2026/2/1 21:17:19

视频字幕质量评估的大规模细粒度基准

大家读完觉得有帮助记得关注和点赞&#xff01;&#xff01;&#xff01; 摘要 视频字幕在文本到视频生成任务中起着至关重要的作用&#xff0c;因为它们的质量直接影响所生成视频的语义连贯性和视觉保真度。尽管大型视觉-语言模型&#xff08;VLMs&#xff09;在字幕生成方面…...

编程新知 2026/2/6 9:24:15

【Web 进阶篇】优雅的接口设计：统一响应、全局异常处理与参数校验

系列回顾&#xff1a; 在上一篇中&#xff0c;我们成功地为应用集成了数据库&#xff0c;并使用 Spring Data JPA 实现了基本的 CRUD API。我们的应用现在能“记忆”数据了&#xff01;但是&#xff0c;如果你仔细审视那些 API&#xff0c;会发现它们还很“粗糙”&#xff1a;有…...

编程新知 2026/1/22 20:46:43

【服务器压力测试】本地PC电脑作为服务器运行时出现卡顿和资源紧张（Windows/Linux）

要让本地PC电脑作为服务器运行时出现卡顿和资源紧张的情况&#xff0c;可以通过以下几种方式模拟或触发&#xff1a; 1. 增加CPU负载 运行大量计算密集型任务&#xff0c;例如&#xff1a; 使用多线程循环执行复杂计算&#xff08;如数学运算、加密解密等&#xff09;。运行图…...

编程新知 2025/11/30 10:30:15

深度学习习题2

1.如果增加神经网络的宽度&#xff0c;精确度会增加到一个特定阈值后&#xff0c;便开始降低。造成这一现象的可能原因是什么&#xff1f; A、即使增加卷积核的数量&#xff0c;只有少部分的核会被用作预测 B、当卷积核数量增加时&#xff0c;神经网络的预测能力会降低 C、当卷…...

编程新知 2026/1/26 5:53:30

九天毕昇深度学习平台 | 如何安装库？

pip install 库名 -i https://pypi.tuna.tsinghua.edu.cn/simple --user 举个例子&#xff1a; 报错 ModuleNotFoundError: No module named torch 那么我需要安装 torch pip install torch -i https://pypi.tuna.tsinghua.edu.cn/simple --user pip install 库名&#x…...

编程新知 2026/1/31 2:13:57

蓝桥杯 冶炼金属

原题目链接 &#x1f527; 冶炼金属转换率推测题解 &#x1f4dc; 原题描述 小蓝有一个神奇的炉子用于将普通金属 O O O 冶炼成为一种特殊金属 X X X。这个炉子有一个属性叫转换率 V V V&#xff0c;是一个正整数&#xff0c;表示每 V V V 个普通金属 O O O 可以冶炼出 …...

编程新知 2026/2/4 10:54:26

C++.OpenGL （14/64）多光源（Multiple Lights）

多光源（Multiple Lights） 多光源渲染技术概览 #mermaid-svg-3L5e5gGn76TNh7Lq {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-3L5e5gGn76TNh7Lq .error-icon{fill:#552222;}#mermaid-svg-3L5e5gGn76TNh7Lq .erro…...

编程新知 2025/6/11 3:15:20