当前位置： 首页 > news >正文

1.1 爬虫的一些知识（大模型提供语料）

news 文章来源：https://blog.csdn.net/KuaiLeShiFu/article/details/143922270 2024/11/25 19:17:20

1.1 爬虫的一些知识（大模型提供语料）
网页资源：
资源组织方式：列表分页,搜索引擎，推荐
发送请求的文档类型：html ,js
响应请求的文档类型：html,js,json
请求方式：同步和异步
页面形式：单页面，非单页面；
抓取流程：requests直接请求
        # 抓取入口(穷举或者探索方式)
        # 遍历
        # 解析&清洗
        # 入库
        # 遍历结束
需要关注的点：
内容反爬：抓取内容投毒、混淆等反抓取；
请求反爬：返回403等，或者跳转或者返回到一个人工校验页面；
资源覆盖率：穷举所有要抓取的资源；
增量抓取：如何保证更新能跟上；
抓取速率要友好；
关于反爬策略：
加上header；
不使用requests；
加上IP代理池；
关于模拟抓取：
重量级:selenium
轻量级：其他；
解析：bs4和xpath
一个是擅长筛选器，一个擅长路径定位；
清洗：
内容部分乱码、（硬）断行。
后续继续补充。。。

相关文章：

1.1 爬虫的一些知识（大模型提供语料）

1.1 爬虫的一些知识（大模型提供语料） 网页资源： 资源组织方式：列表分页,搜索引擎，推荐 发送请求的文档类型：html ,js 响应请求的文档类型：html,js,json 请求方式：同步和异步 页面形式…...

编程日记 2024/11/21 14:24:35

Linux开发工具：Vim 与 gcc，打造高效编程的魔法双剑

文章目录 一、初识Vim模式 二、vim基本操作2.1基础操作2.2命令模式/正常模式2.2.1光标定位2.2.2复制粘贴、删除2.2.3撤销2.2.4替换字符2.2.5替换模式 2.3底行模式2.3.1退出vim和**保存文件**2.3.2定位文本字符串2.3.3命令2.3.4实现分屏2.3.5替换指定字符串 2.4补充指令2.4.1视图…...

编程日记 2024/11/21 14:21:29

cesium for unity的使用

先聊聊导入 看到这里的因该能够知道，官网以及网上绝大多数的方法都导入不进来，那么解决方法如下: 两个链接：按照顺序依次下载这两个tgz和zip，其中tgz为主要部分，zip为示例工程项目 如果您要查看示例工程项目的话&am…...

编程日记 2024/11/21 14:20:24

Android AOSP 架构和各层次开发内容介绍

一、系统架构总况​​​​ 官方文档：架构概览 | Android Open Source Project (google.cn)https://source.android.google.cn/docs/core/architecture?hl=zh-cn 下面是Google Android 提供的最新架构层次图： 图. AOSP 的软件堆栈层次 System API 表示仅供合作伙伴和 OEM…...

编程日记 2024/11/21 14:19:22

Kafka 到 Kafka 数据同步

简述 Kafka 为处理实时数据提供了一个统一、高吞吐、低延迟的平台，其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”，这使它作为企业级基础设施来处理流式数据非常有价值。因此实现 Kafka 到 Kafka 的数据同步也成了一项重要…...

编程日记 2024/11/21 14:18:20

华为刷题笔记--题目索引

文章目录 更多关于刷题的内容欢迎订阅我的专栏华为刷题笔记简单题目 更多关于刷题的内容欢迎订阅我的专栏华为刷题笔记 该专栏题目包含两部分： 100 分值部分题目 200 分值部分题目 所有题目都会陆续更新，订阅防丢失 简单题目 –题目分值试卷1华为OD机…...

编程日记 2024/11/21 14:16:17

osgEarth加载倾斜摄影测量数据

一、代码 // .cpp : 此文件包含 "main" 函数。程序执行将在此处开始并结束。 // #include <osgViewer/Viewer> #include <osgEarth/Notify> #include <osgEarth/EarthManipulator>...

编程日记 2024/11/21 14:03:02

消息推送问题梳理-团队管理

管理用户界面&#xff1a; 新增加用户列表&#xff1a;这些用有资格收到推送消户息 当删除一个医生的时候&#xff0c;重新添加这个人的时候 发现团队中没有这个人了 &#xff0c;这个时候 需要重新添加这个人。 处理这个问题遵循的原则&#xff1a; 删除这个用户的时候&…...

编程日记 2024/11/21 14:02:00

如何在 Ubuntu 上使用 Docker 部署 LibreOffice Online

简介 LibreOffice Online&#xff08;也称为Collabora Online&#xff09;是一个开源的在线办公套件&#xff0c;它提供了与LibreOffice桌面版相似的功能&#xff0c;但完全在云端运行。这意味着用户可以通过浏览器访问和编辑文档&#xff0c;而无需在本地计算机上安装任何软件…...

编程日记 2024/11/21 13:58:48

MongoDB数据备份与恢复（内含工具下载、数据处理以及常见问题解决方法）

一、工具准备 对MongoDB进行导入导出、备份恢复等操作时需要用到命令工具&#xff0c;我们要先检查一下MongoDB安装目录下是否有这些工具&#xff0c;正常情况下是没有的:)&#xff0c;因为新版本的MongoDB安装时不包含这些工具&#xff0c;需要我们手动下载安装。下载成功之后…...

编程日记 2024/11/21 13:57:47

代码随想录第三十一天| 56. 合并区间 738.单调递增的数字

56. 合并区间 题目描述 给定一个区间的集合 intervals&#xff0c;请合并所有重叠的区间。 解题思路 排序区间 按照每个区间的起点 start 升序排序&#xff0c;便于后续合并。 合并区间 使用两个变量 start 和 right 分别记录当前区间的起点和终点。遍历排序后的区间&#x…...

编程日记 2024/11/21 13:55:44

C语言基本知识 2.2void 函数

在C语言中&#xff0c; void 是一个重要的关键字&#xff0c;具有多种用途&#xff0c;以下是详细介绍&#xff1a; 函数返回值类型声明 - 当函数不需要返回任何值时&#xff0c;可以将函数的返回值类型声明为 void 。例如&#xff1a; void printMessage() { printf(…...

编程日记 2024/11/21 13:54:43

Spring 框架中哪些接口可以创建对象

Spring 框架中哪些接口可以创建对象 在 Spring 框架中&#xff0c;向 IOC 容器中添加 Bean 主要有以下几种接口和方式。Spring 提供了不同的手段来实现对象的创建和管理&#xff0c;涵盖了不同的需求和场景。以下是几种常用的接口和方式&#xff1a; 1. BeanFactory 接口 Be…...

编程日记 2024/11/21 13:52:41

豆瓣书摘 | 爬虫 | Python

获取豆瓣书摘&#xff0c;存入MongoDB中。 import logging import timeimport requests from bs4 import BeautifulSoup from pymongo import MongoClientheaders {accept: text/html,application/xhtmlxml,application/xml;q0.9,image/avif,image/webp,image/apng,*/*;q0.8,…...

编程日记 2024/11/21 13:51:40

Oracle数据库物理存储结构管理

​ 大家好&#xff0c;我是程序员小羊&#xff01; 前言&#xff1a; 安装和配置Oracle数据库是一个涉及多个步骤的任务&#xff0c;通常包括环境准备、软件安装、数据库创建和基本配置等。以下是详细的安装与配置流程。 一、环境准备 1. 系统要求 操作系统&#xff1a;Wind…...

编程日记 2024/11/21 13:50:38

java——Map接口

Java的Map接口是一种键值对的数据结构&#xff0c;用于存储和操作键值对的集合。它是Java集合框架中的一部分&#xff0c;提供了一种以键值对形式组织数据的方法。 Map接口有多个实现类&#xff0c;常用的有HashMap、TreeMap和LinkedHashMap。每种实现类都有不同的特点和适用场…...

编程日记 2024/11/21 13:49:36

量子计算机全面解析：技术、应用与未来

标题&#xff1a;量子计算机全面解析&#xff1a;技术、应用与未来 一、什么是量子计算机&#xff1f; 量子计算机是一种利用量子力学原理&#xff08;如叠加、纠缠和干涉&#xff09;进行计算的新型计算设备。与传统计算机基于比特&#xff08;0 和 1&#xff09;的运算方式不…...

编程日记 2024/11/21 13:48:33

IDEA相关（包括但不限于快捷键，使用技巧）成长笔记

1.IDEA创建及命名规范 IDEA创建是&#xff1a;项目、模块、包、类 命名规范&#xff1a; 1.项目名全部小写 2.包名全部小写 3.类名首字母大写&#xff0c;一般都是使用驼峰式命名。 如&#xff1a;public class MyFirstClass{} 4.同上&#xff1a; 变量名、方法名首字母小…...

编程日记 2024/11/21 13:47:33

【再谈设计模式】适配器模式 ~接口兼容的桥梁

一、引言 在软件开发的复杂世界里&#xff0c;不同的组件、类或者系统往往有着各自独立的设计和接口定义。当需要将这些原本不兼容的部分整合在一起协同工作时&#xff0c;就像尝试将方形的榫头插入圆形的卯眼一样困难。适配器设计模式就如同一位神奇的工匠&#xff0c;能够巧妙…...

编程日记 2024/11/21 13:44:29

使用Cursor和Claude AI打造你的第一个App

大家好&#xff0c;使用Cursor和Claude AI打造应用程序是一个结合智能代码辅助和人工智能对话的创新过程。Cursor是一个编程辅助工具&#xff0c;它通过智能代码补全、聊天式AI对话和代码生成等功能&#xff0c;帮助开发者提高编程效率。Claude AI则是一个强大的人工智能平台&a…...

编程日记 2024/11/21 13:40:23

粗读Apache Paimon 的基本概念及其组成结构

文章目录 一、Paimon的基本概念&#xff08;一&#xff09;快照&#xff08;二&#xff09;分区&#xff08;三&#xff09;分桶&#xff08;四&#xff09;一致性保证 二、Paimon的组成结构&#xff08;一&#xff09;文件布局&#xff08;二&#xff09;存储结构&#xff08;…...

编程日记 2024/11/21 13:39:22

c++调用 c# dll 通过 P/Invoke （详细避坑）

项目场景&#xff1a; VS2022 .NET8 &#xff0c; 项目应用的库需要支持AOT&#xff0c;不支持AOT的库看这里 我的c项目很奇怪&#xff0c;如果使用 clr 调用c# dll,会有很多报错&#xff0c;所以使用 P/Invoke方法&#xff0c;这个方法不会有任何奇怪的报错 解决方案 示例…...

编程日记 2024/11/21 13:36:19

李春葆《数据结构》——图相关代码

邻接矩阵结构体&#xff1a; #define MAX<最大结点个数> #define INF 32765 //定义无穷 typedef struct{int no;//顶点的编号&#xff1b;InfoType info;//顶点的其他信息 }vertexType;//顶点的类型 typedef struct{int edges[MAX][Max];//邻接矩阵数组 int vertexTy…...

编程日记 2024/11/21 13:33:15

Linux驱动开发第2步_“物理内存”和“虚拟内存”的映射

“新字符设备的GPIO驱动”和“设备树下的GPIO驱动”都要用到寄存器地址&#xff0c;使用“物理内存”和“虚拟内存”映射时&#xff0c;非常不方便&#xff0c;而pinctrl和gpio子系统的GPIO驱动&#xff0c;非常简化。因此&#xff0c;要重点学习pinctrl和gpio子系统下的GPIO驱…...

编程日记 2024/11/21 13:32:14

告别多品牌乱战，吉利开始觉醒

科技新知 原创作者丨思原 编辑丨蕨影 2007年&#xff0c;是国内自主品牌汽车萌芽的一年&#xff0c;当时行业普遍奉行“多生孩子好打架”战略&#xff0c;吉利也是在这样的背景下发布了《宁波宣言》&#xff0c;奠定了之后十多年的发展主导思想。 然而&#xff0c;新能源的快…...

编程日记 2024/11/21 13:31:13

Target-absent Human Attention

Abstract 预测人类注视行为对于构建能够预测用户注意力的人机交互系统非常重要。已经开发出计算机视觉模型来预测人们在搜索目标物体时的注视点。但当目标不存在于图像中时，又该如何处理呢？同样重要的是要了解当人们找不到目标时，他们如何进行搜索，以及何时停止搜索。在本文…...

编程日记 2024/11/21 13:27:09

＜QNAP 453D QTS-5.x＞ 日志记录：在 Docker 中运行的 Flask 应用安装 自签名 SSL 证书 解决 Chrome 等浏览器证书安全

原因&#xff1a;Chrome 不信任 ssc 证书 使启用了 HTTPS&#xff0c;即使有使用 自签名证书 (self-signed certificate 非由可信的证书颁发机构 【CA&#xff0c;Certificate Authority】签发的&#xff09;。浏览器 Chrome 默认不信任自签名证书&#xff0c;也会报 NET::ERR_…...

编程日记 2024/11/21 13:24:04

通过huggingface-cli下载Hugging Face上的公开数据集或模型至本地

1. 获取 Access Tokens 在使用huggingface-cli命令下载之前需要先去官网获取 Access Tokens&#xff1a; 获取tokens的官网链接&#xff1a;https://huggingface.co/settings/tokens点击新增 token&#xff1a; 然后选择 write 权限&#xff1a; 最后&#xff0c;这个 Access…...

编程日记 2024/11/21 13:23:03

论文阅读——Intrusion detection systems using longshort‑term memory (LSTM)

一.基本信息 论文名称&#xff1a;Intrusion detection systems using longshort‑term memory (LSTM) 中文翻译&#xff1a;基于长短期记忆(LSTM)的入侵检测系统 DOI&#xff1a;10.1186/s40537-021-00448-4 作者&#xff1a;FatimaEzzahra Laghrissi1* , Samira Douzi2*, Kha…...

编程日记 2024/11/21 13:22:02

SparkSQL的执行过程：从源码角度解析逻辑计划、优化计划和物理计划

SparkSQL的执行过程可以分为以下几个阶段&#xff1a;从用户的SQL语句到最终生成的RDD执行&#xff0c;涵盖逻辑计划、优化计划和物理计划。以下是详细的源码角度解析&#xff1a; 1. 解析阶段&#xff08;Parsing&#xff09; SQL语句解析&#xff1a;Spark 使用 Catalyst 引…...

编程日记 2024/11/21 13:18:58

哈尔滨网站建设推荐/在线数据分析网站

json简单说就是javascript中的对象和数组&#xff0c;所以这两种结构就是对象和数组两种结构&#xff0c;通过这两种结构可以表示各种复杂的结构 对象&#xff1a;对象在js中表示为{ }括起来的内容&#xff0c;数据结构为 { key&#xff1a;value, key&#xff1a;value, ... }…...

编程日记 2024/11/25 17:31:30

做外挂的网站/seo店铺描述

1.先去看看github上面本地流程说明 https://github.com/exceptionless/Exceptionless/wiki/Self-Hosting 比较总要的环境有 NET 4.6.1 Java JDK 1.8 我的机子是win10安装完jdk-10_windows-x64_bin.exe不用配置环境变量&#xff0c;服务端 ElasticSearch 5.6 解压elasticsear…...

编程日记 2024/11/25 16:31:05

为什么做网站越早越好/百度排名

我有一个监视套接字连接的服务.当连接丢失时,需要显示Toast,通知用户它正在重新连接.这是第一次工作正常.之后,我在日志中看到了enqueueToast,但是没有显示吐司.任何想法都赞赏我以为这会是一件容易的事情,但是我一定是缺少一些东西.日志条目INFO/NotificationService(118): en…...

编程日记 2024/11/25 14:29:04

独立网站做外贸怎么样/让百度收录自己的网站

堆&#xff08;Heap&#xff09;栈&#xff08;Stack&#xff09; 1、内存分配方面&#xff1a; 堆&#xff1a;一般由程序员分配释放&#xff0c; 若程序员不释放&#xff0c;程序结束时可能由OS回收 。注意它与数据结构中的堆是两回事&#xff0c;分配方式是类似于链表。可能…...

编程日记 2024/11/25 13:19:32

备案密码如何登录添加网站/深圳搜索引擎

点击 基本形状->软件和数据库->软件->企业应用 &#xff0c;企业应用有管与数据库的形状是圆柱体&#xff0c;具体如下图&#xff1a; 转载于:https://www.cnblogs.com/zhuangliu/p/6418573.html...

编程日记 2024/11/25 12:31:53

深圳个人网站建设/如何百度推广

2019独角兽企业重金招聘Python工程师标准>>> spring 提供一个Resource接口来统一底层资源一致的访问&#xff0c;而且提供了一些便利的接口 一、Resource接口 org.springframework.core.io.Resource&#xff0c;对InputStream进行了封装 package org.springframewor…...

编程日记 2024/11/25 11:47:50