当前位置：首页 > news >正文

How to collect data

news 2026/2/8 1:58:06

How to collect data

爬虫
- Java
- Python
- - urllib
  - requests
  - BeautifulSoup
- 反爬虫
- - 信息校验型反爬虫
  - 动态渲染反爬虫
  - 文本混淆反爬虫
  - 特征识别反爬虫
  - App反爬虫
  - 验证码
自动化测试工具
- Selenium
- Appium
- QMetry Automation Studio
- TestComplete
RPA
- 商业化产品
- - 艺赛旗
  - 影刀
  - UIPath
- 开源产品
- - Robot Framework RPA

爬虫

Java

Python

urllib

requests

BeautifulSoup

反爬虫

信息校验型反爬虫

User-Agent反爬虫
Cookie反爬虫
签名验证反爬虫
WebSocket握手验证反爬虫
WebSocket消息校验反爬虫
WebSocket Ping反爬虫

动态渲染反爬虫

文本混淆反爬虫

图片伪装反爬虫
CSS偏移反爬虫
SVG映射反爬虫
字体反爬虫
文本混淆爬虫通用解决办法

特征识别反爬虫

WebDriver识别
浏览器特征
爬虫特征
隐藏链接反爬虫

App反爬虫

App手抓包
APK文件反编译
代码混淆反爬虫

验证码

字符验证码
计算型验证码
滑动拼图验证码
文字点选验证码

自动化测试工具

Selenium

Appium

QMetry Automation Studio

TestComplete

RPA

商业化产品

艺赛旗

影刀

UIPath

开源产品

Robot Framework RPA

参考文献

火车头采集网站内页URL（图文）教程
技术研究 | 零编程数据爬取之：火车头数据爬取（一）
火车头/高铁采集器怎么使用，新手保姆级教程
学习seo网站运营的第31天-火车头采集的学习
2023年全球十大最佳自动化测试工具
推荐几款常用Web自动化测试神器
八千字直接带你学完《基于Python的Selenium4从入门到高级》全教程
Selenium+dddocr轻松解决Web自动化验证码识别
巧用 selenium 解决验证码，模拟登陆某流行网站
【道高一尺魔高一丈】7种反爬虫策略及规避手段
10个好用到爆的"反爬虫"措施
五个优秀开源RPA框架
Python 3反爬虫原理与绕过实践 / 韦世东著 / 人民邮电出版社 2020-01 / ISBN: 978711528735

How to collect data

How to collect data 爬虫JavaPythonurllibrequestsBeautifulSoup 反爬虫信息校验型反爬虫动态渲染反爬虫文本混淆反爬虫特征识别反爬虫App反爬虫验证码自动化测试工具SeleniumAppiumQMetry Automation StudioTestComplete RPA商业化产品艺赛旗影刀UIPath 开源产品Robot Frame…...

编程日记 2024/1/10 17:51:14

二刷Laravel 教程（用户注册）总结Ⅳ

一、显示用户信息 1）resource Route::resource(users, UsersController); 相当于下面这7个路由我们先用 Artisan 命令查看目前应用的路由： php artisan route:list 2） compact 方法 //我们将用户对象 $user 通过 compact 方法转化为一个关联…...

编程日记 2024/1/10 17:47:10

跨国制造业组网方案解析，如何实现总部-分支稳定互联？

既要控制成本，又要稳定高效，可能吗？ 在制造企业积极向“智造”发展、数字化转型的当下，物联网、人工智能、机器人等新型设备加入到生产、管理环节，为企业内部数据传输提出了更高的要求。而当企业规模扩大，数…...

编程日记 2024/1/10 17:45:08

网络的设置

一、网络设置 1.1查看linux基础的网络设置网关 route -n ip地址ifconfigDNS服务器cat /etc/resolv.conf主机名hostname路由 route -n 网络连接状态ss 或者 netstat域名解析nslookup host 例题：除了ping，什么命令可以测试DNS服务器来解…...

编程日记 2024/1/10 17:44:07

CentOS常用命令

CentOS常用命令 1 背景知识1.1 Centos 简介1.2 centos 和ubuntu的区别1.3 安装centos的时候需要注意什么 2 常用命令集锦2.1 文件目录类：2.2 驱动挂载类：2.3 关机命令：2.4 查看系统信息命令：2.5 文本命令2.6 系统管理命令&#xf…...

编程日记 2024/1/10 17:41:05

Linux运维之切换到 root 用户

春花秋月何时了，往事知多少。此付费专栏不要订阅，不要订阅，听人劝。 🌹作者主页：青花锁 🌹简介：Java领域优质创作者🏆、Java微服务架构公号作者😄 🌹简历模板、学习资料、面试题库、技术互助 🌹文末获取联系方式 📝 系列专栏目录 [Java项目实战] 介绍Java…...

编程日记 2024/1/10 17:39:03

【2024系统架构设计】系统架构设计师第二版-层次式架构设计理论与实践

目录一表现层框架设计二中间层架构设计三数据访问层设计四数据架构规划与设计五物联网层次架构设计六层次式架构案例分析...

编程日记 2024/1/10 17:38:02

SpringSecurity的注解@PreAuthorize的失效问题

问题：测试响应式框架时，测试框架对于权限与角色的拦截问题，对于/delete的访问报错访问拒绝，但是数据里面配置了权限。配置详情原因：调用roles方法时源码会重新new一个list将authorities的数据覆盖，导致…...

编程日记 2024/1/10 17:37:02

k8s的集群调度

1、scheduler：负责调度资源，把pod调度到指定的node节点 （1）预算策略 （2）优先策略 2、List-watch （1）在k8s集群中，通过List-watch的机制进行每个组件的协作&#xff0…...

编程日记 2024/1/10 17:36:01

简单易懂的理解 PyTorch 中 Transformer 组件

目录 torch.nn子模块transformer详解 nn.Transformer Transformer 类描述 Transformer 类的功能和作用 Transformer 类的参数 forward 方法参数输出示例代码注意事项 nn.TransformerEncoder TransformerEncoder 类描述 TransformerEncoder 类的功能和作用 Tr…...

编程日记 2024/1/10 17:33:59

搭建Eureka服务注册中心

一、前言我们在别的章节中已经详细讲解过eureka注册中心的作用，本节会简单讲解eureka作用，侧重注册中心的搭建。 Eureka作为服务注册中心可以进行服务注册和服务发现，注册在上面的服务可以到Eureka上进行服务实例的拉取，主要作用…...

编程日记 2024/1/10 17:29:52

【React】react-router-dom中的HashRouter和BrowserRouter实现原理

1. 前言在之前整理BOM的五个对象时，提到： location.hash发生改变后，会触发hashchange事件，且history栈中会增加一条记录，但页面不会重新加载——实现HashRouter的关键history.pushState(state, , URL)执行后&#xf…...

编程日记 2024/1/10 17:28:51

生物信息学中的可重复性研究

科学就其本质而言，是累积渐进的。无论你是使用基于网络的还是基于命令行的工具，在进行研究时都应保证该研究可被其他研究人员重复。这有利于你的工作的累积与进展。在生物信息学领域，这意味着如下内容。工作流应该有据可查。这可能包括在电脑…...

编程日记 2024/1/10 17:27:50

css-img图像同比缩小

1. HTML 中使图像按比例缩小 CSS 来控制图像的大小，并保持其宽高比 <!DOCTYPE html> <html> <head><style>.image-container {width: 300px; /* 设置容器宽度 */height: auto; /* 让高度自适应 */}.image-container img {width: 100%; /* …...

编程日记 2024/1/10 17:24:47

SpringBoot+Prometheus+Grafana搭建应用监控系统

1.应用监控系统介绍 SpringBoot的应用监控方案比较多，SpringBootPrometheusGrafana是比较常用的一种解决方案，主要的监控数据的处理逻辑如下： SpringBoot 的 actuator 提供了应用监控端点，可以对外暴露监控数据信息。Prometheu…...

编程日记 2024/1/10 17:18:42

QT c++和qml交互实例

文章目录一、demo效果图二、c和qml交互的基本方式1、qml 调用 C 类对象2、C 类对象调用 qml3、qml 给 C 发送信号4、C 给 qml 发送信号三、关键代码1、工程结构图2、c代码MainWindow.cppMainQuickView.cppStudentInfoView.cppStudentInfoModel.cpp 3、qml代码main.qmlMainQui…...

编程日记 2024/1/10 17:15:39

mysql基础-数据操作之增删改

目录 1.新增数据 1.1单条数据新增 1.2多条数据新增 1.3查询数据新增 2.更新 2.1单值更新 2.2多值更新 2.3批量更新 2.3.1 批量-单条件更新 2.3.2批量-多条件更新 2.4 插入或更新 2.5 联表更新 3.删除本次分享一下数据库的DML操作语言。操作表的数据结构&#xf…...

编程日记 2024/1/10 17:14:38

写字母(文件)

请编写函数，将大写字母写入文件中。函数原型 void WriteLetter(FILE *f, int n);说明：参数 f 为文件指针，n 为字母数目(1 ≤ n ≤ 26)。函数将前 n 个大写英文字母写入 f 所指示的文件中。裁判程序 #include <stdio.h> #include &…...

编程日记 2024/1/10 17:10:35

基于Jackson自定义json数据的对象转换器

1、问题说明后端数据表定义的id主键是Long类型，一共有20多位。前端在接收到后端返回的json数据时，Long类型会默认当做数值类型进行处理。但前端处理20多位的数值会造成精度丢失，于是导致前端查询数据出现问题。测试前端Long类型的代码 …...

编程日记 2024/1/10 17:07:32

【Java】缓存击穿解决方案

文章目录什么是SingleFlight？优化缺点优化策略什么是SingleFlight？ SingleFlight是go语言中sync包中的一个东西。它用于确保在并发环境下某个操作（例如，函数调用）即使被多个goroutine同时请求，也只会被执…...

编程日记 2024/1/10 17:06:31

synchronized 学习

学习源： https://www.bilibili.com/video/BV1aJ411V763?spm_id_from333.788.videopod.episodes&vd_source32e1c41a9370911ab06d12fbc36c4ebc 1.应用场景不超卖，也要考虑性能问题（场景） 2.常见面试问题： sync出…...

编程新知 2025/12/14 17:38:17

树莓派超全系列教程文档--(61)树莓派摄像头高级使用方法

树莓派摄像头高级使用方法配置通过调谐文件来调整相机行为使用多个摄像头安装 libcam 和 rpicam-apps依赖关系开发包文章来源： http://raspberry.dns8844.cn/documentation 原文网址配置大多数用例自动工作，无需更改相机配置。但是，一…...

编程新知 2026/2/5 4:39:03

Vue2 第一节_Vue2上手_插值表达式{{}}_访问数据和修改数据_Vue开发者工具

文章目录 1.Vue2上手-如何创建一个Vue实例,进行初始化渲染2. 插值表达式{{}}3. 访问数据和修改数据4. vue响应式5. Vue开发者工具--方便调试 1.Vue2上手-如何创建一个Vue实例,进行初始化渲染准备容器引包创建Vue实例 new Vue()指定配置项 ->渲染数据准备一个容器,例如: …...

编程新知 2026/2/7 10:59:19

第25节 Node.js 断言测试

Node.js的assert模块主要用于编写程序的单元测试时使用，通过断言可以提早发现和排查出错误。稳定性: 5 - 锁定这个模块可用于应用的单元测试，通过 require(assert) 可以使用这个模块。 assert.fail(actual, expected, message, operator) 使用参数…...

编程新知 2025/10/11 0:24:31

unix/linux，sudo，其发展历程详细时间线、由来、历史背景

sudo 的诞生和演化，本身就是一部 Unix/Linux 系统管理哲学变迁的微缩史。来，让我们拨开时间的迷雾，一同探寻 sudo 那波澜壮阔（也颇为实用主义）的发展历程。历史背景：su的时代与困境 ( 20 世纪 70 年代 - 80 年代初) 在 sudo 出现之前，Unix 系统管理员和需要特权操作的…...

编程新知 2025/11/18 21:31:41