当前位置： 首页 > news >正文

[Java框架] Java常用爬虫框架推荐

news 文章来源：https://blog.csdn.net/YangCheney/article/details/133444626 2024/10/30 15:20:54

Selenium

GitHub 截止 2023年9月份 Star数量27.7K
Selenium是一款基于浏览器自动化的工具，它可以模拟用户在浏览器上的操作行为，并获取网页上的内容。Selenium支持多种浏览器，可以很好地处理JavaScript生成内容。但是Selenium相较于其他框架而言，运行速度较慢。

WebMagic

GitHub 截止 2023年9月份 Star数量10.9K
WebMagic是一款基于Java的分布式爬虫框架，它使用了多线程和异步IO等技术，可以高效地爬取网站数据。WebMagic提供了丰富的插件机制，支持自定义解析器、处理器等功能。但是需要注意的是，WebMagic并不支持JavaScript渲染页面。

Jsoup

GitHub 截止 2023年9月份 Star数量10.3K
Jsoup是一款Java HTML解析器，它提供了易于使用的API，使得我们能够从一个URL、文件或字符串中提取和处理数据。相较于其他框架，Jsoup更加便捷、简单，并且具有良好的可读性。但是如果需要处理JavaScript生成内容，则需要另外考虑。

Crawler4j

GitHub 截止 2023年9月份 Star数量4.4K
Crawler4j是一个开源的Java爬虫框架，它使用了多线程和内存缓存技术，并且可以自定义URL过滤器、解析器等功能。Crawler4j支持限制爬虫深度、设置爬取延时等功能，并且可以与Lucene等搜索引擎结合使用。但是需要注意的是，Crawler4j不支持JavaScript渲染页面。

Apache Nutch

GitHub 截止 2023年9月份 Star数量2.7K
Apache Nutch是一款基于Java的开源网络爬虫框架，它使用了多线程和分布式技术，并且支持自定义URL过滤器、解析器等功能。Apache Nutch可以很好地处理JavaScript生成内容，并且支持与Solr等搜索引擎结合使用。但是需要注意的是，Apache Nutch的学习曲线较为陡峭。

HtmlUnit

GitHub 截止 2023年9月份 Star数量731
HtmlUnit是一款基于Java的GUI-less浏览器，它可以模拟浏览器行为并获取网页上的内容。HtmlUnit支持JavaScript渲染页面，并且可以自定义请求头、Cookie等信息。但是需要注意的是，HtmlUnit相较于其他框架而言，运行速度较慢。

参考资料 & 致谢

[1] Java爬虫框架选择指南，轻松找到最适合你的框架

相关文章：

[Java框架] Java常用爬虫框架推荐

Selenium GitHub 截止 2023年9月份 Star数量27.7K Selenium是一款基于浏览器自动化的工具，它可以模拟用户在浏览器上的操作行为，并获取网页上的内容。Selenium支持多种浏览器，可以很好地处理JavaScript生成内容。但是Selenium相较于其他框架而…...

编程日记 2023/10/1 5:29:44

Kafka：安装与简单使用

文章目录 下载安装windows安装目录结构启动服务器创建主题发送一些消息启动消费者设置多代理集群常见问题 工具kafka tool 常用指令topic查看topic删除topic 常见问题参考文献 下载安装 下载地址：kafka-download windows安装 下载完后，找一个目录解压…...

编程日记 2023/10/1 5:28:43

029-从零搭建微服务-消息队列（一）

写在最前 如果这个项目让你有所收获，记得 Star 关注哦，这对我是非常不错的鼓励与支持。 源码地址（后端）：mingyue: 🎉 基于 Spring Boot、Spring Cloud & Alibaba 的分布式微服务架构基础服务中心 源…...

编程日记 2023/10/1 5:27:43

Python2020年06月Python二级 -- 编程题解析

题目一 数字转汉字 用户输入一个1~9（包含1和9）之间的任一数字，程序输出对应的汉字。 如输入2，程序输出“二”。可重复查询。 答案: 方法一 list1[一,二,三,四,五,六,七,八,九] while True:n int(input(请输入1~9之间任意一个数字…...

编程日记 2023/10/1 5:26:41

差分放大器的精髓：放大差模信号 抑制共模信号

参考如图基本的差分放大电路，在R1R2 R3R4的条件下，其输出与输入的关系为 ： 具体推导过程参考：差分运算放大器的放大倍数的计算及结论_正在黑化的KS的博客-CSDN博客 由这个式子我们可以发现，差分放大器放大的是同相端与…...

编程日记 2023/10/1 5:25:41

蓝桥等考Python组别九级006

第一部分：选择题 1、Python L9 （15分） 运行下面程序，可以输出几行“*”？（ ） for i in range(6): for j in range(7): print(*, end ) print() 5678 正确答案：B 2、Python …...

编程日记 2023/10/1 5:23:38

初级篇—第五章子查询

文章目录 什么是子查询需求分析与问题解决子查询的基本语法结构子查询的分类 单行子查询单行比较操作符代码示例HAVING 中的子查询CASE中的子查询子查询中的空值问题非法使用子查询 多行子查询多行比较操作符代码示例空值问题 相关子查询代码示例在ORDER BY 中使用子查询EXISTS…...

编程日记 2023/10/1 5:20:35

【AntDesign】封装全局异常处理-全局拦截器

[toc] 场景 本文前端用的是阿里的Ant-Design框架，其他框架也有全局拦截器，思路是相同，具体实现自行百度下吧 因为每次都需要调接口，都需要单独处理异常情况（code !0），因此前端需要对后端返回的…...

编程日记 2023/10/1 5:19:34

Visual Studio 代码显示空格等空白符

1.VS2010: 快捷键：CtrlR,W 2.VS2017、VS2019、VS2022： 工具 -> 选项 -> 文本编辑器 -> 显示 -> 勾选查看空白...

编程日记 2023/10/1 5:17:33

紫光同创FPGA图像视频采集系统，基于OV7725实现，提供工程源码和技术支持

目录 1、前言免责声明 2、设计思路框架视频源选择OV7725摄像头配置及采集动态彩条HDMA图像缓存输入输出视频HDMA缓冲FIFOHDMA控制模块HDMI输出 3、PDS工程详解4、上板调试验证并演示准备工作静态演示动态演示 5、福利：工程源码获取 紫光同创FPGA图像视频采集系统&am…...

编程日记 2023/10/1 5:10:27

京东大型API网关实践之路

概述 1、背景 京东作为电商平台，近几年用户、业务持续增长，访问量持续上升，随着这些业务的发展，API网关应运而生。 API网关，就是为了解放客户端与服务端而存在的。对于客户端，使开放给客户端的接口标准统…...

编程日记 2023/10/1 5:06:23

图像处理： 马赛克艺术

马赛克 第一章 马赛克的历史渊源 1.1 马赛克 艺术中的一种表面装饰，由紧密排列的、通常颜色各异的小块材料（如石头、矿物、玻璃、瓷砖或贝壳）组成。与镶嵌不同的是，镶嵌是将要应用的部件放置在已挖空以容纳设计的表面中&#xff0…...

编程日记 2023/10/1 5:05:22

postgresql-管理数据表

postgresql-管理数据表 创建表数据类型字段约束表级约束模式搜索路径 修改表添加字段删除字段添加约束删除约束修改字段默认值修改字段数据类型重命名字段重命名表 删除表 创建表 在 PostgreSQL 中，使用 CREATE TABLE 语句创建一个新表： CREATE TABLE …...

编程日记 2023/10/1 5:04:21

Llama2-Chinese项目：3.1-全量参数微调

提供LoRA微调和全量参数微调代码&#xff0c;训练数据为data/train_sft.csv&#xff0c;验证数据为data/dev_sft.csv&#xff0c;数据格式如下所示&#xff1a; "<s>Human: "问题"\n</s><s>Assistant: "答案举个例子&#xff0c;如下所…...

编程日记 2023/10/1 5:03:20

蓝桥等考Python组别十级001

第一部分：选择题 1、Python L10 （15分） 已知s = Hello!，下列说法正确的是（ ）。 s[1]对应的字符是Hs[2]对应的字符是ls[-1]对应的字符是os[3]对应的字符是o正确答案：B 2、Python L10 （15分） 运行下面程序，输入字符串“Banana”，输出的结果是&#x...

编程日记 2023/10/1 5:02:20

记录 Git 操作时遇到的问题及解决方案

目录 问题&#xff1a;git pull 时报错报错内容&#xff1a; ! [rejected] v1.0.3 -> v1.0.3 (would clobber existing tag)原因&#xff1a;本地 Git 仓库中已经存在名为 v1.0.3 和 v1.0.6 的标签了&#xff0c;而尝试从远程仓库&#xff08;GitHub&#xff09;拉取这些标签…...

编程日记 2023/10/1 5:01:18

第一届“龙信杯”电子数据取证竞赛Writeup

目录 移动终端取证 请分析涉案手机的设备标识是_______。&#xff08;标准格式&#xff1a;12345678&#xff09; 请确认嫌疑人首次安装目标APP的安装时间是______。&#xff08;标准格式&#xff1a;2023-09-13.11:32:23&#xff09; 此检材共连接过______个WiFi。&#x…...

编程日记 2023/10/1 5:00:18

Vue与React//双绑问题

Vue和React是两个目前最流行的前端框架&#xff0c;它们有一些区别主要区别如下&#xff1a; 响应式原理&#xff1a;Vue使用基于模板的方式进行双向绑定&#xff0c;其中使用了Vue自己实现的响应式系统。Vue能够通过追踪数据的依赖关系&#xff0c;自动更新DOM元素。而React采…...

编程日记 2023/10/1 4:59:16

信息安全第四周

社会工程学 社会工程学主要研究如何操纵人的心理和情感来获取机密信息或其他目标。它主要不是通过技术手段攻击计算机系统&#xff0c;而是通过心理学和人际交往技巧来欺骗人&#xff0c;使他们泄露密码、安全代码或其他敏感信息。社会工程学主要是一种安全风险&#xff0c;主要…...

编程日记 2023/10/1 4:56:14

机器学习基础概念与常见算法入门【机器学习、常见模型】

机器学习基础概念与算法 机器学习是计算机科学领域的一个分支&#xff0c;它致力于让计算机系统具备从数据中学习和改进的能力&#xff0c;而不需要显式地进行编程。与传统编程相比&#xff0c;机器学习有着根本性的不同之处。 机器学习与传统编程的不同 传统编程&#xff1…...

编程日记 2023/10/1 4:55:13

移动端 [Android iOS] 压缩 ECDSA PublicKey

移动端 [Android & iOS] 压缩 ECDSA PublicKey AndroidiOS 使用 Android KeyStore 和 iOS 的 Secure Enclave 提供的安全能力使用 P-256 来对 API 请求进行签名&#xff0c;服务器端再进行验证。 但是发现不论是 iOS 还是安卓都没有提供一个便捷的方式从 iOS 的SecKeyCopyE…...

编程日记 2023/10/1 4:53:11

Spring的配置Bean的方式

在Spring框架中&#xff0c;配置Bean有三种主要方式&#xff1a;自动装配、基于Java的显式配置和基于XML的显式配置。 1、自动装配&#xff1a; 自动装配是Spring容器根据Bean之间的依赖关系&#xff0c;自动将需要的Bean注入到目标Bean中。这是一种非常简便和快捷的配置方式&…...

编程日记 2023/10/1 4:50:06

安防监控/视频汇聚平台EasyCVR云端录像不展示是什么原因？该如何解决？

视频云存储/安防监控EasyCVR视频汇聚平台基于云边端智能协同&#xff0c;支持海量视频的轻量化接入与汇聚、转码与处理、全网智能分发、视频集中存储等。音视频流媒体视频平台EasyCVR拓展性强&#xff0c;视频能力丰富&#xff0c;具体可实现视频监控直播、视频轮播、视频录像、…...

编程日记 2023/10/1 4:49:05

毛玻璃态登录表单

效果展示 页面结构组成 通过上述的效果展示可以看出如下几个效果 底部背景有三个色块并且效果是毛玻璃效果登录表单是毛玻璃效果登录表单的周围的小方块也是有毛玻璃效果并且与登录表单有层次效果 CSS3 知识点 filter 属性backdrop-filter 属性绝对定位属性动画属性 底部背…...

编程日记 2023/10/1 4:48:03

Java：使用 Graphics2D 类来绘制图像

目录 过程介绍创建一个 BufferedImage 对象创建一个 Graphics2D 对象绘制字符和干扰线将生成的图像保存到文件 示例代码 过程介绍 创建一个 BufferedImage 对象 首先创建一个 BufferedImage 对象来表示图像 创建一个 Graphics2D 对象 然后使用 createGraphics() 方法创建一…...

编程日记 2023/10/1 4:43:57

VUE2项目：尚品汇VUE-CLI脚手架初始化项目以及路由组件分析（一）

标题 环境VUE2目录publicassetscomponentsmain.jsbabel.config.jspackage.jsonvue.config.js 项目路由分析Header与Footer非路由组件完成Header示例 路由组件的搭建声明式导航编程式导航 Footer组件的显示与隐藏路由传递参数重写push和replace三级联动组件拆分附件 环境 前提要…...

编程日记 2023/10/1 4:39:53

输入网址input，提取标题和正文

https://m.51cmm.com/wz/WZnKubw1.html?share_token715beaff-33ef-466b-8b6c-092880b9a716&tt_fromcopy_link&utm_sourcecopy_link&utm_mediumtoutiao_android&utm_campaignclient_share - 【科学决策七步骤 - 希律心理】 - 今日头条 提取标题和正文input输…...

编程日记 2023/10/1 4:37:51

docker--redis容器部署及与SpringBoot整合

1. 容器化部署docker 拉取镜像创建数据目录data 及 配置目录conf创建配置文件redis.conf启动redis容器进入容器，进行Redis操作设置为自启动：docker update redis --restart=alwaysdocker pull redis:5.0.12docker run -d --rm --name my_redis -p 6379:6379 -v D:/docker/red…...

编程日记 2023/10/1 4:34:49

数据库：Hive转Presto（二）

继续上节代码&#xff0c;补充了replace_func函数&#xff0c; import re import os from tkinter import *class Hive2Presto:def __int__(self):self.t_funcs [substr, nvl, substring, unix_timestamp] \[to_date, concat, sum, avg, abs, year, month, ceiling, floor]s…...

编程日记 2023/10/1 4:32:47

docker安装apisix全教程包含windows和linux

docker安装apisix 一、Windows安装1、首先需要安装docker和docker compose&#xff0c;如果直接安装docker desktop&#xff0c;会自动安装docker compose。2、重新启动电脑3、访问 Docker 的下载&#xff08;[https://www.docker.com/products/docker-desktop](https://www.do…...

编程日记 2023/10/1 4:28:43

中国核工业第五建设公司网站/泉州关键词快速排名

https://wenku.baidu.com/view/7bdc4a446c85ec3a86c2c532.html https://wenku.baidu.com/view/c4195a202a160b4e767f5acfa1c7aa00b52a9de5.html?rec_flagdefault&sxts1587691004853...

编程日记 2024/10/30 13:52:23

有域名怎样做网站/seo在线短视频发布页

字符 转义字符 备注 & (ampersand) &amp; 这个没什么特别的&#xff0c;几乎所有的地方都需要使用转义字符 > (greater-than character) > 在属性&#xff08;Attribute values&#xff09;中必须进行转义&#xff0c;在内容&#xff08;Content&#xf…...

编程日记 2024/10/30 11:35:59

wordpress 模版制作/佛山营销型网站建设公司

因为经常看到网上有看到求助ARP病毒防范办法&#xff0c;其实ARP欺骗原理简单&#xff0c;利用的是ARP协议的一个“缺陷”&#xff0c;免费ARP来达到欺骗主机上面的网关的ARP表项。　　其实免费ARP当时设计出来是为了2个作用的&#xff1a; 1&#xff0c;IP地址冲突检测 2&…...

编程日记 2024/10/30 10:05:58

做网站找个人还是找公司好/合肥品牌seo

原文链接&#xff1a;http://blog.csdn.net/fengbingchun/article/details/47378515 Eigen是可以用来进行线性代数、矩阵、向量操作等运算的C库&#xff0c;它里面包含了很多算法。它的License是MPL2。它支持多平台。 Eigen采用源码的方式提供给用户使用&#xff0c;在使用时只…...

编程日记 2024/10/30 8:49:49

dream8网站建设教程视频/企业网站的域名是该企业的

2019独角兽企业重金招聘Python工程师标准>>> Javascript: 网页可见区域宽&#xff1a; document.body.clientWidth 网页可见区域高&#xff1a; document.body.clientHeight 网页可见区域宽&#xff1a; document.body.offsetWidth (包括边线的宽) 网页可见区域高&…...

编程日记 2024/10/29 23:33:32

做拆分盘网站/免费推广的方式

原文链接 http-server 是一个简单的零配置命令行HTTP服务器, 基于 nodeJs. 如果你不想重复的写 nodeJs 的 web-server.js, 则可以使用这个. 安装 (全局安装加 -g) : npm install http-server Windows 下使用: 在站点目录下开启命令行输入 http-server 访问: http://localhost…...

编程日记 2024/10/29 23:30:31