亚马逊爬虫(Amazonbot)IP地址,真实采集数据
一、数据来源:
1、这批亚马逊爬虫(Amazonbot)IP来源于尚贤达猎头公司网站采集数据;
2、数据采集时间段:2023年10月-2024年7月;
3、判断标准:主要根据用户代理是否包含“Amazonbot”和IP核实。
二、亚马逊爬虫(Amazonbot)主要有4个用户代理
| 序号 | 用户代理(UserAgebt) |
| 1 | Mozilla/5.0+(Macintosh;+Intel+Mac+OS+X+10_10_1)+AppleWebKit/600.2.5+(KHTML,+like+Gecko)+Version/8.0.2+Safari/600.2.5+(Amazonbot/0.1;++https://developer.amazon.com/support/amazonbot) |
| 2 | Mozilla/5.0+(Macintosh;+Intel+Mac+OS+X+10_10_1)+AppleWebKit/600.2.5+(KHTML,+like+Gecko)+Safari/600.2.5+(Amazonbot/0.1;++https://developer.amazon.com/support/amazonbot) |
| 3 | Mozilla/5.0+(Macintosh;+Intel+Mac+OS+X+10_10_1)+AppleWebKit/600.2.5+(KHTML,+like+Gecko)+Version/8.0.2+Safari/600.2.5+(Amazonbot/0.1;++https://developer.amazon.com/support/amazonbot)+WebOne/0.12.0.0 |
三、亚马逊爬虫(Amazonbot)IP地址:
| 107.180.112.120 | 172.70.34.182 | 172.71.190.94 |
| 116.202.114.170 | 172.70.34.213 | 172.71.194.75 |
| 116.202.238.183 | 172.70.34.63 | 172.71.222.147 |
| 116.202.238.184 | 172.70.34.82 | 172.71.222.167 |
| 116.202.238.188 | 172.70.35.110 | 172.71.222.236 |
| 132.148.120.131 | 172.70.35.114 | 172.71.222.48 |
| 136.0.111.243 | 172.70.35.121 | 172.71.222.66 |
| 139.162.59.178 | 172.70.35.77 | 172.71.222.84 |
| 142.171.178.55 | 172.70.35.82 | 172.71.222.87 |
| 144.217.215.90 | 172.70.38.10 | 172.71.223.166 |
| 148.135.83.86 | 172.70.38.113 | 172.71.223.17 |
| 158.69.170.92 | 172.70.38.118 | 172.71.223.185 |
| 161.97.174.214 | 172.70.38.124 | 172.71.223.28 |
| 162.0.217.123 | 172.70.38.126 | 172.71.223.35 |
| 162.158.78.102 | 172.70.38.127 | 172.71.223.36 |
| 162.158.78.32 | 172.70.38.176 | 172.71.223.63 |
| 162.158.78.64 | 172.70.38.177 | 172.71.223.77 |
| 162.158.79.167 | 172.70.38.182 | 182.50.135.77 |
| 162.158.79.183 | 172.70.38.188 | 183.157.160.84 |
| 167.99.38.231 | 172.70.38.197 | 185.165.46.140 |
| 172.105.212.14 | 172.70.38.211 | 185.50.71.199 |
| 172.70.134.120 | 172.70.38.215 | 185.57.242.32 |
| 172.70.134.122 | 172.70.38.217 | 185.57.242.41 |
| 172.70.134.130 | 172.70.38.32 | 192.3.12.183 |
| 172.70.134.146 | 172.70.39.160 | 194.233.72.170 |
| 172.70.134.212 | 172.70.39.164 | 195.201.34.52 |
| 172.70.134.47 | 172.70.39.169 | 195.90.215.186 |
| 172.70.134.90 | 172.70.39.170 | 198.2.253.78 |
| 172.70.135.225 | 172.70.39.177 | 210.158.71.88 |
| 172.70.174.112 | 172.70.39.19 | 211.62.57.46 |
| 172.70.174.15 | 172.70.39.207 | 23.101.10.141 |
| 172.70.174.171 | 172.70.39.52 | 23.22.35.162 |
| 172.70.174.186 | 172.70.42.118 | 23.224.102.175 |
| 172.70.174.254 | 172.70.42.13 | 3.224.220.101 |
| 172.70.174.26 | 172.70.42.181 | 35.163.208.129 |
| 172.70.174.29 | 172.70.42.195 | 45.32.76.94 |
| 172.70.174.80 | 172.70.42.199 | 51.79.117.220 |
| 172.70.175.122 | 172.70.42.219 | 52.70.240.171 |
| 172.70.175.124 | 172.70.42.53 | 61.160.247.8 |
| 172.70.175.127 | 172.70.42.62 | 61.164.42.140 |
| 172.70.175.18 | 172.70.42.81 | 66.96.183.55 |
| 172.70.175.200 | 172.70.42.9 | 74.208.124.146 |
| 172.70.175.201 | 172.70.42.92 | 74.208.57.233 |
| 172.70.175.215 | 172.70.43.10 | 74.208.59.24 |
| 172.70.175.54 | 172.70.43.108 | 75.87.100.223 |
| 172.70.175.89 | 172.70.43.123 | 77.48.21.22 |
| 172.70.175.93 | 172.70.43.13 | 85.10.214.210 |
| 172.70.175.94 | 172.70.43.208 | 91.134.247.202 |
| 172.70.34.143 | 172.70.43.63 | 91.134.248.245 |
| 172.70.34.172 | 172.71.190.178 |
四、亚马逊爬虫(Amazonbot)的一些特点:
1、对网站没什么危害,但抓取网站频繁,对资源消耗较大,如果不做境外业务,可能通过防火墙阻止。
五、EXECL格式数据下载
点击进入下载页面
相关文章:
亚马逊爬虫(Amazonbot)IP地址,真实采集数据
一、数据来源: 1、这批亚马逊爬虫(Amazonbot)IP来源于尚贤达猎头公司网站采集数据; 2、数据采集时间段:2023年10月-2024年7月; 3、判断标准:主要根据用户代理是否包含“Amazonbot”和IP核…...
Spring Boot(八十四):集成Thumbnailator来生成缩略图
1 Thumbnailator简介 Thumbnailator是一个用于Java的缩略图生成库。通过Thumbnailator提供的流畅接口(fluent interface)的方式可以完成复杂的缩略图处理任务,无需访问Image I/O API并通过Graphics2D对象手动操作BufferedImages。 2 代码示例 2.1 引入依赖 <dependency&g…...
MySQL基础操作全攻略:增删改查实用指南(上)
本节目标: NOT NULL - 指示某列不能存储 NULL 值。 UNIQUE - 保证某列的每行必须有唯一的值。 DEFAULT - 规定没有给列赋值时的默认值。 PRIMARY KEY - NOT NULL 和 UNIQUE 的结合。确保某列(或两个列多个列的结合)有唯一标 识&am…...
SAP MM学习笔记 - 豆知识02 - MR21 修改物料原价,MM02 修改基本数量单位/评价Class,MMAM 修改物料类型/评价Class
上一章讲了一些豆知识。比如 - MM50 批量扩张品目 - XK05/06 Block/消除供应商 - MM06/MM16 品目消除 - SE11/SE16/SE16/SE16N/SE16H/DB02 等查看常用的操作Table和数据的T-code SAP MM学习笔记- 豆知识01 - MM50 批量扩张,XK05/XK06 Block/消除供应商…...
谷粒商城实战笔记-126-全文检索-ElasticSearch-整合-测试保存
文章目录 一,谷粒商城实战笔记-126-全文检索-ElasticSearch-整合-测试保存1,在Elasticsearch的配置类中增加通用设置2,索引数据3,验证 一,谷粒商城实战笔记-126-全文检索-ElasticSearch-整合-测试保存 1,在…...
flutter开发环境搭建与android studio 安装配置
flutter开发环境搭建与android studio 安装配置 安装 android studio 下载安装 Android Studio 开发工具 Android Studio官网安装的时看到配置路径就换成自己其他盘的路径即可,其他的一路下一步就ok安装完毕,运行打开缺少 android sdk 按照提示下载即可…...
postgresql 字符串 替换
postgresql 字符串 替换 在PostgreSQL中,可以使用replace()函数来替换字符串中的某个部分。该函数的语法如下: REPLACE(string text, from text, to text) 其中: string 是要进行替换操作的原始字符串。 from 是原始字符串中需要被替换掉的…...
如何强化学习神经网络
强化学习(Reinforcement Learning, RL)神经网络是一种通过奖励和惩罚机制来学习策略的方法,适用于各种复杂的决策问题。以下是强化学习神经网络的一些主要步骤和方法: 1. 了解基本概念 环境(Environment)…...
Hadoop未授权访问漏洞
Hadoop未授权访问漏洞 Hadoop是一个由Apache基金会所开发的分布式系统基础架构,由于服务器直接在开放了Hadoop机器HDFS的50070web端口及部分默认服务端口,黑客可以通过命令行操作多个目录下的数据,如进行删除,下载,目…...
Python中json模块的编码和解码
在Python中,可以用json模块处理JSON的编码和解码问题。json的全程是 javascript object notation, 翻译一下就是javascritpt 对象表示法。json是一种轻量级的数据交换格式,容易阅读和编写,支持的数据类型有:字符串、数字、数组和对…...
【Linux】文件变身大作战:Linux下的文件重命名艺术
欢迎来到 CILMY23 的博客 🏆本篇主题为:文件变身大作战:Linux下的文件重命名艺术 🏆个人主页:CILMY23-CSDN博客 🏆系列专栏:Python | C | C语言 | 数据结构与算法 | 贪心算法 | Linux | 算法…...
字节的存储和字符的存储
字节的存储 内存中的存储 基本数据类型: 在Java中,byte 类型占用 1 个字节(8 位)。它的取值范围是从 -128 到 127。存储在内存中的 byte 数据可以直接操作,例如通过数组或变量访问。 数据结构: byte 数组…...
Markdown插入Base64格式的图片,无需图床,稳定保存
Markdown插入Base64格式的图片,无需图床,稳定保存 我是一个Markdown的爱好者,转存图片是MD经常出问题的地方,因为MD不像其他富文本编辑器,将图片内嵌到文件中,而是用链接的形式引用,或网络链接…...
weblogic 连接gaussdb测试数据源是否联通
文章目录 1. gaussdb创建远程连接用户和数据库2. weblogic构建GaussDB源数据库3. 测试结果查询注意 weblogic中jar包已经放入lib目录中gaussdb已经创建可以连接登录的用户和数据库1. gaussdb创建远程连接用户和数据库 新建用户和数据库连接客户端Gauss=# create user lily pas…...
如何成为全域运营商?掌握这2种申请方式就够了!
随着全域概念的兴起,全域运营商的职业前景和收益空间逐渐显现,并迅速成为了热门创业赛道中的一份子,连带着如何成为全域运营商等入局方式相关话题也成为了众多创业者热议的焦点。 不过,从市场现状来看,作为涵盖公域和私…...
@ConfigurationProperties加在方法上
ConfigurationProperties注解通常用于将外部配置文件(如application.properties或application.yml)中的属性映射到Java类中。它通常加在类上,但也可以加在方法上。加在方法上时,通常与Bean注解一起使用,以便将配置属性…...
使用CUBEMX配置的USB大容量存储设备主机库获取LUN数量的不严谨代码纠正
最近在使用usb主机库驱动U盘直接进行扇区读写。 发现MSC库中获取LUN相关代码有问题 代码如下 其中 status USBH_MSC_BOT_REQ_GetMaxLUN(phost, (uint8_t *)(void *)&MSC_Handle->max_lun); MSC_Handle->max_lun (MSC_Handle->max_lun > MAX_SUPPORTED_L…...
合并重叠的区间
这一题不能用差分数组,因为 [1 , 4] [5, 6] 这个就会被合并,正确的做法就是先排序 bool cmp(vector<int> a, vector<int> b) {if (a[0] < b[0]) return 1;if (a[0] b[0]) return a[1] < b[1];return 0; } class Solution { public:ve…...
docker和运维
创建服务 docker service create --name order --network my-net -p 8080:8080 -d xxx 加入swarm集群 docker swarm join --token xxx 更新结点名字为mysql docker node update --label-add servermysql ecs-82ec-0003 创建MySQL服务 docker service create --name mysql --con…...
苍穹外面day13(day10)---订单状态定时处理、来单提醒和客户催单
Spring Task 同学们可以看我这篇文章 Spring Task初学-CSDN博客 订单状态定时处理 新建OrderTask /*** 定时任务类,定时处理订单状态*/ Component Slf4j public class OrderTask {Autowiredprivate OrderMapper orderMapper;/*** 处理超时订单的方法*/Scheduled(c…...
手游刚开服就被攻击怎么办?如何防御DDoS?
开服初期是手游最脆弱的阶段,极易成为DDoS攻击的目标。一旦遭遇攻击,可能导致服务器瘫痪、玩家流失,甚至造成巨大经济损失。本文为开发者提供一套简洁有效的应急与防御方案,帮助快速应对并构建长期防护体系。 一、遭遇攻击的紧急应…...
智慧医疗能源事业线深度画像分析(上)
引言 医疗行业作为现代社会的关键基础设施,其能源消耗与环境影响正日益受到关注。随着全球"双碳"目标的推进和可持续发展理念的深入,智慧医疗能源事业线应运而生,致力于通过创新技术与管理方案,重构医疗领域的能源使用模式。这一事业线融合了能源管理、可持续发…...
java调用dll出现unsatisfiedLinkError以及JNA和JNI的区别
UnsatisfiedLinkError 在对接硬件设备中,我们会遇到使用 java 调用 dll文件 的情况,此时大概率出现UnsatisfiedLinkError链接错误,原因可能有如下几种 类名错误包名错误方法名参数错误使用 JNI 协议调用,结果 dll 未实现 JNI 协…...
鸿蒙中用HarmonyOS SDK应用服务 HarmonyOS5开发一个医院挂号小程序
一、开发准备 环境搭建: 安装DevEco Studio 3.0或更高版本配置HarmonyOS SDK申请开发者账号 项目创建: File > New > Create Project > Application (选择"Empty Ability") 二、核心功能实现 1. 医院科室展示 /…...
linux 错误码总结
1,错误码的概念与作用 在Linux系统中,错误码是系统调用或库函数在执行失败时返回的特定数值,用于指示具体的错误类型。这些错误码通过全局变量errno来存储和传递,errno由操作系统维护,保存最近一次发生的错误信息。值得注意的是,errno的值在每次系统调用或函数调用失败时…...
实现弹窗随键盘上移居中
实现弹窗随键盘上移的核心思路 在Android中,可以通过监听键盘的显示和隐藏事件,动态调整弹窗的位置。关键点在于获取键盘高度,并计算剩余屏幕空间以重新定位弹窗。 // 在Activity或Fragment中设置键盘监听 val rootView findViewById<V…...
QT: `long long` 类型转换为 `QString` 2025.6.5
在 Qt 中,将 long long 类型转换为 QString 可以通过以下两种常用方法实现: 方法 1:使用 QString::number() 直接调用 QString 的静态方法 number(),将数值转换为字符串: long long value 1234567890123456789LL; …...
08. C#入门系列【类的基本概念】:开启编程世界的奇妙冒险
C#入门系列【类的基本概念】:开启编程世界的奇妙冒险 嘿,各位编程小白探险家!欢迎来到 C# 的奇幻大陆!今天咱们要深入探索这片大陆上至关重要的 “建筑”—— 类!别害怕,跟着我,保准让你轻松搞…...
MySQL的pymysql操作
本章是MySQL的最后一章,MySQL到此完结,下一站Hadoop!!! 这章很简单,完整代码在最后,详细讲解之前python课程里面也有,感兴趣的可以往前找一下 一、查询操作 我们需要打开pycharm …...
数据结构:递归的种类(Types of Recursion)
目录 尾递归(Tail Recursion) 什么是 Loop(循环)? 复杂度分析 头递归(Head Recursion) 树形递归(Tree Recursion) 线性递归(Linear Recursion)…...
