亚马逊爬虫(Amazonbot)IP地址,真实采集数据
一、数据来源:
1、这批亚马逊爬虫(Amazonbot)IP来源于尚贤达猎头公司网站采集数据;
2、数据采集时间段:2023年10月-2024年7月;
3、判断标准:主要根据用户代理是否包含“Amazonbot”和IP核实。
二、亚马逊爬虫(Amazonbot)主要有4个用户代理
| 序号 | 用户代理(UserAgebt) |
| 1 | Mozilla/5.0+(Macintosh;+Intel+Mac+OS+X+10_10_1)+AppleWebKit/600.2.5+(KHTML,+like+Gecko)+Version/8.0.2+Safari/600.2.5+(Amazonbot/0.1;++https://developer.amazon.com/support/amazonbot) |
| 2 | Mozilla/5.0+(Macintosh;+Intel+Mac+OS+X+10_10_1)+AppleWebKit/600.2.5+(KHTML,+like+Gecko)+Safari/600.2.5+(Amazonbot/0.1;++https://developer.amazon.com/support/amazonbot) |
| 3 | Mozilla/5.0+(Macintosh;+Intel+Mac+OS+X+10_10_1)+AppleWebKit/600.2.5+(KHTML,+like+Gecko)+Version/8.0.2+Safari/600.2.5+(Amazonbot/0.1;++https://developer.amazon.com/support/amazonbot)+WebOne/0.12.0.0 |
三、亚马逊爬虫(Amazonbot)IP地址:
| 107.180.112.120 | 172.70.34.182 | 172.71.190.94 |
| 116.202.114.170 | 172.70.34.213 | 172.71.194.75 |
| 116.202.238.183 | 172.70.34.63 | 172.71.222.147 |
| 116.202.238.184 | 172.70.34.82 | 172.71.222.167 |
| 116.202.238.188 | 172.70.35.110 | 172.71.222.236 |
| 132.148.120.131 | 172.70.35.114 | 172.71.222.48 |
| 136.0.111.243 | 172.70.35.121 | 172.71.222.66 |
| 139.162.59.178 | 172.70.35.77 | 172.71.222.84 |
| 142.171.178.55 | 172.70.35.82 | 172.71.222.87 |
| 144.217.215.90 | 172.70.38.10 | 172.71.223.166 |
| 148.135.83.86 | 172.70.38.113 | 172.71.223.17 |
| 158.69.170.92 | 172.70.38.118 | 172.71.223.185 |
| 161.97.174.214 | 172.70.38.124 | 172.71.223.28 |
| 162.0.217.123 | 172.70.38.126 | 172.71.223.35 |
| 162.158.78.102 | 172.70.38.127 | 172.71.223.36 |
| 162.158.78.32 | 172.70.38.176 | 172.71.223.63 |
| 162.158.78.64 | 172.70.38.177 | 172.71.223.77 |
| 162.158.79.167 | 172.70.38.182 | 182.50.135.77 |
| 162.158.79.183 | 172.70.38.188 | 183.157.160.84 |
| 167.99.38.231 | 172.70.38.197 | 185.165.46.140 |
| 172.105.212.14 | 172.70.38.211 | 185.50.71.199 |
| 172.70.134.120 | 172.70.38.215 | 185.57.242.32 |
| 172.70.134.122 | 172.70.38.217 | 185.57.242.41 |
| 172.70.134.130 | 172.70.38.32 | 192.3.12.183 |
| 172.70.134.146 | 172.70.39.160 | 194.233.72.170 |
| 172.70.134.212 | 172.70.39.164 | 195.201.34.52 |
| 172.70.134.47 | 172.70.39.169 | 195.90.215.186 |
| 172.70.134.90 | 172.70.39.170 | 198.2.253.78 |
| 172.70.135.225 | 172.70.39.177 | 210.158.71.88 |
| 172.70.174.112 | 172.70.39.19 | 211.62.57.46 |
| 172.70.174.15 | 172.70.39.207 | 23.101.10.141 |
| 172.70.174.171 | 172.70.39.52 | 23.22.35.162 |
| 172.70.174.186 | 172.70.42.118 | 23.224.102.175 |
| 172.70.174.254 | 172.70.42.13 | 3.224.220.101 |
| 172.70.174.26 | 172.70.42.181 | 35.163.208.129 |
| 172.70.174.29 | 172.70.42.195 | 45.32.76.94 |
| 172.70.174.80 | 172.70.42.199 | 51.79.117.220 |
| 172.70.175.122 | 172.70.42.219 | 52.70.240.171 |
| 172.70.175.124 | 172.70.42.53 | 61.160.247.8 |
| 172.70.175.127 | 172.70.42.62 | 61.164.42.140 |
| 172.70.175.18 | 172.70.42.81 | 66.96.183.55 |
| 172.70.175.200 | 172.70.42.9 | 74.208.124.146 |
| 172.70.175.201 | 172.70.42.92 | 74.208.57.233 |
| 172.70.175.215 | 172.70.43.10 | 74.208.59.24 |
| 172.70.175.54 | 172.70.43.108 | 75.87.100.223 |
| 172.70.175.89 | 172.70.43.123 | 77.48.21.22 |
| 172.70.175.93 | 172.70.43.13 | 85.10.214.210 |
| 172.70.175.94 | 172.70.43.208 | 91.134.247.202 |
| 172.70.34.143 | 172.70.43.63 | 91.134.248.245 |
| 172.70.34.172 | 172.71.190.178 |
四、亚马逊爬虫(Amazonbot)的一些特点:
1、对网站没什么危害,但抓取网站频繁,对资源消耗较大,如果不做境外业务,可能通过防火墙阻止。
五、EXECL格式数据下载
点击进入下载页面
相关文章:
亚马逊爬虫(Amazonbot)IP地址,真实采集数据
一、数据来源: 1、这批亚马逊爬虫(Amazonbot)IP来源于尚贤达猎头公司网站采集数据; 2、数据采集时间段:2023年10月-2024年7月; 3、判断标准:主要根据用户代理是否包含“Amazonbot”和IP核…...
Spring Boot(八十四):集成Thumbnailator来生成缩略图
1 Thumbnailator简介 Thumbnailator是一个用于Java的缩略图生成库。通过Thumbnailator提供的流畅接口(fluent interface)的方式可以完成复杂的缩略图处理任务,无需访问Image I/O API并通过Graphics2D对象手动操作BufferedImages。 2 代码示例 2.1 引入依赖 <dependency&g…...
MySQL基础操作全攻略:增删改查实用指南(上)
本节目标: NOT NULL - 指示某列不能存储 NULL 值。 UNIQUE - 保证某列的每行必须有唯一的值。 DEFAULT - 规定没有给列赋值时的默认值。 PRIMARY KEY - NOT NULL 和 UNIQUE 的结合。确保某列(或两个列多个列的结合)有唯一标 识&am…...
SAP MM学习笔记 - 豆知识02 - MR21 修改物料原价,MM02 修改基本数量单位/评价Class,MMAM 修改物料类型/评价Class
上一章讲了一些豆知识。比如 - MM50 批量扩张品目 - XK05/06 Block/消除供应商 - MM06/MM16 品目消除 - SE11/SE16/SE16/SE16N/SE16H/DB02 等查看常用的操作Table和数据的T-code SAP MM学习笔记- 豆知识01 - MM50 批量扩张,XK05/XK06 Block/消除供应商…...
谷粒商城实战笔记-126-全文检索-ElasticSearch-整合-测试保存
文章目录 一,谷粒商城实战笔记-126-全文检索-ElasticSearch-整合-测试保存1,在Elasticsearch的配置类中增加通用设置2,索引数据3,验证 一,谷粒商城实战笔记-126-全文检索-ElasticSearch-整合-测试保存 1,在…...
flutter开发环境搭建与android studio 安装配置
flutter开发环境搭建与android studio 安装配置 安装 android studio 下载安装 Android Studio 开发工具 Android Studio官网安装的时看到配置路径就换成自己其他盘的路径即可,其他的一路下一步就ok安装完毕,运行打开缺少 android sdk 按照提示下载即可…...
postgresql 字符串 替换
postgresql 字符串 替换 在PostgreSQL中,可以使用replace()函数来替换字符串中的某个部分。该函数的语法如下: REPLACE(string text, from text, to text) 其中: string 是要进行替换操作的原始字符串。 from 是原始字符串中需要被替换掉的…...
如何强化学习神经网络
强化学习(Reinforcement Learning, RL)神经网络是一种通过奖励和惩罚机制来学习策略的方法,适用于各种复杂的决策问题。以下是强化学习神经网络的一些主要步骤和方法: 1. 了解基本概念 环境(Environment)…...
Hadoop未授权访问漏洞
Hadoop未授权访问漏洞 Hadoop是一个由Apache基金会所开发的分布式系统基础架构,由于服务器直接在开放了Hadoop机器HDFS的50070web端口及部分默认服务端口,黑客可以通过命令行操作多个目录下的数据,如进行删除,下载,目…...
Python中json模块的编码和解码
在Python中,可以用json模块处理JSON的编码和解码问题。json的全程是 javascript object notation, 翻译一下就是javascritpt 对象表示法。json是一种轻量级的数据交换格式,容易阅读和编写,支持的数据类型有:字符串、数字、数组和对…...
【Linux】文件变身大作战:Linux下的文件重命名艺术
欢迎来到 CILMY23 的博客 🏆本篇主题为:文件变身大作战:Linux下的文件重命名艺术 🏆个人主页:CILMY23-CSDN博客 🏆系列专栏:Python | C | C语言 | 数据结构与算法 | 贪心算法 | Linux | 算法…...
字节的存储和字符的存储
字节的存储 内存中的存储 基本数据类型: 在Java中,byte 类型占用 1 个字节(8 位)。它的取值范围是从 -128 到 127。存储在内存中的 byte 数据可以直接操作,例如通过数组或变量访问。 数据结构: byte 数组…...
Markdown插入Base64格式的图片,无需图床,稳定保存
Markdown插入Base64格式的图片,无需图床,稳定保存 我是一个Markdown的爱好者,转存图片是MD经常出问题的地方,因为MD不像其他富文本编辑器,将图片内嵌到文件中,而是用链接的形式引用,或网络链接…...
weblogic 连接gaussdb测试数据源是否联通
文章目录 1. gaussdb创建远程连接用户和数据库2. weblogic构建GaussDB源数据库3. 测试结果查询注意 weblogic中jar包已经放入lib目录中gaussdb已经创建可以连接登录的用户和数据库1. gaussdb创建远程连接用户和数据库 新建用户和数据库连接客户端Gauss=# create user lily pas…...
如何成为全域运营商?掌握这2种申请方式就够了!
随着全域概念的兴起,全域运营商的职业前景和收益空间逐渐显现,并迅速成为了热门创业赛道中的一份子,连带着如何成为全域运营商等入局方式相关话题也成为了众多创业者热议的焦点。 不过,从市场现状来看,作为涵盖公域和私…...
@ConfigurationProperties加在方法上
ConfigurationProperties注解通常用于将外部配置文件(如application.properties或application.yml)中的属性映射到Java类中。它通常加在类上,但也可以加在方法上。加在方法上时,通常与Bean注解一起使用,以便将配置属性…...
使用CUBEMX配置的USB大容量存储设备主机库获取LUN数量的不严谨代码纠正
最近在使用usb主机库驱动U盘直接进行扇区读写。 发现MSC库中获取LUN相关代码有问题 代码如下 其中 status USBH_MSC_BOT_REQ_GetMaxLUN(phost, (uint8_t *)(void *)&MSC_Handle->max_lun); MSC_Handle->max_lun (MSC_Handle->max_lun > MAX_SUPPORTED_L…...
合并重叠的区间
这一题不能用差分数组,因为 [1 , 4] [5, 6] 这个就会被合并,正确的做法就是先排序 bool cmp(vector<int> a, vector<int> b) {if (a[0] < b[0]) return 1;if (a[0] b[0]) return a[1] < b[1];return 0; } class Solution { public:ve…...
docker和运维
创建服务 docker service create --name order --network my-net -p 8080:8080 -d xxx 加入swarm集群 docker swarm join --token xxx 更新结点名字为mysql docker node update --label-add servermysql ecs-82ec-0003 创建MySQL服务 docker service create --name mysql --con…...
苍穹外面day13(day10)---订单状态定时处理、来单提醒和客户催单
Spring Task 同学们可以看我这篇文章 Spring Task初学-CSDN博客 订单状态定时处理 新建OrderTask /*** 定时任务类,定时处理订单状态*/ Component Slf4j public class OrderTask {Autowiredprivate OrderMapper orderMapper;/*** 处理超时订单的方法*/Scheduled(c…...
多云管理“拦路虎”:深入解析网络互联、身份同步与成本可视化的技术复杂度
一、引言:多云环境的技术复杂性本质 企业采用多云策略已从技术选型升维至生存刚需。当业务系统分散部署在多个云平台时,基础设施的技术债呈现指数级积累。网络连接、身份认证、成本管理这三大核心挑战相互嵌套:跨云网络构建数据…...
rknn优化教程(二)
文章目录 1. 前述2. 三方库的封装2.1 xrepo中的库2.2 xrepo之外的库2.2.1 opencv2.2.2 rknnrt2.2.3 spdlog 3. rknn_engine库 1. 前述 OK,开始写第二篇的内容了。这篇博客主要能写一下: 如何给一些三方库按照xmake方式进行封装,供调用如何按…...
VB.net复制Ntag213卡写入UID
本示例使用的发卡器:https://item.taobao.com/item.htm?ftt&id615391857885 一、读取旧Ntag卡的UID和数据 Private Sub Button15_Click(sender As Object, e As EventArgs) Handles Button15.Click轻松读卡技术支持:网站:Dim i, j As IntegerDim cardidhex, …...
centos 7 部署awstats 网站访问检测
一、基础环境准备(两种安装方式都要做) bash # 安装必要依赖 yum install -y httpd perl mod_perl perl-Time-HiRes perl-DateTime systemctl enable httpd # 设置 Apache 开机自启 systemctl start httpd # 启动 Apache二、安装 AWStats࿰…...
Vue2 第一节_Vue2上手_插值表达式{{}}_访问数据和修改数据_Vue开发者工具
文章目录 1.Vue2上手-如何创建一个Vue实例,进行初始化渲染2. 插值表达式{{}}3. 访问数据和修改数据4. vue响应式5. Vue开发者工具--方便调试 1.Vue2上手-如何创建一个Vue实例,进行初始化渲染 准备容器引包创建Vue实例 new Vue()指定配置项 ->渲染数据 准备一个容器,例如: …...
【2025年】解决Burpsuite抓不到https包的问题
环境:windows11 burpsuite:2025.5 在抓取https网站时,burpsuite抓取不到https数据包,只显示: 解决该问题只需如下三个步骤: 1、浏览器中访问 http://burp 2、下载 CA certificate 证书 3、在设置--隐私与安全--…...
tree 树组件大数据卡顿问题优化
问题背景 项目中有用到树组件用来做文件目录,但是由于这个树组件的节点越来越多,导致页面在滚动这个树组件的时候浏览器就很容易卡死。这种问题基本上都是因为dom节点太多,导致的浏览器卡顿,这里很明显就需要用到虚拟列表的技术&…...
3-11单元格区域边界定位(End属性)学习笔记
返回一个Range 对象,只读。该对象代表包含源区域的区域上端下端左端右端的最后一个单元格。等同于按键 End 向上键(End(xlUp))、End向下键(End(xlDown))、End向左键(End(xlToLeft)End向右键(End(xlToRight)) 注意:它移动的位置必须是相连的有内容的单元格…...
dify打造数据可视化图表
一、概述 在日常工作和学习中,我们经常需要和数据打交道。无论是分析报告、项目展示,还是简单的数据洞察,一个清晰直观的图表,往往能胜过千言万语。 一款能让数据可视化变得超级简单的 MCP Server,由蚂蚁集团 AntV 团队…...
佰力博科技与您探讨热释电测量的几种方法
热释电的测量主要涉及热释电系数的测定,这是表征热释电材料性能的重要参数。热释电系数的测量方法主要包括静态法、动态法和积分电荷法。其中,积分电荷法最为常用,其原理是通过测量在电容器上积累的热释电电荷,从而确定热释电系数…...
