当前位置： 首页 > news >正文

AWS Glue Pyspark+Athena基础学习汇总

news 2026/2/8 0:38:24

Pyspark 基础学习汇总篇🍎

一、AWS 架构

① AWS Glue:工作平台，包括脚本的编写以及管理脚本的运行状态以及调度等（主要：数据库配置、ETL和数据转换脚本编写、调度）

② Amazon S3 数据湖（数仓):数据的存储

③ Athena:（雅典娜）SQL直接编写查询工作台（会产生费用）

④ QucikSight:报表展示

二、QuickSight开户授权操作

点击用户头像，–管理QuickSight --邀请用户 --通过邮箱 --选择共享文件夹 --指定文件夹选择授权用户

三、什么是S aas

SaaS 行业电商、医疗、地产、物流,一般都会用到hubspot

从产品角度来看，Hubspot有三款产品，Marketing、CRM和Sales，共同实现Inbound Marketing（集客营销）全流程服务。

其中，Marketing是核心，提供SEO、社交媒体、网页制作及优化、网站评分等工具产品；CRM实现数据可视化，并自动追踪客户行为；Sales作为联系销售人员与客户的工具。

四、创建临时视图：















相关文章：
















AWS Glue Pyspark+Athena基础学习汇总




Pyspark 基础学习汇总篇🍎 一、AWS 架构 ① AWS Glue:工作平台，包括脚本的编写以及管理脚本的运行状态以及调度等（主要：数据库配置、ETL和数据转换脚本编写、调度） ② Amazon S3 数据湖（数仓):数据的存储 ③ Athena:（雅典娜）SQL直接编写查询工作台（会产生费用） ④ Q…...






编程日记
2023/9/11 7:43:30



















智能合约安全新范式，超越 `require`和`assert`




智能合约安全新范式，超越 require_assert 
摘要 
不要只为特定的函数写 require 语句；为你的协议写 require 语句。函数遵循检查(requirements)-生效(Effects)-交互(INteractions)协议不变性(Invariants)或 FREI-PI 模式可以帮助你的合约更加安全&#x…...






编程日记
2023/9/11 7:42:29



















【ESP-S3-BOX-Lite花屏问题】：Github下载源码（出厂源码factory_demo）编译调试到ESP-S3-BOX-Lite中出现花屏现象




项目场景： 最近拿到了一块乐鑫的  ESP-S3-BOX-Lite  （esp-box: ESP-BOX 是乐鑫信息科技） 详细资料（esp32_s3_box_lite） 
版本信息 
ESP-BOX依赖的 ESP-IDF分支信息支持状态master> release/v5.1 commit id: 22cfbf3…...






编程日记
2023/9/11 7:41:28



















Redis集群3.2.11离线安装详细版本(使用Ruby)




1.安装软件准备 
1.Redis版本下载 
Index of /releases/http://download.redis.io/releases/ 
1.2gcc环境准备 GCC（GNU Compiler Collection，GNU编译器套件）是一套用于编译程序代码的开源编译器工具集。它的主要用途是将高级编程语言（如C、C++、Fortran等）编写的源代码转换…...






编程日记
2023/9/11 7:40:27



















Ansible自动化运维




目录 
前言 
一、概述 
常见的开源自动化运维工具比较 
二、ansible环境搭建 
三、ansible模块 
（一）、hostname模块 
（二）、file模块 
（三）、copy模块 
（四）、fetch模块 
&#xff…...






编程日记
2023/9/11 7:39:26



















MSTP + Eth-Trunk配置实验 华为实验手册




1.1 实验介绍 
1.1.1 关于本实验 
以太网是当今现有局域网LAN（Local Area Network）采用的最通用的通信协议标准，以太网作为一种原理简单、便于实现同时又价格低廉的局域网技术已经成为业界的主流。 本实验主要介绍了LAN网络中的Eth-Trunk技术…...






编程日记
2023/9/11 7:38:25



















滚动菜单 flutter




想实现这个功能： 下面的代码可以实现： 
import package:flutter/material.dart;void main() > runApp(MyApp());class MyApp extends StatelessWidget {static const String _title  Flutter Code Sample;overrideWidget build(BuildContext context)…...






编程日记
2023/9/11 7:37:23



















javaee springMVC数字类型转换之通过注解的方式




po 
在属性上增加注解 NumberFormat(pattern  “#,#.#”) 
package com.test.pojo;import org.springframework.format.annotation.DateTimeFormat;
import org.springframework.format.annotation.NumberFormat;import java.util.Date;public class Users {private int uid;pr…...






编程日记
2023/9/11 7:36:23



















SQL中CASE的用法




在SQL中，CASE语句是一种条件表达式，用于根据条件执行不同的操作。它有两种形式：简单CASE表达式和搜索CASE表达式。 简单CASE表达式的语法如下： 
CASE expressionWHEN value1 THEN result1WHEN value2 THEN result2...ELSE result
…...






编程日记
2023/9/11 7:35:22



















自己的碎碎念集合




自己的碎碎念集合 2023-09-07 c++叠加三目运算符闰年计算法2023-08-13 一个小题目 A+B problem一、问题及解答关碍总结2023-07-26 C的2至36进制转换函数一、itoa()函数的示例代码总结2023-07-19 平面坐标下判断三角形以及输出周长和面积一. 基本知识总结2023-06-25 达芬奇去除白…...






编程日记
2023/9/11 7:34:21



















暂定名「码道功成：Coder启示录」




听人劝、吃饱饭，奉劝各位小伙伴，不要订阅该文所属专栏。  作者：不渴望力量的哈士奇(哈哥)，十余年工作经验, 跨域学习者，从事过全栈研发、产品经理等工作，现任研发部门 CTO 。荣誉：2022年度博客之星Top4、博客专家认证、全栈领域优质创作者、新星计划导师，“星荐官共赢计…...






编程日记
2023/9/11 7:33:20



















Apache HTTPD （CVE-2017-15715）换行解析漏洞复现




Apache HTTPD 换行解析漏洞 
CVE-2017-15715漏洞简介 
组件版本漏洞名称 
Apache HTTPD 换行解析漏洞（CVE-2017-15715） 
漏洞描述 
​ Apache HTTPD是一款HTTP服务器，它可以通过mod_php来运行PHP网页。其2.4.0~2.4.29版本中存在一个解析漏洞&…...






编程日记
2023/9/11 7:32:19



















Spring Boot集成JasperReport生成文档




由于工作需要，要实现后端根据模板动态填充数据生成PDF文档，通过技术选型，使用Ireport5.6来设计模板，结合JasperReports5.6工具库来调用渲染生成PDF文档。 
一、使用Ireport designer 5.6设计模板 
ireport的使用由于时间关系不便多…...






编程日记
2023/9/11 7:31:18



















02-Tomcat打破双亲委派机制




上一篇：01-从JDK源码级别剖析JVM类加载机制 
Tomcat 如果使用默认的双亲委派类加载机制行不行？ 
我们思考一下：Tomcat是个web容器， 那么它要解决什么问题： 
一个web容器可能需要部署两个应用程序，不同的应用…...






编程日记
2023/9/11 7:30:17



















怎么理解flink的异步检查点机制




背景 
flink的checkpoint监控页面那里有两个指标Sync Duration 和Async Duration，一个是开始进行同步checkpoint所需的时间，一个是异步checkpoint过程所需的时间，你是否也有过疑惑，是否只是同步过程中的时间才会阻塞正常的数据处理…...






编程日记
2023/9/11 7:29:14



















SpringMVC ＜url-pattern/＞解读




1. < url-pattern/>的值 
(1).使用拓展名的方式&#xff0c;语法*.xxx&#xff0c;xxx是自定义的拓展名&#xff0c;常用的方式*.do&#xff0c;*.action,不能使用*.jsp.
(2).使用斜杠 "/"当项目中使用了 / &#xff0c;他会替代tomcat中的default。导致所有的…...






编程日记
2023/9/11 7:28:13



















大学毕业设计的益处：培养实践能力、深入专业领域、展示自信与建立联系




大学生做毕业设计有许多好处&#xff0c;以下是一些主要的原因和好处&#xff1a; 实践应用能力&#xff1a;毕业设计通常需要学生将所学的知识和技能应用到一个具体的项目中&#xff0c;这有助于他们将理论知识转化为实际应用能力。  独立思考和解决问题&#xff1a;毕业设计要…...






编程日记
2023/9/11 7:27:12



















ChatGPT：概述Vue.js中data函数初始化和created钩子函数调用的顺序和问题解决方法




ChatGPT&#xff1a;概述Vue.js中data函数初始化和created钩子函数调用的顺序和问题解决方法 我将输入一段Vue代码&#xff0c;请你记住&#xff1a; created() {console.log(this.queryInfo)this.getClueList();},data() {return {allQueryInfo: {str: ,//线索标题查询信息},/…...






编程日记
2023/9/11 7:26:11



















SpringBoot【基础篇】




一、快速上手 按照要求&#xff0c;左侧选择web&#xff0c;然后在中间选择Spring Web即可&#xff0c;选完右侧就出现了新的内容项&#xff0c;这就表示勾选成功了 
关注&#xff1a;此处选择的SpringBoot的版本使用默认的就可以了&#xff0c;需要说一点&#xff0c;SpringBo…...






编程日记
2023/9/11 7:25:10



















Vuex - state 状态(获取和使用共享数据)




文章目录 一、state是什么&#xff1f;二、state状态的作用三、如何使用store数据呢&#xff1f;使用数据的两种方式&#xff1a;1. 通过store 直接访问2. 通过辅助函数访问(简化) 一、state是什么&#xff1f; 
state是状态&#xff08;数据&#xff09; &#xff0c; 类似于v…...






编程日记
2023/9/11 7:24:08





















地震勘探——干扰波识别、井中地震时距曲线特点




目录 干扰波识别反射波地震勘探的干扰波 井中地震时距曲线特点 干扰波识别 
有效波&#xff1a;可以用来解决所提出的地质任务的波&#xff1b;干扰波&#xff1a;所有妨碍辨认、追踪有效波的其他波。 地震勘探中&#xff0c;有效波和干扰波是相对的。例如&#xff0c;在反射波…...






编程新知
2026/2/2 3:20:56



















Cursor实现用excel数据填充word模版的方法




cursor主页&#xff1a;https://www.cursor.com/ 
任务目标&#xff1a;把excel格式的数据里的单元格&#xff0c;按照某一个固定模版填充到word中 文章目录 注意事项逐步生成程序1. 确定格式2. 调试程序 注意事项 
直接给一个excel文件和最终呈现的word文件的示例&#xff0c;…...






编程新知
2025/8/23 5:46:26



















蓝桥杯 2024 15届国赛 A组 儿童节快乐




P10576 [蓝桥杯 2024 国 A] 儿童节快乐 
题目描述 
五彩斑斓的气球在蓝天下悠然飘荡&#xff0c;轻快的音乐在耳边持续回荡&#xff0c;小朋友们手牵着手一同畅快欢笑。在这样一片安乐祥和的氛围下&#xff0c;六一来了。 
今天是六一儿童节&#xff0c;小蓝老师为了让大家在节…...






编程新知
2025/12/5 2:40:04



















Mysql8 忘记密码重置，以及问题解决




1.使用免密登录 
找到配置MySQL文件&#xff0c;我的文件路径是/etc/mysql/my.cnf&#xff0c;有的人的是/etc/mysql/mysql.cnf 在里最后加入 
skip-grant-tables重启MySQL服务 
service mysql restartShutting down MySQL… SUCCESS! Starting MySQL… SUCCESS! 重启成功 
2.登…...






编程新知
2026/1/9 8:59:09



















接口自动化测试：HttpRunner基础




相关文档 
HttpRunner V3.x中文文档 HttpRunner 用户指南 使用HttpRunner 3.x实现接口自动化测试 
HttpRunner介绍 
HttpRunner 是一个开源的 API 测试工具&#xff0c;支持 HTTP(S)/HTTP2/WebSocket/RPC 等网络协议&#xff0c;涵盖接口测试、性能测试、数字体验监测等测试类型…...






编程新知
2026/1/29 7:31:17



















【MATLAB代码】基于最大相关熵准则（MCC）的三维鲁棒卡尔曼滤波算法（MCC-KF），附源代码|订阅专栏后可直接查看




文章所述的代码实现了基于最大相关熵准则（MCC）的三维鲁棒卡尔曼滤波算法（MCC-KF），针对传感器观测数据中存在的脉冲型异常噪声问题，通过非线性加权机制提升滤波器的抗干扰能力。代码通过对比传统KF与MCC-KF在含异常值场景下的表现，验证了后者在状态估计鲁棒性方面的显著优…...






编程新知
2026/1/28 9:00:05



















NPOI操作EXCEL文件 ——CAD C# 二次开发




缺点:dll.版本容易加载错误。CAD加载插件时&#xff0c;没有加载所有类库。插件运行过程中用到某个类库&#xff0c;会从CAD的安装目录找&#xff0c;找不到就报错了。 【方案2】让CAD在加载过程中把类库加载到内存 【方案3】是发现缺少了哪个库&#xff0c;就用插件程序加载进…...






编程新知
2026/1/26 13:35:42



















云原生周刊：k0s 成为 CNCF 沙箱项目




开源项目推荐 
HAMi 
HAMi&#xff08;原名 k8s‑vGPU‑scheduler&#xff09;是一款 CNCF Sandbox 级别的开源 K8s 中间件&#xff0c;通过虚拟化 GPU/NPU 等异构设备并支持内存、计算核心时间片隔离及共享调度&#xff0c;为容器提供统一接口&#xff0c;实现细粒度资源配额…...






编程新知
2025/12/1 3:15:17



















二维FDTD算法仿真




二维FDTD算法仿真&#xff0c;并带完全匹配层&#xff0c;输入波形为高斯波、平面波 
FDTD_二维/FDTD.zip , 6075 FDTD_二维/FDTD_31.m , 1029 FDTD_二维/FDTD_32.m , 2806 FDTD_二维/FDTD_33.m , 3782 FDTD_二维/FDTD_34.m , 4182 FDTD_二维/FDTD_35.m , 4793...






编程新知
2025/9/10 21:14:06



















C++--string的模拟实现




一,引言 
string的模拟实现是只对string对象中给的主要功能经行模拟实现&#xff0c;其目的是加强对string的底层了解&#xff0c;以便于在以后的学习或者工作中更加熟练的使用string。本文中的代码仅供参考并不唯一。 
二,默认成员函数 
string主要有三个成员变量&#xff0c;…...






编程新知
2026/1/26 19:02:17