当前位置： 首页 > news >正文

AWS Glue Pyspark+Athena基础学习汇总

news 文章来源：https://blog.csdn.net/llAl_lAll/article/details/132790225 2025/1/23 9:23:30

Pyspark 基础学习汇总篇🍎

一、AWS 架构

① AWS Glue:工作平台，包括脚本的编写以及管理脚本的运行状态以及调度等（主要：数据库配置、ETL和数据转换脚本编写、调度）

② Amazon S3 数据湖（数仓):数据的存储

③ Athena:（雅典娜）SQL直接编写查询工作台（会产生费用）

④ QucikSight:报表展示

二、QuickSight开户授权操作

点击用户头像，–管理QuickSight --邀请用户 --通过邮箱 --选择共享文件夹 --指定文件夹选择授权用户

三、什么是S aas

SaaS 行业电商、医疗、地产、物流,一般都会用到hubspot

从产品角度来看，Hubspot有三款产品，Marketing、CRM和Sales，共同实现Inbound Marketing（集客营销）全流程服务。

其中，Marketing是核心，提供SEO、社交媒体、网页制作及优化、网站评分等工具产品；CRM实现数据可视化，并自动追踪客户行为；Sales作为联系销售人员与客户的工具。

四、创建临时视图：















相关文章：
















AWS Glue Pyspark+Athena基础学习汇总




Pyspark 基础学习汇总篇🍎 一、AWS 架构 ① AWS Glue:工作平台，包括脚本的编写以及管理脚本的运行状态以及调度等（主要：数据库配置、ETL和数据转换脚本编写、调度） ② Amazon S3 数据湖（数仓):数据的存储 ③ Athena:（雅典娜）SQL直接编写查询工作台（会产生费用） ④ Q…...






编程日记
2023/9/11 7:43:30



















智能合约安全新范式，超越 `require`和`assert`




智能合约安全新范式，超越 require_assert 
摘要 
不要只为特定的函数写 require 语句；为你的协议写 require 语句。函数遵循检查(requirements)-生效(Effects)-交互(INteractions)协议不变性(Invariants)或 FREI-PI 模式可以帮助你的合约更加安全&#x…...






编程日记
2023/9/11 7:42:29



















【ESP-S3-BOX-Lite花屏问题】：Github下载源码（出厂源码factory_demo）编译调试到ESP-S3-BOX-Lite中出现花屏现象




项目场景： 最近拿到了一块乐鑫的  ESP-S3-BOX-Lite  （esp-box: ESP-BOX 是乐鑫信息科技） 详细资料（esp32_s3_box_lite） 
版本信息 
ESP-BOX依赖的 ESP-IDF分支信息支持状态master> release/v5.1 commit id: 22cfbf3…...






编程日记
2023/9/11 7:41:28



















Redis集群3.2.11离线安装详细版本(使用Ruby)




1.安装软件准备 
1.Redis版本下载 
Index of /releases/http://download.redis.io/releases/ 
1.2gcc环境准备 GCC（GNU Compiler Collection，GNU编译器套件）是一套用于编译程序代码的开源编译器工具集。它的主要用途是将高级编程语言（如C、C++、Fortran等）编写的源代码转换…...






编程日记
2023/9/11 7:40:27



















Ansible自动化运维




目录 
前言 
一、概述 
常见的开源自动化运维工具比较 
二、ansible环境搭建 
三、ansible模块 
（一）、hostname模块 
（二）、file模块 
（三）、copy模块 
（四）、fetch模块 
&#xff…...






编程日记
2023/9/11 7:39:26



















MSTP + Eth-Trunk配置实验 华为实验手册




1.1 实验介绍 
1.1.1 关于本实验 
以太网是当今现有局域网LAN（Local Area Network）采用的最通用的通信协议标准，以太网作为一种原理简单、便于实现同时又价格低廉的局域网技术已经成为业界的主流。 本实验主要介绍了LAN网络中的Eth-Trunk技术…...






编程日记
2023/9/11 7:38:25



















滚动菜单 flutter




想实现这个功能： 下面的代码可以实现： 
import package:flutter/material.dart;void main() > runApp(MyApp());class MyApp extends StatelessWidget {static const String _title  Flutter Code Sample;overrideWidget build(BuildContext context)…...






编程日记
2023/9/11 7:37:23



















javaee springMVC数字类型转换之通过注解的方式




po 
在属性上增加注解 NumberFormat(pattern  “#,#.#”) 
package com.test.pojo;import org.springframework.format.annotation.DateTimeFormat;
import org.springframework.format.annotation.NumberFormat;import java.util.Date;public class Users {private int uid;pr…...






编程日记
2023/9/11 7:36:23



















SQL中CASE的用法




在SQL中，CASE语句是一种条件表达式，用于根据条件执行不同的操作。它有两种形式：简单CASE表达式和搜索CASE表达式。 简单CASE表达式的语法如下： 
CASE expressionWHEN value1 THEN result1WHEN value2 THEN result2...ELSE result
…...






编程日记
2023/9/11 7:35:22



















自己的碎碎念集合




自己的碎碎念集合 2023-09-07 c++叠加三目运算符闰年计算法2023-08-13 一个小题目 A+B problem一、问题及解答关碍总结2023-07-26 C的2至36进制转换函数一、itoa()函数的示例代码总结2023-07-19 平面坐标下判断三角形以及输出周长和面积一. 基本知识总结2023-06-25 达芬奇去除白…...






编程日记
2023/9/11 7:34:21



















暂定名「码道功成：Coder启示录」




听人劝、吃饱饭，奉劝各位小伙伴，不要订阅该文所属专栏。  作者：不渴望力量的哈士奇(哈哥)，十余年工作经验, 跨域学习者，从事过全栈研发、产品经理等工作，现任研发部门 CTO 。荣誉：2022年度博客之星Top4、博客专家认证、全栈领域优质创作者、新星计划导师，“星荐官共赢计…...






编程日记
2023/9/11 7:33:20



















Apache HTTPD （CVE-2017-15715）换行解析漏洞复现




Apache HTTPD 换行解析漏洞 
CVE-2017-15715漏洞简介 
组件版本漏洞名称 
Apache HTTPD 换行解析漏洞（CVE-2017-15715） 
漏洞描述 
​ Apache HTTPD是一款HTTP服务器，它可以通过mod_php来运行PHP网页。其2.4.0~2.4.29版本中存在一个解析漏洞&…...






编程日记
2023/9/11 7:32:19



















Spring Boot集成JasperReport生成文档




由于工作需要，要实现后端根据模板动态填充数据生成PDF文档，通过技术选型，使用Ireport5.6来设计模板，结合JasperReports5.6工具库来调用渲染生成PDF文档。 
一、使用Ireport designer 5.6设计模板 
ireport的使用由于时间关系不便多…...






编程日记
2023/9/11 7:31:18



















02-Tomcat打破双亲委派机制




上一篇：01-从JDK源码级别剖析JVM类加载机制 
Tomcat 如果使用默认的双亲委派类加载机制行不行？ 
我们思考一下：Tomcat是个web容器， 那么它要解决什么问题： 
一个web容器可能需要部署两个应用程序，不同的应用…...






编程日记
2023/9/11 7:30:17



















怎么理解flink的异步检查点机制




背景 
flink的checkpoint监控页面那里有两个指标Sync Duration 和Async Duration，一个是开始进行同步checkpoint所需的时间，一个是异步checkpoint过程所需的时间，你是否也有过疑惑，是否只是同步过程中的时间才会阻塞正常的数据处理…...






编程日记
2023/9/11 7:29:14



















SpringMVC ＜url-pattern/＞解读




1. < url-pattern/>的值 
(1).使用拓展名的方式&#xff0c;语法*.xxx&#xff0c;xxx是自定义的拓展名&#xff0c;常用的方式*.do&#xff0c;*.action,不能使用*.jsp.
(2).使用斜杠 "/"当项目中使用了 / &#xff0c;他会替代tomcat中的default。导致所有的…...






编程日记
2023/9/11 7:28:13



















大学毕业设计的益处：培养实践能力、深入专业领域、展示自信与建立联系




大学生做毕业设计有许多好处&#xff0c;以下是一些主要的原因和好处&#xff1a; 实践应用能力&#xff1a;毕业设计通常需要学生将所学的知识和技能应用到一个具体的项目中&#xff0c;这有助于他们将理论知识转化为实际应用能力。  独立思考和解决问题&#xff1a;毕业设计要…...






编程日记
2023/9/11 7:27:12



















ChatGPT：概述Vue.js中data函数初始化和created钩子函数调用的顺序和问题解决方法




ChatGPT&#xff1a;概述Vue.js中data函数初始化和created钩子函数调用的顺序和问题解决方法 我将输入一段Vue代码&#xff0c;请你记住&#xff1a; created() {console.log(this.queryInfo)this.getClueList();},data() {return {allQueryInfo: {str: ,//线索标题查询信息},/…...






编程日记
2023/9/11 7:26:11



















SpringBoot【基础篇】




一、快速上手 按照要求&#xff0c;左侧选择web&#xff0c;然后在中间选择Spring Web即可&#xff0c;选完右侧就出现了新的内容项&#xff0c;这就表示勾选成功了 
关注&#xff1a;此处选择的SpringBoot的版本使用默认的就可以了&#xff0c;需要说一点&#xff0c;SpringBo…...






编程日记
2023/9/11 7:25:10



















Vuex - state 状态(获取和使用共享数据)




文章目录 一、state是什么&#xff1f;二、state状态的作用三、如何使用store数据呢&#xff1f;使用数据的两种方式&#xff1a;1. 通过store 直接访问2. 通过辅助函数访问(简化) 一、state是什么&#xff1f; 
state是状态&#xff08;数据&#xff09; &#xff0c; 类似于v…...






编程日记
2023/9/11 7:24:08



















tcp连接+套接字编程




tcp头部 tcp端口号 TCP的连接是需要四个要素确定唯一一个连接&#xff1a;&#xff08;源IP&#xff0c;源端口号&#xff09; &#xff08;目地IP&#xff0c;目的端口号&#xff09; 所以TCP首部预留了两个16位作为端口号的存储&#xff0c;而IP地址由上一层IP协议负责传递 源…...






编程日记
2023/9/11 7:23:07



















OpenCV（三十四）：轮廓外接最大、最小矩形和多边形拟合




目录 
1.轮廓外接最大矩形boundingRect() 
2.轮廓外接最小矩形minAreaRect() 
3.轮廓外接多边形approxPolyDP() 1.轮廓外接最大矩形boundingRect() Rect cv::boundingRect ( InputArray array ) array:输入的灰度图像或者2D点集&#xff0c;数据类型为vector<Point>或者M…...






编程日记
2023/9/11 7:22:06



















Kafka3.0.0版本——消费者（offset的默认维护位置）




目录 一、offset的默认维护位置1.1、offset的默认维护位置概述1.2、offset的默认维护位置图解 二、消费者offset的案例 一、offset的默认维护位置 
1.1、offset的默认维护位置概述 
Kafka0.9版本之前&#xff0c;consumer默认将offset保存在Zookeeper中。从Kafka0.9版本开始&am…...






编程日记
2023/9/11 7:21:05



















Wireshark技巧[监听串口包]




监听串口包 本文摘录于&#xff1a;https://blog.csdn.net/qq_20405005/article/details/79652927只是做学习备份之用&#xff0c;绝无抄袭之意&#xff0c;有疑惑请联系本人&#xff01; 这里要保证安装了USBpcap:  
打开USBpcap后一半都要输入过滤条件,否则USB太多数据了,比如…...






编程日记
2023/9/11 7:20:01



















安全运营中心即服务提供商评估




如果组织当前没有自己的安全运营中心(SOC)&#xff0c;那么可能需要考虑如何在不从头开始构建的情况下获得安全运营中心(SOC)。自己构建安全运营中心(SOC)的费用可能会非常昂贵&#xff0c;考虑到工作人员全天候运营的配置成本&#xff0c;就更是如此。在过去几年中&#xff0c…...






编程日记
2023/9/11 7:19:00



















算法通关村第十三关——幂运算问题解析




前言 
幂运算为常见的数学运算&#xff0c;形式为  a b a^b ab &#xff0c;其中a为底数&#xff0c;b为指数&#xff0c; 
力扣中&#xff0c;幂运算相关的问题主要是判断一个数是不是特定正整数的整数次幂&#xff0c;以及快速幂的处理。 
1.求2的幂 
力扣231题&#xff0c;给…...






编程日记
2023/9/11 7:17:58



















Python 之使用Numpy库来加载Numpy（.npy）文件并检查其内容




文章目录 总的介绍data.dtypedata.shapedata.ndimdata.size 总的介绍 
要判断一个Numpy&#xff08;.npy&#xff09;文件的数据集类型&#xff0c;你可以使用Python中的Numpy库来加载该文件并检查其内容。以下是一些常见的步骤&#xff1a; 
导入Numpy库&#xff1a; 首先&…...






编程日记
2023/9/11 7:16:56



















C#学习系列之UDP同端口收发问题




C#学习系列之UDP同端口收发问题 前言解决办法关于JoinMulticastGroup总结 前言 
想测试自己的程序问题&#xff0c;建立了两个UDP程序&#xff0c;一个往端口中接到数就传出去&#xff0c;另一个从这个端口接数据来解析。 出现的问题是  每次打开端口&#xff0c;另一个程序就无…...






编程日记
2023/9/11 7:15:55



















SpringMVC之文件上传下载以及jrebel的使用




目录 
一、文件上传 
1.1 导入依赖 
1.2 配置文件上传解析器 
1.3 配置服务器存放文件地址 
1.3.1 点击编辑Configurations 
1.3.2 将项目部署至tomcat服务器上 
1.3.3 配置相对路径 
1.4 导入PropertiesUtil工具类 
1.5 编写resource.properties 
1.6 添加sql 
1.7 编写PageCo…...






编程日记
2023/9/11 7:14:54



















基于Fomantic UI Web构建 个人导航站点网站源码 网站技术导航源码




BYR-Navi-master好看有个性的网站技术导航源码 该网站基于Fomantic UI Web框架构建&#xff0c;整个项目的设计和构建具有高度的配置和定制灵活性。 
整体风格比较适合个人导航站点使用 
搜索框输入关键词后&#xff0c;点击上方搜索引擎图标可跳转打开对应搜索引擎搜索结果&am…...






编程日记
2023/9/11 7:13:53



















网站静态页面/网站优化seo




本节书摘来异步社区《Android游戏开发详解》一书中的第2章&#xff0c;第2.14节&#xff0c;作者&#xff1a; 【美】Jonathan S. Harbour 译者&#xff1a; 李强 责编&#xff1a; 陈冀康&#xff0c;更多章节内容可以访问云栖社区“异步社区”公众号查看。 2.14　隐藏变量 An…...






编程日记
2025/1/23 9:08:33



















网站建设公司公司/广告公司起名大全最新




要开始编辑一个需要加密的新文件&#xff0c;可以用 "-x" 参数来启动 Vim。例如: vim -x exam.txt Vim 提示你确定一个密码&#xff0c;用于为文件加密和解密: Enter encryption key: 现在仔细键入那个密码。你所键入的字符将为星号代替&#xff0c;因此你看不到。为…...






编程日记
2025/1/23 6:55:43



















湘潭网站推广/如何搭建一个网站平台




一、环境说明&#xff1a;  
1、Kettle版本&#xff1a;7.1.0.0-12  
我本人使用的zip解压缩版本的 kettle工具。 官网下载地址&#xff1a;  Kettle官网下载          2、JDK安装 
本地Win系统需要安装好Java的JDK。我的Win7系统安装的是JDK1.8 。 3、新增JAR包 
在使用 kettl…...






编程日记
2025/1/23 0:44:52



















网站卖东西怎么做的/今日十大头条新闻




前言在前后端分离开发的时候我们需要用到参数校验&#xff0c;前端需要进行参数校验&#xff0c;后端接口同样的也需要&#xff0c;以防传入不合法的数据。1、首先还是先导包&#xff0c;导入pom文件。org.springframework.bootspring-boot-starter-validation2、解释一下注解的…...






编程日记
2025/1/23 0:10:05



















北京住房城乡建设部网站/长沙seo网络推广




讲解一篇Java代码根据参数动态生成PC二维码效果&#xff0c;且成功扫描并上传图形或视频资源的功能。技术难度一般&#xff0c;关键在于如何把一整套逻辑思路整合到项目上&#xff0c;如果调用&#xff0c;应该到哪些技术&#xff0c;理清了交互关系&#xff0c;详细对于大家而…...






编程日记
2025/1/22 19:39:47



















用python网站开发/中山seo




一、ES是什么Elasticsearch是一个基于Apache Lucene的开源搜索引擎&#xff0c;通过简易的API来隐藏Lucene的复杂性。ES的基本结构包括&#xff0c;Cluster集群(由n个节点组成)&#xff0c;Node实例节点&#xff0c;Index索引(一系列documents的集合)&#xff0c;Shard分片(索引…...






编程日记
2025/1/22 17:11:36