当前位置： 首页 > news >正文

AWS Glue Pyspark+Athena基础学习汇总

news 文章来源：https://blog.csdn.net/llAl_lAll/article/details/132790225 2024/11/26 8:23:37

Pyspark 基础学习汇总篇🍎

一、AWS 架构

① AWS Glue:工作平台，包括脚本的编写以及管理脚本的运行状态以及调度等（主要：数据库配置、ETL和数据转换脚本编写、调度）

② Amazon S3 数据湖（数仓):数据的存储

③ Athena:（雅典娜）SQL直接编写查询工作台（会产生费用）

④ QucikSight:报表展示

二、QuickSight开户授权操作

点击用户头像，–管理QuickSight --邀请用户 --通过邮箱 --选择共享文件夹 --指定文件夹选择授权用户

三、什么是S aas

SaaS 行业电商、医疗、地产、物流,一般都会用到hubspot

从产品角度来看，Hubspot有三款产品，Marketing、CRM和Sales，共同实现Inbound Marketing（集客营销）全流程服务。

其中，Marketing是核心，提供SEO、社交媒体、网页制作及优化、网站评分等工具产品；CRM实现数据可视化，并自动追踪客户行为；Sales作为联系销售人员与客户的工具。

四、创建临时视图：















相关文章：
















AWS Glue Pyspark+Athena基础学习汇总




Pyspark 基础学习汇总篇🍎 一、AWS 架构 ① AWS Glue:工作平台，包括脚本的编写以及管理脚本的运行状态以及调度等（主要：数据库配置、ETL和数据转换脚本编写、调度） ② Amazon S3 数据湖（数仓):数据的存储 ③ Athena:（雅典娜）SQL直接编写查询工作台（会产生费用） ④ Q…...






编程日记
2023/9/11 7:43:30



















智能合约安全新范式，超越 `require`和`assert`




智能合约安全新范式，超越 require_assert 
摘要 
不要只为特定的函数写 require 语句；为你的协议写 require 语句。函数遵循检查(requirements)-生效(Effects)-交互(INteractions)协议不变性(Invariants)或 FREI-PI 模式可以帮助你的合约更加安全&#x…...






编程日记
2023/9/11 7:42:29



















【ESP-S3-BOX-Lite花屏问题】：Github下载源码（出厂源码factory_demo）编译调试到ESP-S3-BOX-Lite中出现花屏现象




项目场景： 最近拿到了一块乐鑫的  ESP-S3-BOX-Lite  （esp-box: ESP-BOX 是乐鑫信息科技） 详细资料（esp32_s3_box_lite） 
版本信息 
ESP-BOX依赖的 ESP-IDF分支信息支持状态master> release/v5.1 commit id: 22cfbf3…...






编程日记
2023/9/11 7:41:28



















Redis集群3.2.11离线安装详细版本(使用Ruby)




1.安装软件准备 
1.Redis版本下载 
Index of /releases/http://download.redis.io/releases/ 
1.2gcc环境准备 GCC（GNU Compiler Collection，GNU编译器套件）是一套用于编译程序代码的开源编译器工具集。它的主要用途是将高级编程语言（如C、C++、Fortran等）编写的源代码转换…...






编程日记
2023/9/11 7:40:27



















Ansible自动化运维




目录 
前言 
一、概述 
常见的开源自动化运维工具比较 
二、ansible环境搭建 
三、ansible模块 
（一）、hostname模块 
（二）、file模块 
（三）、copy模块 
（四）、fetch模块 
&#xff…...






编程日记
2023/9/11 7:39:26



















MSTP + Eth-Trunk配置实验 华为实验手册




1.1 实验介绍 
1.1.1 关于本实验 
以太网是当今现有局域网LAN（Local Area Network）采用的最通用的通信协议标准，以太网作为一种原理简单、便于实现同时又价格低廉的局域网技术已经成为业界的主流。 本实验主要介绍了LAN网络中的Eth-Trunk技术…...






编程日记
2023/9/11 7:38:25



















滚动菜单 flutter




想实现这个功能： 下面的代码可以实现： 
import package:flutter/material.dart;void main() > runApp(MyApp());class MyApp extends StatelessWidget {static const String _title  Flutter Code Sample;overrideWidget build(BuildContext context)…...






编程日记
2023/9/11 7:37:23



















javaee springMVC数字类型转换之通过注解的方式




po 
在属性上增加注解 NumberFormat(pattern  “#,#.#”) 
package com.test.pojo;import org.springframework.format.annotation.DateTimeFormat;
import org.springframework.format.annotation.NumberFormat;import java.util.Date;public class Users {private int uid;pr…...






编程日记
2023/9/11 7:36:23



















SQL中CASE的用法




在SQL中，CASE语句是一种条件表达式，用于根据条件执行不同的操作。它有两种形式：简单CASE表达式和搜索CASE表达式。 简单CASE表达式的语法如下： 
CASE expressionWHEN value1 THEN result1WHEN value2 THEN result2...ELSE result
…...






编程日记
2023/9/11 7:35:22



















自己的碎碎念集合




自己的碎碎念集合 2023-09-07 c++叠加三目运算符闰年计算法2023-08-13 一个小题目 A+B problem一、问题及解答关碍总结2023-07-26 C的2至36进制转换函数一、itoa()函数的示例代码总结2023-07-19 平面坐标下判断三角形以及输出周长和面积一. 基本知识总结2023-06-25 达芬奇去除白…...






编程日记
2023/9/11 7:34:21



















暂定名「码道功成：Coder启示录」




听人劝、吃饱饭，奉劝各位小伙伴，不要订阅该文所属专栏。  作者：不渴望力量的哈士奇(哈哥)，十余年工作经验, 跨域学习者，从事过全栈研发、产品经理等工作，现任研发部门 CTO 。荣誉：2022年度博客之星Top4、博客专家认证、全栈领域优质创作者、新星计划导师，“星荐官共赢计…...






编程日记
2023/9/11 7:33:20



















Apache HTTPD （CVE-2017-15715）换行解析漏洞复现




Apache HTTPD 换行解析漏洞 
CVE-2017-15715漏洞简介 
组件版本漏洞名称 
Apache HTTPD 换行解析漏洞（CVE-2017-15715） 
漏洞描述 
​ Apache HTTPD是一款HTTP服务器，它可以通过mod_php来运行PHP网页。其2.4.0~2.4.29版本中存在一个解析漏洞&…...






编程日记
2023/9/11 7:32:19



















Spring Boot集成JasperReport生成文档




由于工作需要，要实现后端根据模板动态填充数据生成PDF文档，通过技术选型，使用Ireport5.6来设计模板，结合JasperReports5.6工具库来调用渲染生成PDF文档。 
一、使用Ireport designer 5.6设计模板 
ireport的使用由于时间关系不便多…...






编程日记
2023/9/11 7:31:18



















02-Tomcat打破双亲委派机制




上一篇：01-从JDK源码级别剖析JVM类加载机制 
Tomcat 如果使用默认的双亲委派类加载机制行不行？ 
我们思考一下：Tomcat是个web容器， 那么它要解决什么问题： 
一个web容器可能需要部署两个应用程序，不同的应用…...






编程日记
2023/9/11 7:30:17



















怎么理解flink的异步检查点机制




背景 
flink的checkpoint监控页面那里有两个指标Sync Duration 和Async Duration，一个是开始进行同步checkpoint所需的时间，一个是异步checkpoint过程所需的时间，你是否也有过疑惑，是否只是同步过程中的时间才会阻塞正常的数据处理…...






编程日记
2023/9/11 7:29:14



















SpringMVC ＜url-pattern/＞解读




1. < url-pattern/>的值 
(1).使用拓展名的方式&#xff0c;语法*.xxx&#xff0c;xxx是自定义的拓展名&#xff0c;常用的方式*.do&#xff0c;*.action,不能使用*.jsp.
(2).使用斜杠 "/"当项目中使用了 / &#xff0c;他会替代tomcat中的default。导致所有的…...






编程日记
2023/9/11 7:28:13



















大学毕业设计的益处：培养实践能力、深入专业领域、展示自信与建立联系




大学生做毕业设计有许多好处&#xff0c;以下是一些主要的原因和好处&#xff1a; 实践应用能力&#xff1a;毕业设计通常需要学生将所学的知识和技能应用到一个具体的项目中&#xff0c;这有助于他们将理论知识转化为实际应用能力。  独立思考和解决问题&#xff1a;毕业设计要…...






编程日记
2023/9/11 7:27:12



















ChatGPT：概述Vue.js中data函数初始化和created钩子函数调用的顺序和问题解决方法




ChatGPT&#xff1a;概述Vue.js中data函数初始化和created钩子函数调用的顺序和问题解决方法 我将输入一段Vue代码&#xff0c;请你记住&#xff1a; created() {console.log(this.queryInfo)this.getClueList();},data() {return {allQueryInfo: {str: ,//线索标题查询信息},/…...






编程日记
2023/9/11 7:26:11



















SpringBoot【基础篇】




一、快速上手 按照要求&#xff0c;左侧选择web&#xff0c;然后在中间选择Spring Web即可&#xff0c;选完右侧就出现了新的内容项&#xff0c;这就表示勾选成功了 
关注&#xff1a;此处选择的SpringBoot的版本使用默认的就可以了&#xff0c;需要说一点&#xff0c;SpringBo…...






编程日记
2023/9/11 7:25:10



















Vuex - state 状态(获取和使用共享数据)




文章目录 一、state是什么&#xff1f;二、state状态的作用三、如何使用store数据呢&#xff1f;使用数据的两种方式&#xff1a;1. 通过store 直接访问2. 通过辅助函数访问(简化) 一、state是什么&#xff1f; 
state是状态&#xff08;数据&#xff09; &#xff0c; 类似于v…...






编程日记
2023/9/11 7:24:08



















tcp连接+套接字编程




tcp头部 tcp端口号 TCP的连接是需要四个要素确定唯一一个连接&#xff1a;&#xff08;源IP&#xff0c;源端口号&#xff09; &#xff08;目地IP&#xff0c;目的端口号&#xff09; 所以TCP首部预留了两个16位作为端口号的存储&#xff0c;而IP地址由上一层IP协议负责传递 源…...






编程日记
2023/9/11 7:23:07



















OpenCV（三十四）：轮廓外接最大、最小矩形和多边形拟合




目录 
1.轮廓外接最大矩形boundingRect() 
2.轮廓外接最小矩形minAreaRect() 
3.轮廓外接多边形approxPolyDP() 1.轮廓外接最大矩形boundingRect() Rect cv::boundingRect ( InputArray array ) array:输入的灰度图像或者2D点集&#xff0c;数据类型为vector<Point>或者M…...






编程日记
2023/9/11 7:22:06



















Kafka3.0.0版本——消费者（offset的默认维护位置）




目录 一、offset的默认维护位置1.1、offset的默认维护位置概述1.2、offset的默认维护位置图解 二、消费者offset的案例 一、offset的默认维护位置 
1.1、offset的默认维护位置概述 
Kafka0.9版本之前&#xff0c;consumer默认将offset保存在Zookeeper中。从Kafka0.9版本开始&am…...






编程日记
2023/9/11 7:21:05



















Wireshark技巧[监听串口包]




监听串口包 本文摘录于&#xff1a;https://blog.csdn.net/qq_20405005/article/details/79652927只是做学习备份之用&#xff0c;绝无抄袭之意&#xff0c;有疑惑请联系本人&#xff01; 这里要保证安装了USBpcap:  
打开USBpcap后一半都要输入过滤条件,否则USB太多数据了,比如…...






编程日记
2023/9/11 7:20:01



















安全运营中心即服务提供商评估




如果组织当前没有自己的安全运营中心(SOC)&#xff0c;那么可能需要考虑如何在不从头开始构建的情况下获得安全运营中心(SOC)。自己构建安全运营中心(SOC)的费用可能会非常昂贵&#xff0c;考虑到工作人员全天候运营的配置成本&#xff0c;就更是如此。在过去几年中&#xff0c…...






编程日记
2023/9/11 7:19:00



















算法通关村第十三关——幂运算问题解析




前言 
幂运算为常见的数学运算&#xff0c;形式为  a b a^b ab &#xff0c;其中a为底数&#xff0c;b为指数&#xff0c; 
力扣中&#xff0c;幂运算相关的问题主要是判断一个数是不是特定正整数的整数次幂&#xff0c;以及快速幂的处理。 
1.求2的幂 
力扣231题&#xff0c;给…...






编程日记
2023/9/11 7:17:58



















Python 之使用Numpy库来加载Numpy（.npy）文件并检查其内容




文章目录 总的介绍data.dtypedata.shapedata.ndimdata.size 总的介绍 
要判断一个Numpy&#xff08;.npy&#xff09;文件的数据集类型&#xff0c;你可以使用Python中的Numpy库来加载该文件并检查其内容。以下是一些常见的步骤&#xff1a; 
导入Numpy库&#xff1a; 首先&…...






编程日记
2023/9/11 7:16:56



















C#学习系列之UDP同端口收发问题




C#学习系列之UDP同端口收发问题 前言解决办法关于JoinMulticastGroup总结 前言 
想测试自己的程序问题&#xff0c;建立了两个UDP程序&#xff0c;一个往端口中接到数就传出去&#xff0c;另一个从这个端口接数据来解析。 出现的问题是  每次打开端口&#xff0c;另一个程序就无…...






编程日记
2023/9/11 7:15:55



















SpringMVC之文件上传下载以及jrebel的使用




目录 
一、文件上传 
1.1 导入依赖 
1.2 配置文件上传解析器 
1.3 配置服务器存放文件地址 
1.3.1 点击编辑Configurations 
1.3.2 将项目部署至tomcat服务器上 
1.3.3 配置相对路径 
1.4 导入PropertiesUtil工具类 
1.5 编写resource.properties 
1.6 添加sql 
1.7 编写PageCo…...






编程日记
2023/9/11 7:14:54



















基于Fomantic UI Web构建 个人导航站点网站源码 网站技术导航源码




BYR-Navi-master好看有个性的网站技术导航源码 该网站基于Fomantic UI Web框架构建&#xff0c;整个项目的设计和构建具有高度的配置和定制灵活性。 
整体风格比较适合个人导航站点使用 
搜索框输入关键词后&#xff0c;点击上方搜索引擎图标可跳转打开对应搜索引擎搜索结果&am…...






编程日记
2023/9/11 7:13:53



















内江网站seo/互联网营销师培训内容




目标&#xff1a; 
了解 SpringBoot 的自动装配原理 学习步骤&#xff1a; 1、了解 父依赖管理特性 2、自动配置包 spring-boot-autoconfigure  3、自动配置原理 一、SpringBoot 父依赖管理特性 新建完项目&#xff0c;为什么我们只导入了这个包 就可以运行web项目了呢 &#x…...






编程日记
2024/11/26 4:25:02



















做网站一定要有公司吗/真正免费的网站建站平台运营




1&#xff1a;直接获取Camera预览的数据&#xff0c;然后将数据用X264等开源的编码器压缩后&#xff0c;使用标准的RTP协议传输到远程服务器。这种方法的关键是&#xff0c;采用纯软件的处理方式&#xff0c;处理能力有限&#xff0c;但是只要是一个android系统都可以用&#x…...






编程日记
2024/11/26 1:24:27



















wordpress导航栏目/软文范例100字以内




音箱由哪几部分组成&#xff1f; 
市面上的音箱形形色色&#xff0c;但无论哪一种&#xff0c;都是由喇叭单元&#xff08;术语叫扬声器单元&#xff09;和箱体这两大最基本的部分组成&#xff0c;另外&#xff0c;绝大多数音箱至少使用了两只或两只以上的喇叭单元实行所谓的多…...






编程日记
2024/11/26 0:25:50



















南宁网站制作网络公司/怎样做网站推广啊




文章目录spring注解开发1.使用注解定义bean1.配置形式定义bean2.注解形式定义bean1.指定component的名字2.不指定component的名字3.Component三个引申注解2.纯注解定义bean(配置类&#xff09;1.新建SpringConfig类2.创建容器加载bean3.bean管理spring注解开发 
1.使用注解定义…...






编程日记
2024/11/25 22:58:07



















wordpress p 收录/国产十大erp软件




前言 
投递的是后端开发&#xff0c;日常实习&#xff0c;产品研发与基础架构部&#xff0c;即负责技术中台的大部门&#xff0c;具体到给教育产品线做用户增长的小部门&#xff0c;主要运用go和python。 
由于是我的一位HR实习的大四学姐帮我推的简历&#xff0c;面试全程都由…...






编程日记
2024/11/25 22:03:29



















今日世界军事新闻/seo排名快速刷




人脸识别关键技术及原理人脸识别基础关键技术1、人脸检测&#xff08;Face Detection&#xff09;2、人脸对齐&#xff08;Face Alignment&#xff09;3、人脸特征提取&#xff08;Face Feature Extraction&#xff09;4、人脸识别&#xff08;Face Recognition&#xff09;5、…...






编程日记
2024/11/25 18:20:07