当前位置： 首页 > news >正文

spark sql执行引擎原理及配置

news 2026/2/8 1:59:05

如果我们想要给上层开发人员配置好一个统一的sql开发界面，让他们统一通过sql开发即可，可通过spark中的thriftserver服务实现，与hive中的thriftserver类似，配置好该服务后，上层通过db client或者代码中通过jdbc连接即可直接使用sql操作，
在这里插入图片描述
该服务会去请求metastore服务得到元数据后，再将sql语句及元数据给到执行引擎，转换成rdd代码执行。
一个配置案例如下:
1.确保已经配置好了Spark On Hive
2.启动ThriftServerl即可

#直接在root账户下启动即可
$SPARK HOME/sbin/start-thriftserver.sh
–hiveconf hive.server2.thrift.port=10000
–hiveconf hive.server2.thrift.bind.host=nodel
–master local[2]
#master选择local,每一条sql都是local进程执行
#master选择yarn,每一条sql都是在YARN集群中执行

相关文章：

spark sql执行引擎原理及配置

如果我们想要给上层开发人员配置好一个统一的sql开发界面，让他们统一通过sql开发即可，可通过spark中的thriftserver服务实现，与hive中的thriftserver类似，配置好该服务后，上层通过db client或者代码中通过jdbc连接即可…...

编程日记 2024/4/2 5:21:40

【C语言基础】：自定义类型(二) --＞联合和枚举

文章目录 一、联合体1.1 联合体类型的声明1.2 联合体的特点1.3 相同成员的结构体和联合体对比1.4 联合体大小的计算1.5 联合体练习 二、枚举类型2.1 枚举类型的声明2.2 枚举的优点 书山有路勤为径，学海无涯苦作舟。 创作不易，宝子们！如果这篇…...

编程日记 2024/4/2 5:20:39

【授时防火墙】GPS北斗卫星授时信号安全防护装置系统

【授时防火墙】GPS北斗卫星授时信号安全防护装置系统 【授时防火墙】GPS北斗卫星授时信号安全防护装置系统 1、装置概述 卫星信号安全防护装置（以下简称“防护装置”）是一款专门针对卫星导航授时安全的设备。该设备能接收 BD 系统和 GPS 系统卫星信号&am…...

编程日记 2024/4/2 5:19:38

关于 MySQL 优化（详解）

文章目录 关于 MySQL 优化一、硬件方面的优化1、关于 CPU2、关于内存3、关于磁盘 二、MySQL 配置文件1、 default-time-zone8:002、interactive_timeout 1203、wait_timeout 1204、open_files_limit 102405、group_concat_max_len 1024006、usermysql7、character-set-serv…...

编程日记 2024/4/2 5:18:38

Hive详解（5）

Hive 窗口函数 案例 需求：连续三天登陆的用户数据 步骤： -- 建表 create table logins (username string,log_date string ) row format delimited fields terminated by ; -- 加载数据 load data local inpath /opt/hive_data/login into table log…...

编程日记 2024/4/2 5:17:36

阿里云效codeup如何执行github flow工作流

在阿里云效中执行 GitHub 工作流，实质上是在使用 Git 进行版本控制的过程中遵循 GitHub Flow 的原则。GitHub Flow 是一种简洁高效的工作流程，特别适用于追求快速迭代的团队。下面是在阿里云效中执行 GitHub 工作流的基本步骤： 1. 准备工作 …...

编程日记 2024/4/2 5:16:35

node.js的模块化 与 CommonJS规范

一、node.js的模块化 (1)什么是模块化？ 将一个复杂的程序文件依据一定的规则拆分成为多个文件的过程就是模块化 在node.js中，模块化是指把一个大文件拆分成独立并且相互依赖的多个小模块，将每个js文件被认为单独的一个模块；模块…...

编程日记 2024/4/2 5:15:34

RK3588平台开发系列讲解（PWM开发篇）

目录 前⾔ 驱动文件 DTS 节点配置 PWM 流程 PWM 使⽤ 常⻅问题 PWM 在 U-Boot 与 kernel 之间的衔接问题 PWM Regulator 时 PWM pin 脚上下拉配置问题 前⾔ 脉宽调制（ PWM ， Pulse Width Modulation ）功能在嵌⼊式系统中是⾮常常⻅的…...

编程日记 2024/4/2 5:11:30

宝塔面板操作一个服务器域名部署多个网站

此处记录IP一样，端口不一样的操作方式： 宝塔面板操作： 1、创建第一个网站： 网站名用IP地址，默认80端口。 创建好后，直接IP访问就可以了。看到自带的默认首页 2、接下来部署第二个网站： 仍然是…...

编程日记 2024/4/2 5:05:25

surfer绘制等值线图

surfer介绍 Surfer软件，是美国Golden Software公司编制的一款以画三维图的软件。该软件具有强大的插值功能和绘制图件能力，可用来处理XYZ数据，是地质工作者常用的专业成图软件（来源于百度百科）。 surfer可以用来绘制…...

编程日记 2024/4/2 5:02:22

免费开源的 AI 绘图工具 ImgPilot

免费开源的 AI 绘图工具 ImgPilot 分类 开源分享 项目名: ImgPilot -- 通过提示词及涂鸦生成图片 Github 开源地址： GitHub - leptonai/imgpilot: Turn the draft into amazing artwork with the power of Real-Time Latent Consistency Model 在线地址&#xff…...

编程日记 2024/4/2 5:00:19

Java系统架构设计：构建稳定高效的软件基石

在当今数字化时代，软件系统的稳定性、可扩展性和性能至关重要。Java作为一种广泛应用的编程语言，其系统架构设计对于软件的成功实施具有决定性的影响。本文将探讨Java系统架构设计的重要性以及设计过程中的关键要素。 首先，Java系统架构设计…...

编程日记 2024/4/2 4:59:18

【IntermLM2】学习笔记

微调方式 在大模型的下游应用中，可以有两种微调方式 增量续训 即无监督的方式，让模型学习一些新知识，比如某些垂直领域的新知识 使用的数据有：书籍，文章，代码等有监督微调 为了让模型学会理解指令进行对话…...

编程日记 2024/4/2 4:58:17

【二叉树】Leetcode 230. 二叉搜索树中第K小的元素【中等】

二叉搜索树中第K小的元素 给定一个二叉搜索树的根节点 root ，和一个整数 k ，请你设计一个算法查找其中第 k 个最小元素（从 1 开始计数）。 示例1： 输入：root [3,1,4,null,2], k 1 输出：1 解…...

编程日记 2024/4/2 4:57:16

JS中常用的几种事件

在js中分为多种事件，比如点击事件，焦点事件，加载事件，鼠标事件等等... ... 点击事件 onclick点击事件，ondblclick双击事件 焦点事件 onblur元素失去焦点，onfocus元素获取焦点 加载事件 onload一个页面…...

编程日记 2024/4/2 4:55:14

Android WebView的使用与后退键处理

目录 前言首先，我们需要在布局文件中添加webView组件在Activity中获取webView实例，并加载网页内容 前言 webView是Android中常用的组件之一，用于展示网页内容。它可以加载HTML文件、URL链接等网页内容，并提供交互功能。在使用webV…...

编程日记 2024/4/2 4:52:12

【备忘录】Docker 2375远程端口安全漏洞解决

最近为了项目需要，把docker 的远程端口2375 给开放了。不出意外出意外了。没多久，网站报流量告警，第一反应就是开放2375这个端口问题导致，毫不迟疑直接切换服务器。关闭该台服务器的docker服务，并逐步清理掉挖矿进程&a…...

编程日记 2024/4/2 4:51:11

343. 整数拆分（力扣LeetCode）

文章目录 343. 整数拆分题目描述动态规划 343. 整数拆分 题目描述 给定一个正整数 n ，将其拆分为 k 个 正整数 的和（ k > 2 ），并使这些整数的乘积最大化。 返回 你可以获得的最大乘积 。 示例 1: 输入: n 2 输出: 1 解释:…...

编程日记 2024/4/2 4:49:09

Spring面试题系列-3

Spring框架是由于软件开发的复杂性而创建的。Spring使用的是基本的JavaBean来完成以前只可能由EJB完成的事情。然而，Spring的用途不仅仅限于服务器端的开发。从简单性、可测试性和松耦合性角度而言，绝大部分Java应用都可以从Spring中受益。 Spring的属性…...

编程日记 2024/4/2 4:44:04

【比特币】比特币的奥秘、禁令的深层逻辑与风云变幻

导语： 比特币(Bitcoin)，这个充满神秘色彩的数字货币，自诞生以来便成为各界瞩目的焦点。它背后所蕴含的Mining机制、禁令背后的深层逻辑以及市场的风云变幻，都让人欲罢不能。今天，我们将深入挖掘比特币的每一个角落&…...

编程日记 2024/4/2 4:39:58

云原生核心技术 (7/12): K8s 核心概念白话解读(上)：Pod 和 Deployment 究竟是什么？

大家好，欢迎来到《云原生核心技术》系列的第七篇！ 在上一篇，我们成功地使用 Minikube 或 kind 在自己的电脑上搭建起了一个迷你但功能完备的 Kubernetes 集群。现在，我们就像一个拥有了一块崭新数字土地的农场主，是时…...

编程新知 2025/12/14 22:32:59

2024年赣州旅游投资集团社会招聘笔试真

2024年赣州旅游投资集团社会招聘笔试真 题 ( 满 分 1 0 0 分 时 间 1 2 0 分 钟 ) 一、单选题(每题只有一个正确答案，答错、不答或多答均不得分) 1.纪要的特点不包括()。 A.概括重点 B.指导传达 C. 客观纪实 D.有言必录 【答案】: D 2.1864年，()预言了电磁波的存在，并指出…...

编程新知 2025/12/10 4:08:53

Mac下Android Studio扫描根目录卡死问题记录

环境信息 操作系统: macOS 15.5 (Apple M2芯片)Android Studio版本: Meerkat Feature Drop | 2024.3.2 Patch 1 (Build #AI-243.26053.27.2432.13536105, 2025年5月22日构建) 问题现象 在项目开发过程中，提示一个依赖外部头文件的cpp源文件需要同步，点…...

编程新知 2026/2/6 1:00:00

JAVA后端开发——多租户

数据隔离是多租户系统中的核心概念，确保一个租户（在这个系统中可能是一个公司或一个独立的客户）的数据对其他租户是不可见的。在 RuoYi 框架（您当前项目所使用的基础框架）中，这通常是通过在数据表中增加一个…...

编程新知 2025/12/18 8:35:12

回溯算法学习

一、电话号码的字母组合 import java.util.ArrayList; import java.util.List;import javax.management.loading.PrivateClassLoader;public class letterCombinations {private static final String[] KEYPAD {"", //0"", //1"abc", //2"…...

编程新知 2026/1/24 12:01:38

手机平板能效生态设计指令EU 2023/1670标准解读

手机平板能效生态设计指令EU 2023/1670标准解读 以下是针对欧盟《手机和平板电脑生态设计法规》(EU) 2023/1670 的核心解读，综合法规核心要求、最新修正及企业合规要点： 一、法规背景与目标 生效与强制时间 发布于2023年8月31日（OJ公报&…...

编程新知 2026/2/2 11:58:16

OD 算法题 B卷【正整数到Excel编号之间的转换】

文章目录 正整数到Excel编号之间的转换 正整数到Excel编号之间的转换 excel的列编号是这样的：a b c … z aa ab ac… az ba bb bc…yz za zb zc …zz aaa aab aac…; 分别代表以下的编号1 2 3 … 26 27 28 29… 52 53 54 55… 676 677 678 679 … 702 703 704 705;…...

编程新知 2025/8/31 2:33:30

Sklearn 机器学习 缺失值处理 获取填充失值的统计值

💖亲爱的技术爱好者们，热烈欢迎来到 Kant2048 的博客！我是 Thomas Kant，很开心能在CSDN上与你们相遇～💖 本博客的精华专栏： 【自动化测试】 【测试经验】 【人工智能】 【Python】 使用 Scikit-learn 处理缺失值并提取填充统计信息的完整指南 在机器学习项目中，数据清…...

编程新知 2026/1/20 10:06:51

游戏开发中常见的战斗数值英文缩写对照表

游戏开发中常见的战斗数值英文缩写对照表 基础属性（Basic Attributes） 缩写英文全称中文释义常见使用场景HPHit Points / Health Points生命值角色生存状态MPMana Points / Magic Points魔法值技能释放资源SPStamina Points体力值动作消耗资源APAction…...

编程新知 2026/1/9 12:18:52

react菜单，动态绑定点击事件，菜单分离出去单独的js文件，Ant框架

1、菜单文件treeTop.js // 顶部菜单 import { AppstoreOutlined, SettingOutlined } from ant-design/icons; // 定义菜单项数据 const treeTop [{label: Docker管理,key: 1,icon: <AppstoreOutlined />,url:"/docker/index"},{label: 权限管理,key: 2,icon:…...

编程新知 2026/2/5 4:34:02