当前位置： 首页 > news >正文

spark性能调优 | 内存优化

news 2026/2/7 20:37:30

目录

    • 我们先了解一下有哪些内存
    • 温馨提示
    • RDD示范(spark版本2.1.1)
    • RDD进行优化
    • Df和Ds进行示范

我们先了解一下有哪些内存

 1.storage内存   存储数据，缓存         可预估2.shuffle内存   计算join groupby     不可预估spark1.6之前  静态管理的，spark1.6之后变成动态管理  默认0.5

温馨提示

在公司尽量不要写rdd(性能不好)

RDD示范(spark版本2.1.1)

我们转成rdd去跑任务，看看内存占有多大
在这里插入图片描述
在这里插入图片描述
我们也可以去excutor看内存大小
显示红色，是因为我写了while循环
在这里插入图片描述

RDD进行优化

看官网
https://spark.apache.org/docs/2.4.5/configuration.html#compression-and-serialization
我们采用kryo(只支持rdd)
在这里插入图片描述
在这里插入图片描述
我们需要看看rdd的缓存级别
https://spark.apache.org/docs/2.4.5/rdd-programming-guide.html#which-storage-level-to-choose
使用序列化的缓存级别
在这里插入图片描述
在这里插入图片描述
发现1.7g直接变成了270m，优化还是挺大的！

Df和Ds进行示范

看官网
https://spark.apache.org/docs/2.4.5/sql-getting-started.html#creating-datasets
Ds会专门使用自己的偏码进行序列化
在这里插入图片描述
在这里插入图片描述
内存大小34.2M
在这里插入图片描述
我们还可以进行序列化(变化不大)
在这里插入图片描述
进行优化之后33.9M
在这里插入图片描述

相关文章：

spark性能调优 | 内存优化

目录 我们先了解一下有哪些内存温馨提示RDD示范(spark版本2.1.1)RDD进行优化Df和Ds进行示范 我们先了解一下有哪些内存 1.storage内存 存储数据，缓存 可预估2.shuffle内存 计算join groupby 不可预估spark1.6之前 静态管理的，spark1.6之…...

编程日记 2023/11/18 4:19:21

【PG】PostgreSQL高可用之自动故障转移-repmgrd

前言 上面的几篇文章介绍了repmgr的部署，手动进行 从节点提升，主从切换，孤立从从节点找到新的主库等操作，但是都是需要通过手动去执行命令。大家都知道，在线上生产环境中数据库每秒钟的不可用都会造成严重的事故&am…...

编程日记 2023/11/18 4:18:19

操作系统OS/存储管理/内存管理/内存管理的主要功能_基本原理_要求

基本概念 内存管理的主要功能/基本原理/要求 **内存管理的主要功能： ** 内存空间的分配与回收。由操作系统完成主存储器空间的分配和管理，使程序员摆脱存储分配的麻烦，提高编程效率。地址转换。在多道程序环境下，程序中的逻辑地…...

编程日记 2023/11/18 4:17:18

【手写数据库toadb】SQL解析器的实现架构，create table/insert 多values语句的解析树生成流程和输出结构分析

SQL解析器架构和实现 ​专栏内容： 手写数据库toadb 本专栏主要介绍如何从零开发，开发的步骤，以及开发过程中的涉及的原理，遇到的问题等，让大家能跟上并且可以一起开发，让每个需要的人成为参与者。 本专栏会定期更新，对应的代码也会定期更新，每个阶段的代码会打上tag，方…...

编程日记 2023/11/18 4:16:16

设计模式-备忘录模式-笔记

动机（Motivation） 在软件构建过程中，某些对象的状态在转换过程中，可能由于某种需要，要求程序能够回溯到对象之前处于某个点时的状态。如果使用一些公有接口来让其他对象得到对象的状态，便会暴露对象的细节…...

编程日记 2023/11/18 4:15:15

机器学习—基本术语

目录 1.样本（示例） 2.属性 3.属性值 4.属性空间 5.样本空间 6.学习（训练） 7.数据集 8.测试 9.假设 10.学习器 11.标记 12.样例 13.标记空间（样例空间） 14.分类与回归 15.有监督学习、无监督…...

编程日记 2023/11/18 4:14:13

pytorch单精度、半精度、混合精度、单卡、多卡（DP / DDP）、FSDP、DeepSpeed模型训练

pytorch单精度、半精度、混合精度、单卡、多卡（DP / DDP）、FSDP、DeepSpeed（环境没搞起来）模型训练代码，并对比不同方法的训练速度以及GPU内存的使用 代码：pytorch_model_train FairScale（你真…...

编程日记 2023/11/18 4:12:11

基于PHP的纺织用品商城系统

有需要请加文章底部Q哦 可远程调试 基于PHP的纺织用品商城系统 一 介绍 此纺织用品商城系统基于原生PHP开发，数据库mysql，前端bootstrap。用户可注册登录，购物下单，评论等。管理员登录后台可对纺织用品，用户&#xf…...

编程日记 2023/11/18 4:11:09

Go使用命令行输出二维码

引言 二维码（QR code）是一种矩阵条码的标准，广泛应用于商业、移动支付和数据存储等领域。在开发过程中，我们可能需要在命令行中显示二维码，这可以帮助我们快速生成和分享二维码信息。本文将介绍如何使用Go语言生成二维…...

编程日记 2023/11/18 4:10:08

最长连续序列[中等]

优质博文：IT-BLOG-CN 一、题目 给定一个未排序的整数数组nums，找出数字连续的最长序列（不要求序列元素在原数组中连续）的长度。请你设计并实现时间复杂度为O(n)的算法解决此问题。 示例 1： 输入：nums […...

编程日记 2023/11/18 4:09:06

设计模式-状态模式-笔记

状态模式State 在组件构建过程中，某些对象的状态经常面临变化，如何对这些变化进行有效的管理？同时又维持高层模块的稳定？“状态变化”模式为这一问题提供了一种解决方案。 经典模式：State、Memento 动机&#xff08…...

编程日记 2023/11/18 4:07:03

Java中for、foreach、stream区别和性能比较

文章目录 性能比较区别使用方式和行为 性能比较 最终总结：如果数据在1万以内的话，for循环效率高于foreach和stream；如果数据量在10万的时候，stream效率最高，其次是foreach,最后是for。另外需要注意的是如果数据达到10…...

编程日记 2023/11/18 4:06:02

[CSS] 文本折行

文本折行一般分为两种情况： CJK（Chinese/Japanese/Korean） 字符和非 CJK 字符。一般非 CJK 字符折行发生在两个单词的空格中间，见下图： 图中文本 “hello world” 包裹容器的宽度为 2rem，但是 hello 并没有…...

编程日记 2023/11/18 4:04:59

033-从零搭建微服务-日志插件（一）

写在最前 如果这个项目让你有所收获，记得 Star 关注哦，这对我是非常不错的鼓励与支持。 源码地址（后端）：mingyue: 🎉 基于 Spring Boot、Spring Cloud & Alibaba 的分布式微服务架构基础服务中心 源…...

编程日记 2023/11/18 4:03:58

短期经济波动：均衡国民收入决定理论(三)

短期经济波动：国民收入决定理论(三) 文章目录 短期经济波动：国民收入决定理论(三)[toc]1 总需求曲线及其变动1.1 总需求曲线含义1.2 总需求曲线推导1.2.1 代数推导1.2.2 几何推导 1.3 AD曲线及其变动1.3.1 扩张性财政政策1.3.2 扩张性货币政策 2 总供给曲…...

编程日记 2023/11/18 4:02:57

电力感知边缘计算网关产品设计方案-网关软件架构

边缘计算网关采用ARM定制硬件平台架构，包含上位机端（内网）和FPGA网关端（外网）两部分，通过芯片间的高速信号总线实现边缘计算网关工业数据采集、数据实时传输、数据存储、网关状态信息收集等功能。 边缘计算网关上位机端（内网）重点完成工业数据采集、业务软件运算、客户…...

编程日记 2023/11/18 4:01:55

最新AI创作系统ChatGPT系统运营源码/支持最新GPT-4-Turbo模型/支持DALL-E3文生图

一、AI创作系统 SparkAi创作系统是基于OpenAI很火的ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型国内AI全模型。本期针对源码系统整体测试下来非常完美，可以说SparkAi是目前国内一款的ChatGPT对接OpenAI软件系统。那么如…...

编程日记 2023/11/18 4:00:53

Java使用Redis的几种客户端介绍

Redis是一种高性能的内存数据库，可以提供快速的数据读写操作。在Java中使用Redis，需要使用Redis客户端。目前，Java中常用的Redis客户端有以下几种： Jedis Jedis是Java中最流行的Redis客户端之一，它提供了丰富的API和…...

编程日记 2023/11/18 3:59:51

程序员的护城河

程序员的护城河 算法，一定是过硬的算法！！！举个栗子：算法不硬吃大亏写在最后 算法，一定是过硬的算法！！！ 其实会什么技术不重要，掌握多少种编程语言也不重要&a…...

编程日记 2023/11/18 3:58:49

常见面试题-MySQL软删除以及索引结构

为什么 mysql 删了行记录，反而磁盘空间没有减少？ 答： 在 mysql 中，当使用 delete 删除数据时，mysql 会将删除的数据标记为已删除，但是并不去磁盘上真正进行删除，而是在需要使用这片存储空间时…...

编程日记 2023/11/18 3:57:48

C++实现分布式网络通信框架RPC(3)--rpc调用端

目录 一、前言 二、UserServiceRpc_Stub 三、 CallMethod方法的重写 头文件 实现 四、rpc调用端的调用 实现 五、 google::protobuf::RpcController *controller 头文件 实现 六、总结 一、前言 在前边的文章中，我们已经大致实现了rpc服务端的各项功能代…...

编程新知 2026/2/4 22:38:49

React Native 导航系统实战（React Navigation）

导航系统实战（React Navigation） React Navigation 是 React Native 应用中最常用的导航库之一，它提供了多种导航模式，如堆栈导航（Stack Navigator）、标签导航（Tab Navigator）和抽屉…...

编程新知 2025/10/15 5:04:46

【磁盘】每天掌握一个Linux命令 - iostat

目录 【磁盘】每天掌握一个Linux命令 - iostat工具概述安装方式核心功能基础用法进阶操作实战案例面试题场景生产场景 注意事项 【磁盘】每天掌握一个Linux命令 - iostat 工具概述 iostat（I/O Statistics）是Linux系统下用于监视系统输入输出设备和CPU使…...

编程新知 2025/9/30 16:39:11

Element Plus 表单(el-form)中关于正整数输入的校验规则

目录 1 单个正整数输入1.1 模板1.2 校验规则 2 两个正整数输入&#xff08;联动&#xff09;2.1 模板2.2 校验规则2.3 CSS 1 单个正整数输入 1.1 模板 <el-formref"formRef":model"formData":rules"formRules"label-width"150px"…...

编程新知 2025/11/10 19:08:45

html css js网页制作成品——HTML+CSS榴莲商城网页设计（4页）附源码

目录 一、&#x1f468;‍&#x1f393;网站题目 二、✍️网站描述 三、&#x1f4da;网站介绍 四、&#x1f310;网站效果 五、&#x1fa93; 代码实现 &#x1f9f1;HTML 六、&#x1f947; 如何让学习不再盲目 七、&#x1f381;更多干货 一、&#x1f468;‍&#x1f…...

编程新知 2026/1/27 20:34:19

让回归模型不再被异常值“带跑偏“，MSE和Cauchy损失函数在噪声数据环境下的实战对比

在机器学习的回归分析中&#xff0c;损失函数的选择对模型性能具有决定性影响。均方误差&#xff08;MSE&#xff09;作为经典的损失函数&#xff0c;在处理干净数据时表现优异&#xff0c;但在面对包含异常值的噪声数据时&#xff0c;其对大误差的二次惩罚机制往往导致模型参数…...

编程新知 2026/1/28 2:18:46

推荐 github 项目:GeminiImageApp(图片生成方向，可以做一定的素材)

推荐 github 项目:GeminiImageApp(图片生成方向&#xff0c;可以做一定的素材) 这个项目能干嘛? 使用 gemini 2.0 的 api 和 google 其他的 api 来做衍生处理 简化和优化了文生图和图生图的行为(我的最主要) 并且有一些目标检测和切割(我用不到) 视频和 imagefx 因为没 a…...

编程新知 2026/1/25 10:41:07

音视频——I2S 协议详解

I2S 协议详解 I2S (Inter-IC Sound) 协议是一种串行总线协议&#xff0c;专门用于在数字音频设备之间传输数字音频数据。它由飞利浦&#xff08;Philips&#xff09;公司开发&#xff0c;以其简单、高效和广泛的兼容性而闻名。 1. 信号线 I2S 协议通常使用三根或四根信号线&a…...

编程新知 2026/2/1 2:08:53

搭建DNS域名解析服务器(正向解析资源文件)

正向解析资源文件 1&#xff09;准备工作 服务端及客户端都关闭安全软件 [rootlocalhost ~]# systemctl stop firewalld [rootlocalhost ~]# setenforce 0 2&#xff09;服务端安装软件&#xff1a;bind 1.配置yum源 [rootlocalhost ~]# cat /etc/yum.repos.d/base.repo [Base…...

编程新知 2026/2/4 15:42:45

C#学习第29天：表达式树（Expression Trees）

目录 什么是表达式树&#xff1f; 核心概念 1.表达式树的构建 2. 表达式树与Lambda表达式 3.解析和访问表达式树 4.动态条件查询 表达式树的优势 1.动态构建查询 2.LINQ 提供程序支持&#xff1a; 3.性能优化 4.元数据处理 5.代码转换和重写 适用场景 代码复杂性…...

编程新知 2025/10/20 9:03:01