当前位置： 首页 > news >正文

spark性能调优 | 内存优化

news 来源：原创 2024/5/10 14:21:42

目录

    • 我们先了解一下有哪些内存
    • 温馨提示
    • RDD示范(spark版本2.1.1)
    • RDD进行优化
    • Df和Ds进行示范

我们先了解一下有哪些内存

 1.storage内存   存储数据，缓存         可预估2.shuffle内存   计算join groupby     不可预估spark1.6之前  静态管理的，spark1.6之后变成动态管理  默认0.5

温馨提示

在公司尽量不要写rdd(性能不好)

RDD示范(spark版本2.1.1)

我们转成rdd去跑任务，看看内存占有多大
在这里插入图片描述
在这里插入图片描述
我们也可以去excutor看内存大小
显示红色，是因为我写了while循环
在这里插入图片描述

RDD进行优化

看官网
https://spark.apache.org/docs/2.4.5/configuration.html#compression-and-serialization
我们采用kryo(只支持rdd)
在这里插入图片描述
在这里插入图片描述
我们需要看看rdd的缓存级别
https://spark.apache.org/docs/2.4.5/rdd-programming-guide.html#which-storage-level-to-choose
使用序列化的缓存级别
在这里插入图片描述
在这里插入图片描述
发现1.7g直接变成了270m，优化还是挺大的！

Df和Ds进行示范

看官网
https://spark.apache.org/docs/2.4.5/sql-getting-started.html#creating-datasets
Ds会专门使用自己的偏码进行序列化
在这里插入图片描述
在这里插入图片描述
内存大小34.2M
在这里插入图片描述
我们还可以进行序列化(变化不大)
在这里插入图片描述
进行优化之后33.9M
在这里插入图片描述

相关文章：

  • 科学上网导致Adobe软件运行弹出This non-genuine Adobe app will be disabled soon，尝试解决办法
  • bug：Junit5报错，@SpringBootTest没有运行
  • C#语言的由来与发展历程
  • uart控制led与beep
  • QT绘图设备
  • 大数据-之LibrA数据库系统告警处理（ALM-12051 磁盘Inode使用率超过阈值）
  • torch - 张量Tensor常见的形式
  • Docker Golang 开发环境搭建指南
  • 【MATLAB源码-第77期】基于matlab的OCDM系统在AWGN信道下理论误码率和实际误码率对比仿真。
  • IP池大小重要吗？
  • 华为与美团达成合作，正式启动鸿蒙原生应用开发。
  • 麦克纳姆轮x运动学分析
  • 滑动窗口题目总结(持续更新中)
  • 变长子网划分问题的二叉树解法
  • windows安装composer并更换国内镜像
  • Swift 中的尾递归和蹦床
  • WinRAR存在严重的安全漏洞影响5亿用户
  • 给github项目添加CI badge
  • 工作踩坑系列——https访问遇到“已阻止载入混合活动内容”
  • 回顾2016
  • 跨域
  • 深度学习中的信息论知识详解
  • 微信开源mars源码分析1—上层samples分析
  • 中文输入法与React文本输入框的问题与解决方案
  • CMake 入门1/5：基于阿里云 ECS搭建体验环境
  • const的用法,特别是用在函数前面与后面的区别
  • NLPIR智能语义技术让大数据挖掘更简单
  • 容器镜像
  • ​​​​​​​ubuntu16.04 fastreid训练过程
  • #Linux杂记--将Python3的源码编译为.so文件方法与Linux环境下的交叉编译方法
  • $.proxy和$.extend
  • (delphi11最新学习资料) Object Pascal 学习笔记---第2章第五节(日期和时间)
  • (env: Windows,mp,1.06.2308310； lib: 3.2.4) uniapp微信小程序
  • (poj1.3.2)1791(构造法模拟)
  • （附源码）spring boot校园健康监测管理系统 毕业设计 151047
  • （附源码）ssm本科教学合格评估管理系统 毕业设计 180916
  • （考研湖科大教书匠计算机网络）第一章概述-第五节1：计算机网络体系结构之分层思想和举例
  • (转)C语言家族扩展收藏 (转)C语言家族扩展
  • (转贴)用VML开发工作流设计器 UCML.NET工作流管理系统
  • **Java有哪些悲观锁的实现_乐观锁、悲观锁、Redis分布式锁和Zookeeper分布式锁的实现以及流程原理...
  • .NET delegate 委托 、 Event 事件
  • .Net Framework 4.x 程序到底运行在哪个 CLR 版本之上
  • .net 流——流的类型体系简单介绍
  • .net企业级架构实战之7——Spring.net整合Asp.net mvc
  • ：“Failed to access IIS metabase”解决方法
  • [1] 平面(Plane)图形的生成算法
  • [1204 寻找子串位置] 解题报告
  • [2015][note]基于薄向列液晶层的可调谐THz fishnet超材料快速开关——
  • [BZOJ 3680]吊打XXX（模拟退火）
  • [BZOJ2281][SDOI2011]黑白棋(K-Nim博弈)
  • [CTSC2014]企鹅QQ
  • [EFI]Lenovo ThinkPad X280电脑 Hackintosh 黑苹果引导文件
  • [element-ui] el-dialog 中的内容没有预先加载，因此无法获得内部元素的ref 的解决方案
  • [Kubernetes]4. 借助腾讯云TKE快速创建Pod、Deployment、Service部署k8s项目
  • [LaTex]arXiv投稿攻略——jpg/png转pdf