当前位置： 首页 > news >正文

Spark 平障录

news 来源：原创 2024/5/20 3:48:23

Profile

Profile 是最重要的第一环。

  • 利用好 spark UI 和 yarn container log
  • 分析业务代码，对其计算代价进行预判
  • 建设基准，进行对比，比如application id 进行对比，精确到 job DAG 环节

design 研究顺序

  • paper => blog => code comment => code
充分利用 UI
Stage 页面

页头 summary，也很重要。
在这里插入图片描述

勾选所有 UI metrics，提供判断依据

在这里插入图片描述

task 维度 metrics

在这里插入图片描述

在这里插入图片描述

Executor 维度

在这里插入图片描述

application id 对比

如果两个application id， shuflfle read/write 差不多，input/output 差不多。
慢的那一个，如果内存消耗大，那说明计算量大，比如 sum， count 等

Executor 页面

选中所有 metrics，增加判断依据
在这里插入图片描述

注意GC
在这里插入图片描述

参考链接

https://www.jianshu.com/p/bd45b085da9a
https://medium.com/@suffyan.asad1/beginners-guide-to-spark-ui-how-to-monitor-and-analyze-spark-jobs-b2ada58a85f7

相关文章：

  • YOLO目标检测——无人机检测数据集下载分享【含对应voc、coco和yolo三种格式标签】
  • Android studio Build Log乱码+错误: 找不到符号符号
  • QT在线安装指南
  • Mysql查看Binlog文件
  • 手机运行内存大揭秘：探索你手机的超级大脑！
  • 《Deep learning for fine-grained image analysis: A survey》阅读笔记
  • vscode 创建 运行c++ 项目
  • 2022最新版-李宏毅机器学习深度学习课程-P49 GPT的野望
  • 【算法-字符串1】反转字符串 + 反转字符串2
  • 关于在x64系统下使用MSSQL导入导出工具读取Excel报错的一个坑
  • 掌握 AI 和 NLP：深入研究 Python — 情感分析、NER 等
  • EtherCAT 伺服控制功能块实现
  • 【学习记录】从0开始的Linux学习之旅——编译linux内核
  • 微信小程序开发学习——顺序、选择、循环、数学函数
  • 启动Dubbo项目注册Zookeeper时提示zookeeper not connected异常原理解析
  • JS 中的深拷贝与浅拷贝
  • 《深入 React 技术栈》
  • 【跃迁之路】【641天】程序员高效学习方法论探索系列（实验阶段398-2018.11.14）...
  • DOM的那些事
  • HTTP那些事
  • Redis在Web项目中的应用与实践
  • Sublime Text 2/3 绑定Eclipse快捷键
  • UMLCHINA 首席专家潘加宇鼎力推荐
  • 蓝海存储开关机注意事项总结
  • 前端工程化（Gulp、Webpack）-webpack
  • 使用Swoole加速Laravel(正式环境中)
  • 双管齐下，VMware的容器新战略
  • 算法-插入排序
  • 鱼骨图 - 如何绘制？
  • NLPIR智能语义技术让大数据挖掘更简单
  • 移动端高清、多屏适配方案
  • # 手柄编程_北通阿修罗3动手评：一款兼具功能、操控性的电竞手柄
  • #我与Java虚拟机的故事#连载10： 如何在阿里、腾讯、百度、及字节跳动等公司面试中脱颖而出...
  • (01)ORB-SLAM2源码无死角解析-(56) 闭环线程→计算Sim3:理论推导(1)求解s,t
  • （6）添加vue-cookie
  • (附源码)计算机毕业设计ssm电影分享网站
  • （六）软件测试分工
  • （译）计算距离、方位和更多经纬度之间的点
  • (原創) 人會胖會瘦，都是自我要求的結果 (日記)
  • （转）jdk与jre的区别
  • .NET CORE使用Redis分布式锁续命(续期)问题
  • .NET Framework 的 bug？try-catch-when 中如果 when 语句抛出异常，程序将彻底崩溃
  • .net oracle 连接超时_Mysql连接数据库异常汇总【必收藏】
  • .net反编译的九款神器
  • .vue文件怎么使用_我在项目中是这样配置Vue的
  • /etc/fstab 只读无法修改的解决办法
  • @DataRedisTest测试redis从未如此丝滑
  • @selector(..)警告提示
  • [2016.7 test.5] T1
  • [android] 请求码和结果码的作用
  • [BJDCTF2020]The mystery of ip1
  • [Codeforces] number theory (R1600) Part.11
  • [dts]Device Tree机制
  • [G-CS-MR.PS02] 機巧之形2: Ruler Circle
  • [IDF]聪明的小羊