当前位置: 首页 > news >正文

CDH清理磁盘空间完全攻略和完整实现自动化脚本(大数据清除日志)

在CDH集群中,自动清除日志的意义非常重大。尤其是在内网环境下,运维人员无法随时登录服务器进行操作,或者是因为放长假等原因不能每天进行运维工作。这时,如果日志不自动清理,就会面临日志空间满了的问题,这可能造成CDH各组件无法正常工作,离线数仓计算完全停止。

考虑到运维人员不能时时刻刻地在现场进行操作的实际情况,自动清除日志显得尤为重要。比如,当运维人员因为放长假或其他原因暂时无法处理系统日志时,如果系统能够自动清理过期或不必要的日志,就能有效减少系统故障的风险。自动清除日志还能有效节省存储空间和维护成本。在大数据环境下,日志文件往往是占用大量存储空间的主要原因之一。如果这些日志文件不能及时清理,不仅会增加存储成本,还可能影响到整个集群的性能。通过自动清除日志,不仅能够及时释放存储空间,还能减少定期维护的工作量,降低维护成本,从而提升整个CDH集群的管理效率和经济效益。

1、如何防止日志文件占满磁盘空间

CDH的日志文件,大多默认是在根分区的/var/log,二根分区的磁盘空间通常不会太大,在不少公司服务器磁盘空间大的是数据盘/data分区,这时可以考虑把大数据组件的日志目录更改在/data分区。

1.1 更改CDH组件磁盘空间目录的例子

cdh的日志默认在/var/lib,由于根分区默认空间大小有限,数据盘是挂载在/data分区。在运行一段时间后,根分区磁盘空间严重不足。

停止服务,想改那个停那个,然后将老的数据文件mv到新的目录,我这里停了host monitor 和 service monitor

相关文章:

  • 北京网站建设多少钱?
  • 辽宁网页制作哪家好_网站建设
  • 高端品牌网站建设_汉中网站制作
  • 【Unity】3D功能开发入门系列(一)
  • 【课程系列07】某乎AI大模型全栈工程师-第7期
  • 手写chatGPT——fetch解析text/event-stream会话流并逐字回显到页面——js技能提升
  • 【C++BFS算法】2998. 使 X 和 Y 相等的最少操作次数
  • Redis作为缓存,如何与MySql的数据进行同步?
  • 7 postgresql 10版本 分区表使用场景、创建删除、注意事项
  • 熟悉简单测试面经
  • 代码随想录第二十一天|动态规划(5)
  • 3.2.2 最短路径 堆优化版Djkstra算法
  • 快速解密哈希算法利器Hasher:解密MD5、SHA256、SHA512、RIPEMD160等最佳工具
  • ChatTTS文本转语音本地部署结合内网穿透实现远程使用生成AI音频
  • sql注入安全作业
  • LearnOpenGL-入门章节学习笔记
  • C语言程序设计-[5] 输入输出语句
  • ShardingSphere 内核工作原理
  • 0基础学习移动端适配
  • C# 免费离线人脸识别 2.0 Demo
  • - C#编程大幅提高OUTLOOK的邮件搜索能力!
  • CSS实用技巧
  • Docker: 容器互访的三种方式
  • echarts的各种常用效果展示
  • gops —— Go 程序诊断分析工具
  • Intervention/image 图片处理扩展包的安装和使用
  • js正则,这点儿就够用了
  • Logstash 参考指南(目录)
  • python学习笔记-类对象的信息
  • 从tcpdump抓包看TCP/IP协议
  • 电商搜索引擎的架构设计和性能优化
  • 对JS继承的一点思考
  • 海量大数据大屏分析展示一步到位:DataWorks数据服务+MaxCompute Lightning对接DataV最佳实践...
  • 聊聊sentinel的DegradeSlot
  • 实现菜单下拉伸展折叠效果demo
  • 想晋级高级工程师只知道表面是不够的!Git内部原理介绍
  • 主流的CSS水平和垂直居中技术大全
  • shell使用lftp连接ftp和sftp,并可以指定私钥
  • 如何通过报表单元格右键控制报表跳转到不同链接地址 ...
  • 移动端高清、多屏适配方案
  • #我与Java虚拟机的故事#连载18:JAVA成长之路
  • (10)Linux冯诺依曼结构操作系统的再次理解
  • (10)工业界推荐系统-小红书推荐场景及内部实践【排序模型的特征】
  • (9)STL算法之逆转旋转
  • (ZT)出版业改革:该死的死,该生的生
  • (苍穹外卖)day03菜品管理
  • (附源码)计算机毕业设计ssm基于B_S的汽车售后服务管理系统
  • (四)软件性能测试
  • (完整代码)R语言中利用SVM-RFE机器学习算法筛选关键因子
  • (原創) 如何動態建立二維陣列(多維陣列)? (.NET) (C#)
  • (转) ns2/nam与nam实现相关的文件
  • (转)关于pipe()的详细解析
  • .naturalWidth 和naturalHeight属性,
  • .NET NPOI导出Excel详解
  • .netcore如何运行环境安装到Linux服务器
  • .net安装_还在用第三方安装.NET?Win10自带.NET3.5安装
  • .NET下的多线程编程—1-线程机制概述
  • //解决validator验证插件多个name相同只验证第一的问题