当前位置: 首页 > news >正文

从故障处理流程看结构化思维

640?wx_fmt=jpeg

近期收到朋友赠送的一本书—《深入浅出MySQL》。闲暇之余,阅读了部分章节,书中针对故障处理一节,给我印象颇深。书中提炼出的一些方法论,正是我之前在团队中推广的方法。其目的是为了将故障应急操作标准化,进而提升处理效率。推而广之,这其实是一种结构化思维在具体工作中的体现。而这种思想不仅可在某具体工作、乃至个人、团队发展等,均可发挥重要作用。特写下此文。

1. 故障处理流程

① 示例:数据库故障处理

下面是来自网易的一些经验,整理自《深入浅出MySQL》一书。

事前:故障处理原则

✦ 沟通第一

在数据库出现故障时,务必和运维、开发、产品等其他团队保持高效沟通。DBA在遇到故障时,一定不要忘了沟通的重要性,即使时间紧迫,简要的沟通往往也能带来事半功倍的效果。从长远来看,也有利于培养和其他人、其他团队之间的合作和信任关系。

✦ 关注人为

人为故障占有不小的比例。要通过及时沟通并查看历史记录,确认操作是否有误、要和其他团队沟通是否有特殊操作。当然,解决人为故障最好的方法还是将数据库运维自动化、标准化、规范化。

✦ 快速恢复

在处理故障的时候,要明确的一个思路是要优先恢复服务,确保服务的最大可用性,其他的不一定要优先考虑。

✦ 三思后行

有些故障处理方式,可能对数据库造成难以恢复的影响,务必慎重,并尽量做好备份。对于操作本身不熟悉带来额外的问题,要尽量避免。认真考虑命令可能带来的后果,避免对系统造成二次伤害。

✦ 服务分级

平时应当对服务、应用、数据库做好分级,一旦出现大面积故障,可以按照服务的优先级来恢复核心业务。

事中:故障处理流程
故障发现

OS指标

  • 负载

  • CPU使用率

  • 磁盘空间

  • IO使用率

  • SWAP使用情况

DB指标

  • 数据库存活

  • 连接数

  • 慢SQL

  • 主从延迟

故障定位

检查操作

  • 程序发布

  • 在线表变更

  • 在线数据修改

  • 后台任务、数据统计

  • 数据库参数调整

  • 其他误操作

检查OS

  • 系统进程

  • CPU

  • 内存、SWAP

  • IO

  • 系统日志

检查DB

  • 连接

  • 慢查询

  • 锁等待

  • QPS

  • 错误日志

事后:故障解决方法

❖ 慢SQL

  • 选择条件上没有索引或者索引效率低。

  • 有索引,但没有用到索引,或者选择了错误的索引。

  • 过滤条件不强,结果集太大。

❖ SQL执行频率高

  • 恶意攻击

  • 缓存失效

  • 应用实现逻辑不合理

  • 业务量突增

❖ 锁冲突

  • 大事务

  • 热点问题

❖ 硬件问题

  • RAID卡缓存问题

  • 硬件损坏

❖ 参数不合理

② 示例:GP数据库异常处理(我的经验) 

下面是我在之前单位总结的,针对GP的异常处理流程。图中的【】部分对应具体的处理步骤(对应脚本或操作文档)。

640?wx_fmt=jpeg

从上述两个示例可以看出,这是一种"统筹式"的工作方式,而非"应急式"的。它强调的是在出现故障后,按照规划好的原则、步骤进行分析排查,找出核心问题;然后针对既有问题,再按照已有的相关预案进行处理。同时在处理过程中,注意规避风险及沟通协调,以期达到故障的快速解决。显然这种方式,代表着一种对工作的前瞻力,防患于未然;避免了那种忙于救火,使工作永远处于被动之中。上述其实就是一种"结构化思维"的体现。

2. 结构化思维

① 什么是"结构化思维"?

  • 思考的时候没有逻辑,大多数时候不知道从哪里下手。

  • 讲话时没有条理,费很多口舌却很难把事说清楚。

  • 处理问题时效率低,东捡西漏,忙得团团转效果却不佳。

当你面临上述窘境时,正是可以考虑训练自己的结构化思维来解决。

【结构化思维

是指一个人在面对工作任务或者难题时能从多个侧面进行思考,深刻分析导致问题出现的原因,系统制定行动方案,并采取恰当的手段使工作得以高效率开展,取得高绩效。当你这样做事的时候,你就拥有了结构化思维,这将对你的职场晋升起到巨大的帮助作用。思维决定发展,思维层面不同导致结果不同。简言之,结构化思维指从整体思考到局部,是一种层级分明的思考模式。就是借用一些思维框架来辅助思考,将碎片化的信息进行系统化的思考和处理,从而扩大思维的层次,更全面地思考。

640?wx_fmt=jpeg

② 结构化思维方法

如何进行结构化思考呢,也是有方法论的,总的来说是有两个步骤,首先是“建立中心”,然后再进行“分解”。

  • 建立中心

    建立中心也就是要定义清楚要解决的问题,要明确目标,也是一种以终为始的思考方式。也就是说,首先要搞清楚why,然后再进行how。建立中心有两种方式:自上而下、自下而上。后面我们会详细说明。

    建立中心通常不会是一次成型的,随着对问题理解的变化,对中心的抽象也会进行相应的调整。不同的抽象层次其面对的问题宽度是不一样的。具体要用哪个层次的抽象作为“中心”,要视具体情况而定。抽象层次越高,要解决的问题域就越宽,外延越大。比如面对“系统 bug 多”的问题,向上抽象是“提升代码质量”,向下抽象是“加强测试”,都可以作为中心,选择哪个为中心取决于你当前要解决的问题是什么。

  • 结构化分解

    使用结构化的思维对问题进行分解。分解策略就是常见的四种逻辑顺序,即演绎顺序、时间顺序、空间顺序和程度顺序。

逻辑顺序

    下面配图为XMind工具的对应图例。

  • 演绎(因果)顺序

    “大前提、小前提、结论”的演绎推理方式就是演绎顺序。比如,经典三段论:所有人都要死,苏格拉底是人,苏格拉底要死。

    640?wx_fmt=jpeg

  • 时间(步骤)顺序

    “第一、第二、第三”,“首先、然后、再者”等,很多的时间顺序同时也是因果顺序。

    640?wx_fmt=jpeg

  • 空间(结构)顺序

    “前端、后端、数据”,“波士顿、纽约、华盛顿”,化整为零(将整体分解为部分)等都是空间顺序。在做空间分解的时候,要注意满足 MECE(Mutually Exclusive Collectively Exhaustive,相互独立,完全穷尽)原则。

    640?wx_fmt=jpeg

  • 程度(重要性)顺序

    比如“最重要、次重要、不重要”等。

③ "自上而下"的思考

自上而下的思考,适用于问题比较明确的情况,我们只需要找到问题的核心要素即可,然后进行展开即可。这就是一个非常典型的总分结构化思维的思考方式。先总结,后发散。用这种方式思考,有助于形成、整理和构造思维导图,从而促进大脑自然有序地思考,从而让你更全面地去分析一个问题。下面介绍几种常见的自上而下的思考模型:

  • STAR法则

    Situation 背景 

    Target 目标 

    Action 行动

    Result 结果

640?wx_fmt=jpeg

  • SWOT 分析方法

    Strengths 优势

    Weaknesses 劣势

    Opportunities 机会

    Threats威胁

640?wx_fmt=jpeg

问题解决

分析问题>找到原因>设置目标>提出解决方案>实施

640?wx_fmt=jpeg

④ "自下而上"的思考

对于问题不够明确的情况,需要对多种杂乱的内容,进行分类、剪枝、归纳汇总成一个中心。根据《金字塔原理》“任何事情都可以归纳出中心论点,中心论点可由三至七个论据支撑,每个一级论点可以衍生出其他的分论点。”如此发散开来,就可以形成以下的金字塔结构思考方式。

640?wx_fmt=jpeg

但是在还没有掌握这种结构化思维方式时,直接用这种思考方式是有一定难度的。这时候我们就可以采用自下而上的思考方式去找结构。

  1. 尽可能列出所有思考的要点

  2. 找出关系,进行分类

  3. 总结概括要点,提炼观点

  4. 观点补充,完善思路

总结下就是:先发散,后总结。用这种方式思考,不仅更容易找到逻辑结构,也更容易培养你的结构化思维。举个例子,当我们面临职业发展选择时,如何总结提炼出自己的决策。

640?wx_fmt=jpeg

⑤ 增强 — 扩展性思维

扩展性思维的核心目标是提升思维的广度,可以有三种扩展方向:

  • 举一反三:解决同类型的N个问题

    这种思维方式的特征是举一反三,触类旁通,相当于产生批处理的效果,可以大大提升解决问题的效率,避免重复处理。

  • 寻求可能性:拓展解决问题的不同手段

    拓展思维常见的手段是:是否能够换更多的理解方式,或者更多的解法。

  • 深挖根源:挖掘问题深层次原因

    这种思维方式是要突破现有问题的表面化解决,而是需要深挖原因,探究根本问题。只有这样才能从根本上解决问题。

示例:我的一次故障经历(深挖原因

640?wx_fmt=jpeg

写在最后

思维方式有很多种,你可以在实际工作中,尝试使用上面的方法。坚持一段时间后,你会发现想问题时更有逻辑性,说话也更有条理更有说服力。不仅如此,你还可以用这种结构化的思维,去搭建和构造自己的思维体系。

欢迎关注韩老师的公众号:

640?wx_fmt=gif

扫码关注

有趣的灵魂在等你

640?wx_fmt=jpeg

QQ群号:763628645

QQ群二维码如下,个人微信号:jeanron100, 添加请注明:姓名+地区+职位,否则不予通过

640?wx_fmt=png640?wx_fmt=png

相关文章:

  • dbaplus-爱可生社区-北京站沙龙归来
  • 唯一ID生成算法剖析,看看这篇就够了
  • 关于学习,很有必要看看这张图
  • 迁移到MySQL的业务架构演进实战
  • 一个看似纠结的MySQL标签需求的梳理
  • 技术学习中的三个有趣的数字
  • 数据库修改密码风险高,如何保证业务持续,这几种密码双活方案可以参考
  • MySQL业务双活的初步设计方案
  • 美女主持直播,被突发意外打断!湾区网友却高喊: 我懂!超甜
  • MySQL周期表管理太繁琐,通过Python自定义工具方法优雅解决
  • 千万不要养大型犬,多么痛的领悟
  • 《吊打面试官》系列-Redis基础
  • 为什么我们的数据科学团队无法产生价值
  • 在繁杂的业务需求中,如何找到API设计的平衡点
  • Greenplum的segment故障自愈小试
  • FineReport中如何实现自动滚屏效果
  • GraphQL学习过程应该是这样的
  • gulp 教程
  • JavaScript设计模式之工厂模式
  • Mac转Windows的拯救指南
  • Nodejs和JavaWeb协助开发
  • python3 使用 asyncio 代替线程
  • Redux 中间件分析
  • WePY 在小程序性能调优上做出的探究
  • yii2权限控制rbac之rule详细讲解
  • 更好理解的面向对象的Javascript 1 —— 动态类型和多态
  • 工作手记之html2canvas使用概述
  • 构造函数(constructor)与原型链(prototype)关系
  • 码农张的Bug人生 - 初来乍到
  • 微信小程序设置上一页数据
  • elasticsearch-head插件安装
  • LevelDB 入门 —— 全面了解 LevelDB 的功能特性
  • RDS-Mysql 物理备份恢复到本地数据库上
  • 阿里云IoT边缘计算助力企业零改造实现远程运维 ...
  • #HarmonyOS:Web组件的使用
  • #我与Java虚拟机的故事#连载13:有这本书就够了
  • $redis-setphp_redis Set命令,php操作Redis Set函数介绍
  • ( 用例图)定义了系统的功能需求,它是从系统的外部看系统功能,并不描述系统内部对功能的具体实现
  • (4) PIVOT 和 UPIVOT 的使用
  • (DenseNet)Densely Connected Convolutional Networks--Gao Huang
  • (DFS + 剪枝)【洛谷P1731】 [NOI1999] 生日蛋糕
  • (Forward) Music Player: From UI Proposal to Code
  • (二)基于wpr_simulation 的Ros机器人运动控制,gazebo仿真
  • (力扣)1314.矩阵区域和
  • (四)【Jmeter】 JMeter的界面布局与组件概述
  • (转载)虚函数剖析
  • .[hudsonL@cock.li].mkp勒索病毒数据怎么处理|数据解密恢复
  • .\OBJ\test1.axf: Error: L6230W: Ignoring --entry command. Cannot find argumen 'Reset_Handler'
  • .naturalWidth 和naturalHeight属性,
  • .NET Core 网络数据采集 -- 使用AngleSharp做html解析
  • .net 使用ajax控件后如何调用前端脚本
  • .net打印*三角形
  • .Net下的签名与混淆
  • @Autowired标签与 @Resource标签 的区别
  • @kafkalistener消费不到消息_消息队列对战之RabbitMq 大战 kafka