一次系统查错经验总结

部门有个项目组在做压力测试,发现原来正常的交易,在这一轮压测突然变得很慢(原来是1s以内,现在达到几十秒甚至上百秒),“会诊”了几个专家最后搞了三天才解决。过程中,我总结了些经验。

  1. 尽可能的问诊这个系统,比如了解到所有可能得到的日志。
  2. 反复观察异常现象,尤其是异常是否有一定的规律性。而这个规律性常常可能就暴露出问题的原因。(比如交易虽然耗时长,但每次基本都是10s)
  3. 再看看正常情况下是什么现象,然后与异常比较。
  4. 调整不正常的情况的参数,一步一步向正常的情况靠,直到某一个点发现变成正常,仔细研究这个点,就是问题的所在。
  5. 找个晚上,干扰少的时候分析问题。
  6. 几个人一起研究问题,总会有收获。大家都会偶然的发现别人习以为常的技巧(比如一个快捷操作,惊叹还有这种操作)。
  7. 问题的主人也很重要,虽然他没有思路,但他熟悉地形,会快速根据的要求给你指路,是解决问题的第一伙伴。
  8. 解决问题的那一刻,真的很爽,很有成就感,也会提高对自己的信心,我喜欢。