摘要: 做测试，自动化是一个绕不开的主题，而且也是非常值得去做的事情，无论是对测试质量和效率的提升，还是对人的能力的锻炼，都是非常的有帮助。就目前个人观察到的情况，一些负责基础性组件测试的团队，比如底层平 ...
为了更好的定位问题，需要把每个接口执行的细节也暴露出来，点击详情可以看到调用的情况，包括request和response的数据。 除了好处，也有一些不方便的地方： 1. JMeter在include其他的jmx脚本后，不能直接在界面显示加载的内容，所以看不到被include的脚本里面的步骤，调试的时候不方便。不过好在JMeter可以一套binary启多个，并着看。 2. 最后的结果报告里面，不能控制展示的粒度，是直接摊开成CGI层面的步骤，显得比较杂。 目前我们执行的情况 1. 目前覆盖了200多个CGI接口，以及100多个功能点，初步有4个系统挂接到了自动部署后的执行。用例还在进一步的扩展中，框架不需要改动。JMeter本身的稳定性还是不错的。 2. 整个过程，不算制作用例的时间，我们实际投入的测试开发的人力合起来不到一个人月。 3. 大部分业务测试同学都参与到了用例的制作，提升了对业务逻辑的理解，并且对部分同学来说，也补了HTTP协议等基础知识的课，实际动手比听听培训效果要好。 从实际的效果和投入来说还是比较满意的。 除了技术层面，自动化执行起来有几个核心的要点： 1. 一定要强挂钩到测试和发布的环节。 这一点看起来没那么重要，但是如果不希望自动化成为花瓶，就必须要这样做。像互联网产品这样快的节奏跑起来，任何花哨的环节会逐渐被洗掉，因为人员的配比和版本的数量，不是必做的东西慢慢就坚持不下来。所以自动化如果要能发挥效果，目前来看最合适的点是在每次自动部署后快速的刷一遍，在手工测试开始之前。而且如果要人工去点，这事儿时间长了也不靠谱，一定要把这个过程也自动化，版本在测试环境部署好了之后，自动化自动跑完，这就是强的挂钩。 2. 报告也是要自动的，并且邮件抄送给相关的开发，测试和团队的负责人。我们现在的做法是跑完了脚本解析后自动的发邮件报告。 3. 非100%成功的都要跟进。 宁愿少而精，这个也类似broken window理论，如果能容忍一个用例失败，就会有2个，3个，也会让自动化慢慢失去意义。目前的做法是只要有失败，对应系统的负责同学要邮件reply all跟进原因。 4. 关注用例的细节 团队的负责人要去看用例的质量，而不只是用例的数量和执行情况，比如断言做到什么程度，哪些是写死的哪些参数化了，功能之间的复用情况。其实这个和所有的事情一样，如果真的重要，就应该要跳进去关注细节。 其实说起来上面没有什么高深的地方，道理也浅显，可能是工作久了会变得更加务实，最怕做了没有用的东西。 1. 关于技术含量的问题，不纠结。当然，有能力和精力做到技术含量很好。但是没有技术含量但是有价值 > 有技术含量效果不好。 2. 尽可能的复用好的组件，核心的引擎不一定要自己做，特别是业务测试团队。用开源组件，自己开发特点需求，并把它们粘合起来。 以上粗略的整理，希望给那些想要做功能自动化，但是又受限于非常快得功能版本节奏，也没有大量测试开发人力的业务测试团队一点参考。 |
