持续集成：从六个层次加速测试执行

<plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-surefire-plugin</artifactId><version>2.16</version><configuration><parallel>methods</parallel><threadCount>10</threadCount></configuration></plugin>　　持续集成平台层次　　现在市场上存在不少持续集成平台，大多持续集成平台支持并发执行用例然后汇总、发布测试结果，从而最大化提高测试执行速度。而并发执行的前提是测试代码本身及测试代码的组织支持并发，如果测试本来就含有多个模块，那么直接并发运行多个模块，最后汇总结果即可。如java以testng.xml为模块，gtest以makefile为模块，所以相比较顺序执行4个模块，并发使用4个Job并发执行，那么时间压缩可以达到4倍。在实际应用中，即使在同一个模块，我们仍然面对自动化测试用例数目过多运行速度过慢的问题，此时，可以考虑将单一模块拆分成子模块，对于Java而言较简单，配置下测试套件的xml即可；而对C++而言，如果不允许直接复制粘贴原有的makefile，就需要重新设计makefile以复用, 例如将makefile中编译的test cases定义分拆到多个makefile（如下图测试模块1的makefile引用了共用的makefile并添加了自己的测试用例）中，然后并发执行多个makefile。　　为并发执行多个job, 持续集成平台必须提供必备的支持，以Jenkins为例，可以使用multijob插件来实施，配置多个测试模块同时进行.　　并发完测试后，讲所有测试结果汇总到一个地方，然后使用xunit plugin来汇总结果（如下图），它可以汇总多个文件，且支持cpptest、,gtest等输出结果格式。　　过程改进层次　　在产品的持续集成生命周期中，可以将测试拆分成两部分放在两个阶段：基本功能快速校验阶段(fast fail)和基本功能之外的全面测试阶段。如果产品在第一阶段最基本的功能都无法通过，那么部署之后进行全面测试纯属浪费时间，这个阶段的引入可以快速的校验产品是否有必要开展全面测试。这点类似与测试用例中添加了@before类标签所带来的收效，不过更宏观且阶段划分的更清晰。　　原有过程：构建阶段->部署阶段->测试阶段->发布阶段　　细化后过程：构建阶段->部署阶段->基本功能快速校验阶段->全面测试阶段—>发布阶段　　这种过程优化可以利用持续集成平台来支持，例如对于Jenkins系统，可以使用multijob插件，将基本功能快速校验和全面测试阶段分列在不同的phase即可，执行效果如下：　　结论　　通过上面由微观到宏观六个不同层次的分析可知，要加速测试用例的执行是一个系统的过程，单靠某一方面分析可能有所偏失，并不能将测试用例的执行速度发挥极致。同时，本文针对不同层次的分析也没有提供step by step的方式描述每一个细节，只是点到为止，所以读者可以根据自己采用的语言、测试框架、持续集成平台做类似更有针对性的分析，相信在综合不同层次的综合调优后，可以让持续集成实施的更快、更好。

测试框架支持层次　　在测试框架支持层次上，应该充分运用框架本身提高的丰富功能来提高测试执行速度，以Java测试框架TestNG为例:　　（1） 利用timeout控制失效等待　　如果某个测试用例等待某条件的触发而陷入长时间等待，等待的时间过长往往对于用例本身而言已失效，特别是当条件永远无法满足时。因此需要控制用例执行允许的最大timeout时间。TestNG可以给test或者test suite设置 timeout时间，分别控制具体某个或一组(testing.xml配置)自动化测试用例执行的最大允许时间：　　1. @Test(timeout = 1000)　　2. testng.xml : <suite name="Module Test" parallel="none" time-out="200000">　　（2） 利用@BeforeTest、@BeforeClass等条件注解，减少无意义测试　　测试的顺利完成都需要满足很多基础条件，例如需要测试环境就绪, 如果不使用@before类标签，则当条件不具备时，仍然会执行完所有的用例，必然带来巨大的时间浪费，因此使用@before类标签可以避免无意义的测试，@before标记的方法一旦失败，后续的相应的测试不会继续进行。　　（3） 使用框架自带的多线程支持　　例如对于TestNG自身，可以在testng.xml中设置parallel参数来指定是否并发以及并发的级别:methods|tests|classes，除了测试框架自身外，软件项目管理工具也可以提供多线程支持，例如maven的测试组件maven-surefire-plugin，提供了并发参数的设置：