可用性测试专家通常会把测试任务安排地尽可能地真实。他们为什么要这么做呢? 原因很简单,在真实性的基础上你才能获得有效的测试结果。
为了完整的数据收集,可用性测试的计划人员必须要对测试任务进行分割,但是要把握好度。只是告诉测试人员完成“一个治疗”任务,然后让他们自己决定什么时候开始,什么时候结束。难免会让测试人员觉得有一种不受待见的感觉。
反过来说,让测试人员完成一系列的六个子任务,这六个子任务组成了一个完整的大任务,在测试过程中提供协助(实际使用情境中不可能提供协助)也似乎是不合适的。而且你把任务分割了之后会对测试人员完成接下来的任务造成影响。因此在分割任务的时候要考虑真实使用的情况,确保分割的方式和真实使用情况是接近的,而且也不会影响测试人员完成接下来的任务。
可用性测试专家通常会把测试任务安排地尽可能地真实。他们为什么要这么做呢? 原因很简单,在真实性的基础上你才能获得有效的测试结果。
让测试任务尽可能真实的方法包括:
1, 布置能代表真实使用环境的模拟使用环境;
2,招募有合适的人口统计学特征和器械相关使用经验的测试人员;
3,让测试流程尽可能顺畅,打扰地越少越好。
在可用性测试的历史上,可用性测试的专家通常会让测试人员完成一组整合的任务(比如12个任务整合在一起), 要求测试人员在每个任务结束之后给出评分和客观的建议。这样做的好处是可以在测试人员印象很清晰的时候立即收集到和任务相关的反馈。这个也可以确保测试过程受控,举个例子,当测试人员在测试任务的前期就犯了很多错误的时候。
但是这样安排有可能会让监管单位觉得测试过程中有一些不自然的打断,从理论上而言这些不自然的打断可能会对测试人员完成之后的任务造成影响。举个例子,之前任务中发现的使用错误的访谈可能会让测试人员对于之后要进行的任务变得比较谨慎而变得不是那么容易犯错。
一个比较有争议的更好的办法是让测试人员自然地完成测试任务,任务不应分得过细,并且要减少在测试中断的次数。换句话说,通过减少打断次数的方法让测试流程和真实的使用情况更加接近。
这个方式用来评估在真实的使用情况是比较有效的: 哪一些任务是更加顺畅的,哪一些任务不是那么顺畅。当然这样安排也会有不好的地方,就是减少了收集客观数据的机会。毕竟测试人员在完成任务之后较长时间(可能20-30分钟)才被问及,最初印象他/她可能已经记不清了。
比较明智的做法是去考虑这两种方式的优缺点,最终的目的是减少打扰,让任务的进行更加流畅。
考虑一下进行雾化器可用性测试的情景。表11.1比较了按照上述两种思路把测试按照六个任务的方式和按照一个任务的方式进行的情况。
表1 任务分割和不分割的雾化器可用性测试方式比较
任务分割的方式 | 自然(整合任务)的方式 |
1, 组装雾化器: 收集评价和印象 2, 雾化治疗前的准备,收集评价和印象 3, 雾化治疗,收集评价和印象 4, 拆卸雾化器,收集评价和印象 5, 清洁雾化器,收集评价和印象 6, 将雾化器放好,收集评价和印象 | 1, 像你在家里一样进行雾化治疗
收集评价和印象 |
哪一种方式更容易产出有效的测试结果呢? 将任务进行分割的测试方法可以确保测试人员完成每个任务,确保了较完整的器械可用性评估。但是把测试细分成六个任务和实际使用情况可能不符。细分成六个任务就让测试人员很清楚地知道操作雾化器的步骤,不需要测试人员自己去思考如何一步步操作。
比较自然,将任务进行整合的方式需要让测试人员在没有任何帮助的情况下自己去决定如何使用医疗器械,当然使用说明书是有的。但是如果只是让测试任务完成一个任务会导致非预期的测试结果。举个例子,测试人员可能会认为把雾化器装好之后测试任务就完成了,没有意识到他/她还需要完成治疗的任务(就像在家里一样)。
在有一些情况下,你可以通过问一个问题“如果你在家里的话,你离开家之前,是否还有其它事情要做的?”, 这个问题可以让测试人员有一个机会重新考虑一下测试的终点而不需要告诉他/她下一个步骤的明确指示。
我们的建议,上面已经提过了,就是要去考虑这两种方式的优点和缺点,这样就会产生一种折衷的情况。当你在做信息阶段的可用性测试,折衷的情况是相当有效的。但是,当你在做总结性的可用性测试的时候,我们建议你选择最自然的方式,尤其FDA对于把测试任务拆分是有不同的意见的。
表2 雾化器可用性测试折衷方式
折衷方式 |
1, 准备雾化器,收集评价和印象 2,雾化治疗,收集评价和印象 3,将雾化器放好,收集评价和印象 |
上表中提到的折衷的方式只有两个中断点,这个和真实的使用情况也是接近的。这两个中断点也不会对于测试人员完成之后的任务造成影响,中断的时间也可以让测试安排人员很方便地去收集对于器械的评价和印象,如果时间一长测试人员很可能就忘了。