还原一个真实的AV-TEST

By | 2014年3月12日

马格德堡是德国并不算太出名的一个城市,相对来说,可能这个城市只能算的上德国的二线小城市。如果没有太多特殊原因,我想,这个城市和我不会有太多缘分。不过,很荣幸的是在AV-TEST的2013年的年度奖项中,Antiy AVL被评为2013年年度最佳防护能力的移动安全产品奖项,也因此,拉开了我们前往马格德堡参观AV-TEST的序幕。

●那些年我们参加过的安全软件国际测试

VB100,AV-C,WestCoast,AV-TEST都是耳熟能详的国际知名测试。在大部分人的印象中,这些测试机构无非就是进行安全软件的对比评测,出具评测报告。至少,很长一段时间,我对这些测试结构的映像就是这些测试机构纯粹是进行软件的测试而已,而且还经常伴随着一些商业规则的需要扮演了某种专业广告推手的角色。 而这次AV-TEST的拜访,彻底颠覆了,我对安全软件测试过程的一些固有观念。

●回到AVAR 2012的第一次亲密接触

回到大概2年前,当时AVAR 2012年的会议在中国杭州举行,这算的上是近几年,在中国举行的较为重量级的国际安全会议了。当时也是第一次见到AV-TEST的maik和marx,maik是AV-TEST的CTO,负责测试相关的技术管理工作,marx是AV-TEST的CEO也是最主要的创始人之一,据说曾经也是一个纯洁的av软件程序员,在大学期间就酷爱收藏安全软件。 在杭州的一个茶馆中,和胖子marx,瘦子maik做了快2个小时的交流。在交流的过程中,从maik的描述来看,AV-TEST样本采集的主要来源则是通过一些样本交换和独立安全研究机构的一些合作等等,同时,也是类似采取了在后台通过对照扫描系统来进行恶意代码样本判定的策略。当时,我的第一反应和判断是,按照海外的安全团队的做法,他们一定会采取比较轻量级的解决方案,那就是直接采用VirusTotal来作为对照扫描系统的基础,毕竟从多方面来说,这是最容易快速实现一个对照扫描系统的工程化方法。而当时,我也非常武断的臆断的认定AV-TEST不会自行开发对照系统。

●AV-TEST团队真容

图0,AV-TEST官方办公楼

图0,AV-TEST官方办公楼

我们大概提前了2个小时就达到了AV-TEST的办公楼,这是一栋非常典型的东德建筑。负责给我们做整个AV-TEST团队介绍的人并不是他们的前台steve,也不是经常和我们联系的市场部的jessica,而是负责移动安全部分测试的技术总监Hendrik。 大概用了1个多小时,Hendrik向我们陆陆续续的介绍了AV-TEST的各个内部的部门,或者我更愿意说是小组,因为他们实在是都太小了。AV-TEST一共不超过35人,却划分了超过6个不同的部门。我的记忆中,按拜访的顺序,分别有这样一些部门:Test Technology Lab,PC Security Research Lab,PC Security Analysis Lab,Mobile Security Lab,Virtual Security Lab,Market,Network等等。不知道,大家是否有和我类似的感觉,在AV-TEST这样一个测试为主的机构中,我们可以看到的是,其组织架构中,只有一个小组是纯粹的TEST的概念,而大量的其它的小组,都被称之为Lab。我在这里看到的是一个和安全公司高度相似的组织架构,甚至是一个麻雀似的小型安全团队的架构,而并不是像我想象中的某种测试团队的组织结构。

●猜到了开头却没有猜中结局

Hendrik并没有针对PC上的安全测试过程向我们做过多的介绍,而是以移动安全产品测试为主,向我们做了非常详细的过程的介绍。 在整个介绍过程中,我看到的是一个相当高度自动化的移动安全产品测试过程。整个测试过程由一个Hendrik独立开发的java测试程序来发起,通过和手机上的一个后台app进行联动,可以准自动化的完成检出率测试,误报测试和性能测试的所有流程。 更具体的来说,Java测试程序,可以根据人工指定选择的样本集合,自动化的进行样本到手机终端的安装,同时在安装过程中,通过手机上的后台app自动化监控和记录这期间的安全软件的扫描结果的通知栏消息,通过对通知栏消息中的提示检出信息来作为恶意代码是否检出的判定条件。同时,在误报测试中,他们会批量的完成所有正常软件的安装,并通过和之前那个后台app进行联动来模仿一些用户的正常行为,例如访问一些特定的网站,看电子书,等等,测试的同时,后台app记录所有的性能信息,进而完成整个性能测试。整个测试过程的自动化程度相当之高,测试系统的集成度也非常之高。

图1,AV-TEST手机自动化测试平台

图1,AV-TEST手机自动化测试平台

而即使在这种情况下,根据Hendrik的描述,平均一个安全产品的测试依然需要3天左右的时间来完成,因此他们也只能采取多台PC并行的策略来进行同时测试。 就在这个时候,Hendrik带我们进入了一个小黑屋,在这个小房间中,我们见到了传说中的AV-TEST 下一代移动安全产品测试系统。这是一个看着就非常先进的系统,在单个PC的情况下,支持最多达40个android设备的同时连接和数据推送以及测试结果搜集和同步,并且android的设备都已经更新到最新的android 4.4系统,采用nexus5作为设备载体。
图2,AV-TEST手机下一代自动化测试平台

图2,AV-TEST手机下一代自动化测试平台

下一代这词是我推荐给Hendrik的,看起来,他非常乐于接受这个概念。而在我看来,我看到的是AV-TEST对测试过程的严谨性,有效性和高效的相当卓越的追求。AV-TEST采取的是每年6次测试,每年平均2个月就要进行一次,这是AV-TEST区别其它很多国际测试的非常重要的一个差异点,因为他们认为连续测试更能反应出产品的特性,对用户更有用。这个测试策略其实让我们非常的苦恼,就好比每2个月就要做一次大考一样,每次测试提交之前都非常的紧张。在看了AV-TEST的整个测试过程之后,我想,每次测试的时候,其实他们也是同样的。而整个AV-TEST团队中,每次完成所有约30款移动安全产品测试的工程师的人数,只有3个人,是的,3个人。

●没猜中结局后面还有更大的惊讶

Hendrik随后,向我们介绍了他们的移动相关的后端分析系统。在这里,能看到的是,他们建立了完全自主的样本捕获系统,自动化恶意代码静态分析判定系统,自动化恶意代码风险评估系统,从多个方面来看,他们几乎完成了70%的一个手机恶意代码后端处理系统的主要工作。

图3,AV-TEST手机自动化样本捕获和判定系统之每日处理总数(XREF-DB是他们自行开发的样本标准存储系统)

图3,AV-TEST手机自动化样本捕获和判定系统之每日处理总数(XREF-DB是他们自行开发的样本标准存储系统)

图5,AV-TEST手机自动化样本捕获和判定系统之单个手机恶意代码自动化静态分析(基于AndroGuard完成部分自动化分析工作)

图5,AV-TEST手机自动化样本捕获和判定系统之单个手机恶意代码自动化静态分析(基于AndroGuard完成部分自动化分析工作)

Maik随后,非常劲爆的向我们介绍了他们在Windows平台上的后端分析系统。向我们介绍了围绕搜索引擎的恶意代码样本捕获和发现系统,围绕邮件的恶意代码捕获和发现系统。同时向我们介绍了,他们如何基于section hash的方法自行设计了一个称为PEDHash的片段hash算法,如何基于PEDHash来进行PC样本的同源性分析,如何进行选择性的人工分析和判定。如何形成整个用于支撑测试过程的后端自动化分析和判定的体系。

图6,AV-TEST PC平台恶意代码自动化捕获和分析鉴定系统

图6,AV-TEST PC平台恶意代码自动化捕获和分析鉴定系统

●回想之用户态度

AV-TEST在入门处制作了专门的电子门牌,对我们的来访表示欢迎 在公司所有的宣传显示小屏幕上,还制作了专门的来访欢迎PPT宣传。 Hendrik花了一上午的时间准备下午给我们的介绍。

图14,AV-TEST 进门欢迎辞

图14,AV-TEST 进门欢迎辞

●回想之安全软件墙

这面安全软件墙几乎摆满了过去20年所有的主要安全产品的包装盒和软体。我看到的不仅仅是一个积累深厚的安全测试厂商,更看到的是一种无法语言形容的文化,氛围和传承。 当然,我还看到了我的最爱“Dr.SOLOMON AntiVirus Toolkit Dos”

图17,AV-TEST 安全墙镇墙之宝,Dr.SOLOMON AntiVirus Toolkit Dos

图17,AV-TEST 安全墙镇墙之宝,Dr.SOLOMON AntiVirus Toolkit Dos

●回想之技术风格

围绕搜索引擎关键词的恶意代码捕获系统让人叹为观止。 自动化分析能力让人叹为观止。 Maik说了一句非常客观的话,如果作为一个安全厂商,我们很难只处理部分恶意代码,而对于一个测试机构,我们完全可以把重点放在一部分我们关注的恶意代码和家族上,做少量精细化分析,然后用于测试就可以了。而为了保持中立性和技术特色,我们所选取的测试样本,我们选取的测试集合,既不是从公共交换渠道中捕获的,也不是我们自己制造的,而是真实的,由我们自主捕获和分析判定的活性样本。

●回想之德国品质和专业精神

在交流中,我问了Maik一个问题,为何今年只设定了BEST PROTECTION一个奖项给移动领域,他们完全可以在移动领域至少设立一个PROTECTION,再设立一个USABILITY的奖项。Maik的回答,让我非常有感触。他说,PROTECTION是非常容易量化和评量的选项,安全产品的检出率的数据可以非常客观的进行量化,而移动安全产品是否易用,我们目前还没有找到合适的客观的量化评估方法。因此,我们认为今年并不是很适合去设立这个奖项的分类。

最后一句话收尾:AV-TEST固然很AV,很TEST,德国品质又一次完美的体现~~

2 thoughts on “还原一个真实的AV-TEST

发表评论

电子邮件地址不会被公开。 必填项已用*标注