Onlangs werd de AMTSO aangekondigd. De organisatie gaat zich bezighouden met het standaardiseren van anti-virus software tests. Grote vraag blijft natuurlijk of een instelling waar anti-virusbedrijven deel aan nemen wel op een onafhankelijke manier virusscanners kan testen.

Security.NL sprak met een panel van experts, te weten: Roel Schouwenberg, Senior Anti-Virus Researcher van Kaspersky Lab, Righard Zwienenberg, Chief Research Officer bij Norman, Marius van Oers, virusdeskundige van McAfee, Frank Mulder, Technical Support Manager van Panda Security, Rik Ferguson, Solutions Architect bij Trend Micro en Tom Welling, beveiligingsspecialist bij Symantec. De "tegenpartij" wordt vertegenwoordigd door Andreas Marx van AV-Test, Andreas Clementi van AV-Comparatives en John Hawes van Virus Bulletin. Deze partijen houden zich bezig met het testen van beveiligingssoftware.

Geloofwaardigheid

Het testen van virusscanners is niet eenvoudig, niet alleen hebben anti-virusbedrijven vaak kritiek op de uitslag ook voor consumenten is vaak onduidelijk wat nu de beste scanner is. Niet alleen spreken de verschillende tests elkaar regelmatig tegen, elke omgeving vereist weer andere oplossingen. "De AMTSO heeft als doel het verbeteren van de kwaliteit en transparantie van de tests," zegt Clementi. Volgens de tester zijn er op dit moment maar een paar tests die goed genoeg en transparant voor de leveranciers zijn. "Je herinnert je misschien nog de slordige test van Consumer Reports van vorig jaar augustus." Hij hoopt dan ook dat door het verschijnen van de richtlijnen het kaf eindelijk van het koren te scheiden is.

Volgens Marx heeft anti-virus software zich de afgelopen jaren sterk ontwikkeld, wat niet van de tests gezegd kan worden. Hierdoor worden virusscanners getest in scenario's die niets met de echte wereld te maken hebben. "De meeste reviewers richten zich alleen op het testen van signatures, maar dat is vandaag de dag echt gedateerd." Een ander probleem wat het testen van virusscanners eigenlijk onzinnig maakt, is de snelheid waarmee malware verschijnt. "Sommige malware heeft een levensduur van slechts zeven uur." Wie zich dus blind staart op alleen de malware die door signatures wordt herkend, kan van een koude kermis thuiskomen.

Marx doelt hiermee ook op zijn collega bij Virus Bulletin. Het bedrijf gebruikt de "WildList" om virusscanners te beoordelen. Eerder liet de Duitse anti-virustester al weten dat deze lijst zo goed als dood is. Hawes is het daarmee niet eens. "De WildList ligt al enige tijd onder vuur omdat het niet alle dreigingen dekt, traag met reageren is en ga maar door. Toch blijft de WildList de de facto standaard voor het testen en de basis voor de meeste betrouwbare certiferingssystemen, waaronder onze eigen VB100 test." Hawes erkent dat de lijst gebreken toont, maar laat weten dat er op dit moment de nodige verbeteringen aan worden doorgevoerd. Hierdoor zou het een beter beeld moeten geven van het huidige malware-landschap.

Rootkits razend populair

Inmiddels bevat meer dan twintig procent van alle malware rootkit-technologie om zichzelf te verbergen. Sinds kort is AV-Test daarom begonnen met het testen van virusscanners of ze ook actieve rootkits kunnen verwijderen of dat ze aangeven dat het systeem schoon is. "De aandacht moet daarom veranderen van 'we hebben statische exemplaren en controleren de detectie' naar 'we hebben actief geïnfecteerde systemen en moeten kijken of de virusscanner die herkent'," zegt Marx. Dat klinkt logisch, het testen van dit soort scenario's is tijdsintensief. Wordt er alleen naar signatures gekeken, dan kan men binnen een uur een miljoen virussen verwerken. Gaat het om actieve detectie, dan kan het voor een enkel exemplaar wel een half uur duren.

Doordat er niet zo heel veel tests van anti-virus software zijn, kan een "slechte test" vaak vervelende gevolgen voor een aanbieder hebben.
"Veelal komt het voor dat een tijdschrift een of andere test koopt en publiceert. Zo’n test kan dan een weg vinden naar verschillende magazines en zodoende een grote invloed hebben," zegt van Oers. Het opzetten van een goede test is volgens de virusexpert niet eenvoudig. Niet alleen moeten er veel exemplaren aanwezig zijn, ook de kwaliteit speelt een rol. "Veelal is het lastig voor “buitenstaanders” om aan die voorwaarden te voldoen met een kleine, soms vervuilde, collectie test. Om dat tegen te gaan moet er getest worden met een set die representatief en goed is."

Oers wordt aangevuld door Zwienenberg: "Helaas baseren veel mensen zich op de paar goede tests die er zijn. Er zijn goede tests, zoals onder andere van Andreas Marx. Nadeel is alleen dat 20 bladen diezelfde test kopen en het over een tijdsspanne van 6 maanden publiceren, en bijna allemaal zeggen ze dat zij zelf hebben getest. Als je dan als anti-virusbedrijf een slippertje hebt gemaakt, en alle anti-virusbedrijven hebben dat van tijd tot tijd, word je daarvoor dus heel lang gestraft. En voor de publieke opinie lijkt het dus dat een product al langere tijd slechts is door de verschillende tijden van publicatie."

Breed publiek

De AMTSO bestaat niet alleen uit anti-virusbedrijven, maar ook uit anti-virus testers. Daarnaast is het de bedoeling dat er ook academici en magazines deel gaan nemen, zegt Schouwenberg. Als alleen anti-virusbedrijven de dienst uitmaken, verliest de organisatie z'n betekenis. Daarom hoopt hij ook dat andere takken zich aanmelden. "Iedereen in de organisatie zal ervoor waken dat het niet de anti-virus industrie wordt die zijn eigen tests definieert, of er een situatie ontstaat waarbij de anti-virus testers andere tests gaan beoordelen. Het is een collectieve inzet van allerlei takken die met het testen van security software te maken hebben om zo neutraal mogelijke standaarden te bedenken."

De oprichting van de AMTSO kan een pijnlijke spiegel voor de av-industrie worden. Wordt er bijvoorbeeld naar "Dynamic testing' gekeken, dan vallen de scores lager uit dan bij een test van signatures, waar scanners regelmatig scores van boven de 95% halen. "De tot zover gehaalde scores in Dynamic testing door anti-virus producten zijn significant lager dan bij een on-demand scan van 1+ miljoen samples. Ik denk dat zodra de standaarden aangaande Dynamic testing gefinaliseerd zijn en er tests op die manier worden uitgevoerd, de scepsis van veel mensen aangaande AMTSO significant zal afnemen," laat de expert van Kaspersky Lab weten. Hij hoopt dat het eindresultaat van de AMTSO zal zijn dat de consument betere tests krijgt te zien en security producten zich verder verbeteren.

Mulder onderstreept het gemeenschappelijke belang: "Het feit dat verschillende anti-virusbedrijven samenwerken, leidt tot een betrouwbare standaard. Verschillende expertises en invalshoeken zorgen voor een veel solidere basis. De standaard die wordt opgesteld dient dus uit te gaan van een neutraal standpunt waarbij individuele belangen plaats maken voor het gemeenschappelijk belang, zowel dat van de industrie als dat van de eindgebruiker: het uitvoeren van een eerlijke, duidelijke, transparante en betrouwbare tests."

Keurmerk

Bij Symantec zijn ze erg blij met de oprichting van de AMTSO. "Perfect toch zou ik zeggen, zo'n overkoepelende organisatie die iets gaat doen aan die wirwar van al die verschillende testmethodes," aldus Welling. Volgens hem hoeft de medewerking van antivirus en beveiligingsbedrijven aan het initiatief geen negatieve invloed te hebben op de betrouwbaarheid ervan. "Goede afspraken zorgen ervoor dat dergelijke tegengestelde belangen geen invloed hebben op de testresultaten. Aangezien de organisatie ook bestaat uit anti-malware testers denk ik dat er een prima competitief speelveld ontstaat waarin er geen ruimte is voor gesjoemel."

Welling ziet zelfs mogelijkheden voor een keurmerk van de betere producten. "Tevens denk ik dat het principe van marktwerking er over het algemeen prima voor kan zorgen dat de juiste producten door de klanten gewaardeerd en aangeschaft worden. Echter bij de power-users onder de consumenten zal zeker dergelijke zaken als certificatie meetellen en voor zakelijke klanten des te meer. Zo’n kwalificeringmechanisme kan overigens ook leiden tot bijvoorbeeld een ‘keurmerk’. Er zijn binnen de ISP en banksector fervente voorstanders van een dergelijk keurmerk. Zou het bijvoorbeeld niet een idee zijn wanneer ISPs en banken hun klanten extra (liefst financiële) voordelen bieden als ze hun PC beschermen met Klasse A beveiligingsoplossingen?"

Eerste fundamenten

Zwienenberg zit in het management comité van AMTSO. Tevens faciliteert Norman op 30 April in het Crowne Plaza hotel te Hoofddorp de volgende AMTSO meeting, waar de eerste funderingen voor de technische standaarden worden gelegd. "Ik ben dus niet geheel onbevooroordeeld hier." Toch heeft hij wel een geldig punt van kritiek op veel tests en dat is dat de test-methodologieën niet gepubliceerd worden, als die er al zijn. "Dat houdt in dat de anti-virusbedrijven eigenlijk niet weten wat er getest wordt en hoe er getest wordt. Dit heeft dus ook weer als nadeel dat nieuwe detectietechnieken wellicht niet worden meegetest. Hetzij dat de tester niet eens weet dat die technieken er zijn en dus zijn test(set) niet heeft aangepast, of dat hij niet weet hoe dat te testen."

AMTSO zal niet alleen bestaan uit anti-virusbedrijven, ook de testers en de academici zijn vertegenwoordigd. De laatste om te zorgen dat de testen en methodologieën wetenschappelijk verantwoord zijn. De eerste om er zeker van te zijn dat ze goed testen en ook weten wat ze (moeten) testen.

De tests die eigenlijk ontworpen zijn om consumenten te informeren en producten te evalueren, hebben nu de potentie om de gebruiker naar een oplossing te sturen die juist helemaal niet goed presteert, waarschuwt Ferguson. "Een van de mogelijke gevolgen van de nieuwe regels van de AMTSO is dat sommige oplossingen helemaal niet meer zo goed zullen scoren als nu het geval is. Zolang consumenten beter worden ingelicht over de effectiviteit van een bepaalde oplossing die ze willen kopen, kan dat niet slecht zijn."