Beveiliging is lastig te kwalificeren en dat maakt het voor veel gebruikers een moeilijk onderwerp. “Security is a process, not a product” zei Bruce Schneier al in 2000, de meeste consumenten zien dit precies andersom en de belichaming hiervan is de virusscanner. Geen enkel beveiligingsproduct zorgt voor zoveel discussie. Dat security geen product is blijkt wel uit de rol die anti-virus software door de jaren heen gespeeld heeft. Vandaag de dag is het al lang niet meer voldoende om alleen een virusscanner te gebruiken. Dat neemt niet weg dat voor de meeste mensen een scanner het belangrijkste verdedigingswapen is.

Als consument wil je dus de beste virusscanner, maar hoe kies je die? Elke test kent een andere winnaar en daarnaast hebben de anti-virusbedrijven zelf vaak kritiek op de tests. Om die problematiek aan te pakken en het publiek transparantere tests aan te bieden werd de Anti-Malware Testing Standards Organization opgericht.

Onlangs publiceerde de organisatie een aantal richtlijnen waar tests aan moeten voldoen. Een slechte test kan een fabrikant namelijk maandenlang schade bezorgen. Veel magazines en websites nemen bij een testbedrijf een test af en publiceren die voor hun eigen lezers. Dezelfde test wordt zo meerdere keren gebruikt, maar doordat bladen soms maanden na elkaar verschijnen, kan een foutje van een virusscanner of van de tester het product in kwestie hardnekkig volgen.

De AMTSO is geen belangenbehartiger van alleen anti-virusbedrijven, de belangrijkste testorganen zijn ook vertegenwoordigd. Zo kunnen beide partijen elkaar “scherp” houden. In 2009 zullen de eerste tests met de AMTSO richtlijnen verschijnen, wat betekent dat het resultaat niet meer ter discussie kan staan, zowel niet door de anti-virusbedrijven als testers. De basis voor elke test werd laatste gepubliceerd en vanwege alle aandacht voor virusscanners op Security.nl, zetten we ze op een rijtje:

1. Het testen mag het publiek niet in gevaar brengen
Bij het testen van een virusscanner mag zowel het te testen product als de test het publiek niet in gevaar brengen. AMTSO wil voorkomen dat per ongeluk malware uitlekt, maar de belangrijkste reden is dat testers geen nieuwe malware gaan ontwikkelen. In het verleden waren er testers die zelf malware ontwikkelden om een product aan de tand te voelen, iets wat volgens AMTSO niet de bedoeling is.

2. Testers moeten objectief zijn
Regelmatig verschijnen er tests die door een bepaalde virusbestrijder zijn gesponsord of die op de betreffende publicatie adverteert, en toevalligerwijs scoort het product van dit bedrijf dan vaak uitstekend. Een vrij dubieuze praktijk die AMTSO de kop in wil drukken. Daarom moeten testers voortaan op een ethisch verantwoorde manier te werk gaan en elk product gelijk behandelen, ook al is die van de opdrachtgever of sponsor. AMTSO heeft niets tegen gesponsorde tests, zolang de test maar eerlijk verloopt en de relaties tussen de verschillende partijen duidelijk worden gemaakt.

3. Het testen moet open en transparant zijn
Sommige magazines en websites, zoals de Consumentenbond laatst, maken niet duidelijk hoe er getest is of wie dit heeft gedaan. AMTSO zegt dit te begrijpen, maar vindt dat de regels alleen zijn na te leven als het testen open en transparant plaatsvindt. Daarom moeten tests in de toekomst meer informatie aan de lezer verstrekken, zoals welke oplossingen er getest zijn, hoe men de malware heeft verkregen en gecontroleerd, welke versie en configuratie van de scanner gebruikt is en hoe de verschillende oplossingen vergeleken zijn.

4. Evenwichtige vergelijking van effectiviteit en prestaties
Een virusscanner kun je niet op één punt beoordelen. Daarom moeten testers voortaan meerdere vergelijkingen geven, zodat de lezer zelf een geïnformeerde beslissing kan maken. Een product dat veel malware detecteert, maar ook veel false positives genereert is niet per definitie “beter” dan een oplossing die minder malware vangt, maar ook minder fouten hierbij maakt.

5. Testers moeten controleren of test exemplaren inderdaad kwaadaardig, onschuldig of ongeldig zijn
Het komt weleens voor dat testresultaten niet kloppen omdat er geen geldige exemplaren zijn gebruikt om de test mee uit te voeren. Het gaat dan onder andere om bestanden die corrupt zijn of alleen maar in bepaalde omgevingen en situaties kwaadaardig zijn. Scanners slaan dan onterecht alarm of detecteren de corrupte bestanden niet, wat ze wel in de test kan worden aangerekend.

6. Doel van de test moet duidelijk zijn
Uiteindelijk verschijnen de tests in een blad of op een website. AMTSO wil dat publicaties het doel van de test duidelijk maken. Het schiet bijvoorbeeld niet op als men in een consumentenblad producten voor de zakelijke markt heeft getest. Daarom moet zowel het doel van de test als gebruikte methodologie duidelijk zijn.

7. De conclusie van de test moet op de resultaten gebaseerd zijn
Dit klinkt als een redelijke open deur, toch komt het nog altijd voor dat bladen en testers conclusies trekken die niet op de test gebaseerd zijn. Hierdoor kunnen producten die slechter scoren toch als beste worden aangeprijsd.

8. Testresultaten moet statistisch verantwoord zijn
Het gebruik van een handjevol test exemplaren om een virusscanner te controleren kan een vertekend beeld geven. Daarom stelt AMTSO dat een tester voldoende exemplaren en scenario’s moet gebruiken. Hoe meer verschillende tests een tester uitvoert des te beter.

9. Uitgevers, leveranciers en testers moeten bereikbaar zijn
Alle betrokken partijen bij een test moeten voor commentaar bereikbaar zijn en binnen een redelijke termijn op vragen antwoord geven. Zoals eerder gezegd zijn tests van grote invloed. Mochten er vragen of opmerkingen zijn, dan moet daar snel iets mee gedaan worden.

Conservatief
Volgens David Harley beschouwen anti-virusbedrijven alleen bepaalde tests als legitiem, wat in sommige gevallen in eigen belang is. “De leveranciers zijn notoire conservatieven." Dat neemt niet weg dat de eis voor heldere richtlijnen zowel anti-virusbedrijven als consumenten te goede komen.

Het is echter de vraag wanneer testers de AMTSO richtlijnen zullen volgen. Het testen van virusscanners is een complexe aangelegenheid en vereist de nodige middelen en kennis en de richtlijnen van AMTSO, hoewel uitstekend, maken het niet makkelijker. Daardoor zijn er ook maar een paar echte testorganen. Die zullen ongetwijfeld hun procedures aanpassen, toch zijn er ook voldoende magazines, websites en zelfs consumentenbonden die een poging wagen en de regels van AMTSO waarschijnlijk hinderlijk vinden. Kijk bijvoorbeeld naar de eerste regels die zijn gepubliceerd voor dynamische tests. Voor een succesvolle test moet de tester aan tal van maatregelen doen.

Een ander probleem ligt bij AMTSO zelf en dat is de besluitvorming. Vanwege de belangen van alle betrokkenen is het een vrij traag proces. In mei vindt de volgende overlegronde plaats om andere testprocedures te bespreken. Voordat testers die kunnen toepassen ben je weer maanden verder. Toch is het AMTSO initiatief lovenswaardig te noemen en moet die voor meer transparantie zorgen in een industrie waar men zich vaak achter schimmige testprocedures en cijfers verschuilt.