Er wordt teveel gerotzooid met het testen van virusscanners en beveiligingssuites, wat zowel slecht voor consumenten als anti-virusbedrijven is. De Anti-Malware Testing Standards Organization (AMTSO) gaat daarom op verzoek van anti-virusbedrijven tests en recensies controleren. Aan de hand van verschillende richtlijnen, die door 40 anti-virusbedrijven, verschillende grote testers en academici zijn opgesteld, wordt vervolgens beoordeeld of een test wel aan de AMTSO standaard voldoet of niet.

"Het betekent dat iemand het Review Analysis Board kan vragen om een 'test' te beoordelen op de criteria zoals beschreven in het standaarden document dat door alle leden wordt ondersteund. Aangezien onder de leden ook de grote testers zitten en die aan de totstandkoming hebben meegewerkt, onderschrijven zij deze methoden ook. Dus de huis-tuin en keuken testers zullen op deze manier snel door de mand vallen", zegt AMTSO president Righard Zwienenberg tegenover Security.nl.

Betrouwbaarheid
Volgens Zwienenberg wordt het op deze manier voor de consument duidelijk welke testen betrouwbaar en niet betrouwbaar zijn. "Het is moeilijk uit te leggen dat Produkt A in een test als beste uit de bus komt terwijl deze ook enorm veel false positives heeft. Maar als de tester dat niet (goed) test, of niet zorgt voor een verse collectie malware met valide samples, tsja...." Hij is dan ook benieuwd hoe testers die niet bij AMTSO zijn aangesloten over de richtlijnen gaan denken. "Het legt namelijk zwakke testen redelijk snel bloot. En de meeste, maar niet allemaal, zijn van dat gehalte omdat er altijd wel meerdere details met betrekking tot de gebruikte methodologie en dergelijke ontbreken."

Misleidend
AMTSO bestuurslid Stuart Taylor gaat nog een stap verder. “AMTSO wil goede testen promoten die zinvol, nauwkeurig en bruikbaar voor consumenten zijn. Helaas variëren veel gepubliceerde tests van misplaatst tot misleidend. Net als anti-virusbedrijven nep-virusscanners opsporen, jaagt AMTSO op nep-tests en reviews."