In de meeste tests wordt Sophos vergeten....
http://www.sophos.com/
wij gebruiken voor 4.500 man Sophos op het werk, en het is
onverslaanbaar...

Avira scoort niet veel minder in de genoemde tests. Avira heeft meer false
positives aangezien het veel generieke detectie bevat van packers en
dergelijke. Niet erg op een gateway, maar wel op een desktop.

Honeypots vormen geen representatieve afspiegeling van de
werkelijkheid, net zo min als een test met 200.000 stuks malware dat is.

Het is uiteraard wel zo dat retrotests de beste manier zijn van anti-virus
testing, maar de gebruikte malware moet wel op enige schaal in het wild
voorkomen. Daarom wordt voor retrotests vaak de Wildlist gebruikt.

Waarom is het onverslaanbaar? Omdat je denkt dat je niets mist?

Elke keer als er een test is van virusscanners komt later de
aap uit de mouw. Nu heeft men een test opgezet waarvan je je
afvraagt of dit wel representatief is voor de virale
situatie van dit moment. En natuurlijk krijg je daarmee
afwijkende resultaten van eerdere tests.

Het wordt eens hoog tijd dat er een goede en representatieve test
gaat komen voor virusscanners waar de gebruikers iets aan hebben.

Hier ben ik het volledig mee eens.
Op deze site verschijnen heel veel berichten over de scores
van diverse malware-pakketten. Dus ik zou zelf de cijfers
uit al die artikeltjes naast elkaar kunnen leggen. Maar een
actueel overzicht zou best een toegevoegde waarde van deze
site kunnen zijn ;)

dat klinkt makkelijker dan het is. er zijn zo veel factoren
waar je op kan testen en dan nog het verschil in wat je
zwaarder wil mee laten wegen. ik vind een onderzoek zoals
dat in ieder geval betrouwbaarder dan die door fabrikanten
uitgevoerd wordt. dat is sowieso erg twijfelachtig.

ik zie ook niet helemaal waarom een test op basis van wat op
een honeypot binnenkomt nou niet een goede test is. kan de
persoon die dat schreef dat uitleggen?

Ja, dat kan ik. Honeypots (ik beheer er zelf en ik beheer real life systemen)
vertonen een heel ander beeld van de dreigingen dan een organisatie in
werkelijkheid kan verwachten.

Hoe dat komt is niet eenvoudig uit te leggen maar ik zal een poging doen.
Honeypots werken met lokaas. Bij spam is dat bijvoorbeeld een email
adres gepost op een drukbezochte blog. Daarop zul je spam gaan
ontvangen. Maar die is niet representatief voor de werkelijkheid want dat
adres is niet gebruikt in dagelijks verkeer, staat dus bij niemand in zijn
adresboek en daar kan malware hem dus niet vinden. Je vind dus alleen
spam die toevallig met een harvester is ontdekt door spammers die zo te
werk gaan. Je vind geen spam die alleen wordt verstuurd naar email
adressen die van besmette PC's zijn afgehaald, je vind ook geen spam die
alleen wordt verstuurd aan doorverkochte mailing list adressen. Test je je
anti-spam product met alleen honeypot samples, dan zal dat geen
betrouwbaar beeld opleveren.

Bij malware gebruik je bijvoorbeeld vulnerable computers die moedwillig
open zijn gezet. Maar de meeste PC's staan niet open, want dat houden ze
simpelweg niet lang vol. Dergelijke malware tref je dus niet aan op de
overgrote meerderheid van systemen.
Of je verzamelt verdachte bestanden via p2p (bijvoorbeeld *.src, *.pif e.d.),
irc of nttp, of je downloadt alle Greeting links in email, etc. Al die methoden
geven een heel eenzijdig beeld en ze genereren alleen maar materiaal van
specifieke oorsprong die je zelden zult aantreffen op een live systeem.
Daarom is het niet representatief.

De Wildlist, met al zijn beperkingen, is dan een beter middel door de
diversiteit van de bronnen. Ik geef meteen toe dat daar ook malware bij zit
die je nooit zult aantreffen, al was het alleen maar omdat bij malware ook
verschillen in geografie en sectoren verschillen een belangrijke rol spelen.

Nu is dit allemaal niet zo erg, iedere methode heeft zijn toepassing, als je
maar weet hoe de resultaten moet interpreteren. En daar gaat het in dit
artikel fout, de bewering dat de helft van de virussen wordt gemist is niet te
onderbouwen.

Een test dient altijd vergezeld te gaan van een nauwkeurige beschrijving
van hoe die is uitgevoerd en dat is hier niet aanwezig. Het is ook niet
netjes om anti-virus bedrijven pas na publicatie om commentaar te vragen.
Misschien zit er wel een fout in de manier van testen, ondertussen heb je
dan wel die leverancier in een kwaad daglicht gesteld. Dat kan je een
rechtzaak opleveren.

De poging om malware te verkopen aan anti-virus bedrijven is
merkwaardig, als je weet dat iedere researcher pro bono samples zal
verschaffen aan andere trusted researchers. Immers, deze samenwerking
komt de kwaliteit van beide anti-virus producten ten goede.

Overigens, als je test en je beweert dat een bepaald product samples
mist, zul je die samples moeten verschaffen aan de producent, die heeft
daar recht op.

We hebben juist ons uiterste best gedaan om de testmethode
zo duidelijk mogelijk uit te leggen. Op
http://www.qnetlabs.com/?page=main-testingprocedures
geven we aan welke methoden worden gebruikt om tot de
resultaten te komen. Uiteraard is constructieve kritiek over
hoe dat beter zou kunnen meer dan welkom - we willen zo open
mogelijk zijn over de manier waarop de cijfers tot stand komen.

En dat is meteen ook de reden dat we geen namen bij de lager
scorende AV programma's hebben genoemd. In het telefonisch
interview met Security.nl hebben we expliciet aangegeven dat
we geen namen buiten de top-3 willen publiceren totdat er
contact is geweest met de AV producenten.

Toch is dat gebeurt: er zijn een beperkt aantal met name genoemde
scanners getest waarvan bekend is gemaakt wat ze minimaal, maximaal
en gemiddeld scoren. Minimaal 22%, maximaal 87% en gemiddeld (over
het totaal) 50%.

De test procedure is te sumier beschreven, het wordt daardoor moeilijk
hem te beoordelen.

Wie de losers zijn, wil men nog niet zeggen. Men wil ze eerst de kans
geven zich te verbeteren. Zijn ze ook zo coulant als het om Microsoft gaat?