Pijnlijk foutje in grote virusscanner test *update*
Het testen van anti-virus software is geen eenvoudige opgave, en wat dat betreft maken zelfs gerenommeerde testers wel eens een foutje. Tijdens de laatste grote virusscanner test van AV-test.org, kwam de scanner van Sophos er zeer slecht uit met een score van 81,75%. De Engelse virusbestrijder was niet over het resultaat te spreken en nam contact op met Andreas Marx, de man achter AV-test.org, die bevestigde dat er tijdens het testen van Sophos' scanner een fout was gemaakt, waardoor de software slecht uit de bus kwam.
Onlangs kwamen virusbestrijders nog bijeen om te spreken over het verbeteren van testprocedures voor virusscanners. Marx zal nu een nieuwe test voor Sophos uitvoeren, maar het is de vraag of dit de negatieve beeldvorming van veel bedrijven en thuisgebruikers kan veranderen.
*Update 1 juni 11:50*
Na een anonieme tip dat er geen contact tussen Sophos en AV-test.org geweest zou zijn, heeft Security.NL de Engelse virusbestrijder gebeld. Die bevestigde dat er wel degelijk contact met het testorgaan is, en dat dit al voor de blogposting gaande was. "We hebben Andreas vanochtend nog gesproken. Mogelijk dat er wat verwarring is ontstaan omdat Andreas begin deze week ziek was, en daardoor niet op het kantoor kon zijn," aldus Graham Cluley. Wat er precies met de test is misgegaan kon Cluley nog niet zeggen.
of dit de negatieve beeldvorming van veel bedrijven en thuisgebruikers kan
veranderen."
Sophos wordt vooral door bedrijven gebruikt, particulieren gebruiken het
normaliter niet wegens de minimum afname en de hoge prijs daarvan. De
meeste thuisgebruikers van Sophos liften mee met de licentie van de
baas.
Ik kan me niet aan de indruk onttrekken dat Sophos de slachtofferrol te ver
uitbuit. Het noemen van de bijeenkomst in Reyjavik bijvoorbeeld, dat ging
over testdoelen en methoden en niet over testfouten. Niet sjiek.
een specialist van desbetreffende bedrijven.
Dan heb je geen reden meer om later aan de bel te trekken.
een *.exe dat een virus kan installeren, en het daadwerkelijk starten van
die *.exe....
Ik heb van de week toevallig wat *.exe bestanden laten scannen op
Virustotal en jotti's en mijn AV vond er geen malware in.
Maar als ik de bestanden echt start op mijn pc worden er vrolijk 2 trojans
tegengehouden.
Om die reden hecht ik minder waarde aan die grote scanner tests die je
overal ziet.
lijkt er dus op dat er niets is fout gegaan, want de scores zijn aanmerkelijk
verbeterd. Ook heeft Sophos nog niet duidelijk gemaakt wat er fout zou zijn
gegaan. Het bericht op de blog is tamelijk voorbarig.
Voor de volledigheid de scores van de laatste 5 kwartalen:
2e kwartaal 2006: 68.7%
3e kwartaal 2006: 65.6%
4e kwartaal 2006: 75,6%
1e kwartaal 2007: 70.9%
2e kwartaal 2007: 81.6%
(c) 2006-2007 AV-Test.org [ur]www.av-test.org[/url]
Sophos werkt aan een nieuwe versie, maar die was voor deze test niet op
tijd beschikbaar.
goede percentage dat de Sophos-scanner tegenhield?
trojans tegen hield? In dat geval zou het goed verklaarbaar zijn.
uitte ik al mijn twijfels, en jawel dit klopte dus. Ook
bitdefender kwam er niet zo goed van af terwijl die meestal
wel in de top te vinden is en andere scanners die het er
normaal wat minder van af brengen stonden nu hoor. Je zou
voorzichtig kunnen concluderen dat deze test niet bepaald
representatief is
> maar het is de vraag of dit de negatieve beeldvorming
> van veel bedrijven en thuisgebruikers kan veranderen.
Vergeet Sophos even, mijn vertrouwen in die hele test
van AV-test.org is onherstelbaar beschadigd!
Ik vond al dat er bijzonder vreemde resultaten tussen zaten,
maar als het "onafhankelijke testorgaan AV-Test.org"
(zie oorspronkelijke bericht) niet voldoende kennis van
zaken heeft kunnen ze beter stoppen met proberen en
het echte werk aan professionals overlaten!
eerder dat er enkele zaken aan de hand zijn. av-test test ANTIVIRUS, niet
houtje-touwtje-oplossingen van AV toko's om hun SLECHTE scanner op te
poetsen door een gedeelte van het antivirus scannen af te schuiven op
personal firewalls enzo.
Vergeet Sophos even, mijn vertrouwen in die hele test
van AV-test.org is onherstelbaar beschadigd!
Ik vond al dat er bijzonder vreemde resultaten tussen zaten,
maar als het "onafhankelijke testorgaan AV-Test.org"
(zie oorspronkelijke bericht) niet voldoende kennis van
zaken heeft kunnen ze beter stoppen met proberen en
het echte werk aan professionals overlaten!
Ik denk dat je niet zo maar alles moet geloven wat je leest. Sophos liegt
over het contact met Andreas Marx en dat hij een fout zou hebben
toegegeven.
Vooralsnog is er geen enkele reden om aan te nemen dat er een fout is
gemaakt, de test resultaten zijn consistent en vertonen over het algemeen
een opgaande lijn.
Sophos moet zich fatsoenlijk gedragen door contact op te nemen, en uit te
leggen wat er volgens hen "fout" was. Ze hebben dat vooralsnog niet
gedaan, misschien doen ze dat om maximaal PR te halen in de pers.
Anoniem vrijdag 01 juni 2007 07:55: Je kunt niet zomaar de
professionaliteit van av-test.org in twijfel trekken, zonder dit op feiten te
baseren. Graag bewijzen en argumenten.
...
Vooralsnog is er geen enkele reden om aan te nemen dat er een fout is
gemaakt, de test resultaten zijn consistent en vertonen over het algemeen
een opgaande lijn.
...
Dat de testresultaten consistent zijn betekend niet dat de test goed is :)
Zonder meer informatie over de test is het makkelijk om testresultaten te
beïnvloeden. Als ik een nieuw virus schrijf, dat door niemand herkend
wordt, en dat 100.000 keer kopieer en in de testsuite opneem, dan worden
daarmee de resultaten flink vertekend.
Aan de andere kant, als er wel veel informatie over de test bekend is
kunnen de virusmakers hun producten hierop afstemmen. Net zoiets als
een grafische kaart met optimalisaties voor 3dmark...
Ik kan me voorstellen dat door onzorgvuldigheid een virusmaker de
signatures van een enkel oud virus per ongeluk kan missen. Maar zoeits
zou ook uit interne tests van virusmakers moete blijken. Ik kan me niet
voorstellen dat (zoals av-test.org suggereert) er meer dan honderdduizend
virussen niet worden gedetecteerd.
Dat de testresultaten consistent zijn betekend niet dat de test goed is :)
Vooralsnog is er geen enkele reden om aan te nemen dat er een "fout" is
en Sophos blijft weigeren aan te geven wat er dan precies fout is. Dus
praten we hier over iets wat alleen bestaat in de hoofden van een paar
mensen bij Sophos. Laat ze eerst maar eens aangeven wat er fout zou zijn.
testresultaten te beïnvloeden. Als ik een nieuw virus schrijf, dat door
niemand herkend wordt, en dat 100.000 keer kopieer en in de testsuite
opneem, dan worden daarmee de resultaten flink vertekend.
Dan zou dat zichtbaar moeten zijn in slechte resultaten voor alle scanners,
maar dat is helemaal niet zo, meerdere onafhankelijke scanners halen
hoge scores.
kunnen de virusmakers hun producten hierop afstemmen. Net zoiets als
een grafische kaart met optimalisaties voor 3dmark...
Het gaat de doorsnee malwareschrijver niet om virusscannertests, het
gaat ze om het verslaan scanners.
signatures van een enkel oud virus per ongeluk kan missen. Maar zoeits
zou ook uit interne tests van virusmakers moete blijken. Ik kan me niet
voorstellen dat (zoals av-test.org suggereert) er meer dan honderdduizend
virussen niet worden gedetecteerd.
Geen virussen, maar malware. Het is makkelijk om er zoveel te missen
aangezien met name bots elke dag geproduceerd worden in kleine
aantallen en voor een select publiek. Als je gebruikers niet tot die
doelgroep behoort (en dat is het geval bij Sophos) dan kom je zo ook niet
vaak tegen.
Deze posting is gelocked. Reageren is niet meer mogelijk.
Junior DevOps Engineer
Certified Secure is op zoek naar een Junior DevOps Engineer. Deze functie is een stuk interessanter dan de term doet vermoeden! Om jou als potentiële nieuwe collega meteen te laten zien wat we doen hebben we speciaal voor jou een selectie gemaakt van een aantal leuke security challenges. Are you ready for a challenge?
Cybersecurity Trainer / Streamer
Toe aan een nieuwe nieuwe job waarmee je het verschil maakt? In de Certified Secure trainingen laat je deelnemers zien hoe actuele kwetsbaarheden structureel verholpen worden. Ook werk je actief mee aan de ontwikkeling van onze gamified security challenges. Bij het maken van challenges kom je telkens nieuwe technieken tegen, van Flutter tot GraphQL, van Elastic Search tot Kubernetes.
