image

"Virusscanner tests corrupt en niet te vertrouwen"

donderdag 9 augustus 2007, 16:15 door Redactie, 26 reacties

Tests van virusscanners zijn niet onafhankelijk en geven een verkeerd beeld van de werkelijke bescherming die anti-virus software kan bieden, zo beweert een aanbieder van beveiligingssoftware die verder anoniem wil blijven. Volgens de "klokkenluider" zouden de zogenaamd onafhankelijke testers virusscanners van bepaalde aanbieders voortrekken. "Het is algemeen bekend dat bepaalde bedrijven wordt toegestaan om specifieke malware exemplaren aan onafhankelijke testers te leveren, zodat hun software beter scoort dan die van de concurrentie."

En niet alleen de tests, ook gebruikte malware exemplaren en methodes kloppen niet, waardoor de werkelijke bescherming die virusscanners kunnen bieden wordt genegeerd. "Het publiek krijgt een ZEER fout en vooringenomen beeld dat zelfs niet eens in de buurt van het werkelijke niveau van malware bescherming komt. Dit soort tests zijn bevooroordeeld en toch is het publiek niet op de hoogte dat ze hun vertrouwen aan verschillende magazines schenken die tests van dubieuze bedrijven met een gebrek aan industrie credentials publiceren."

Volgens de gefrustreerde virusbestrijder kunnen detectiegraad en features gebruikers niets schelen, en wil men alleen dat hun computer zo goed en zo makkelijk als mogelijk beschermd is. "Mijn computer is al in jaren niet meer besmet geweest en volgens de laatste recensie in een groot magazine, bevindt mijn produkt zich in de onderste regionen."

Niet anoniem
Wij vroegen Andreas Marx van AV-test.org om een reactie. Volgens Marx is Sophos al weken bezig om de tests van AV-test zwart te maken, en wil de Engelse virusbestrijder ook niet met hem spreken. De aanleiding van de lastercampagne is deze test waarbij de scanner van Sophos als een van de allerslechtste uit de bus kwam, iets wat regelmatig het geval is. Sophos kwam daarna met het bericht dat Marx een foutje in de test had gemaakt, en dit ook had toegegeven.

Security.NL had zowel met Sophos als AV-test.org contact. Marx liet namelijk weten dat hij geen fout had gemaakt en er helemaal geen contact met Sophos was geweest. We vroegen Sophos om een reactie, maar het bedrijf beweerde glashard dat Marx wel degelijk fout zat, en er ook meerdere malen contact met hem was geweest. Toch verdween een dag later heel opmerkelijk de beschuldiging van Sophos aan het adres van AV-test.org uit het blog van de beveiliger.

Reacties (26)
09-08-2007, 16:58 door webje
Nou, nou redactie!! Petje af voor deze Privé waardige informatie!!!
Natuurlijk is het één grote (commerciële) soap.

Dit is één grote reclame campagne, als we in het nieuws zijn denkt U aan
ons, en als U aan ons denkt worden we verkocht.

Zijn toevallig wel vriendjes die Sophos en AV, dus snappen jullie dit nou
niet!!
09-08-2007, 17:21 door the virusman
Zoals algemeen bekend, heb ik al heel lang geen vertrouwen in deze
testen.

Leuk om te lezen en dan snel vergeten, zou ik dan toch altijd al gelijk gehad hebben ???
09-08-2007, 17:32 door Anoniem
Door the virusman
Zoals algemeen bekent, heb ik al heel lang geen vertrouwen in deze
testen.

Leuk om te lezen en dan snel vergeten.

Welke AV- test organisaties zijn wel betrouwbaar, virusbtn.com en/of av-
comparatives.org? Ik wil graag betrouwbare informatie en van meerdere
bronnen.. heeft iemand nog andere aanraders/afraders.
09-08-2007, 17:33 door Arno Nimus
Dit berichtje kreeg ik via RSS. En toen ik de description
las, dacht ik al meteen aan Sophos. En inderdaad, het lijkt
er wel op dat Sophos de 'dader' is...

Misschien moeten ze daar toch maar wat meer aan sponsoring
van AV-tests gaan doen, levert ze vast een beter resultaat
op. (zoals met zoveel tests)
09-08-2007, 17:47 door Anoniem
Voor de consument een simpel antwoord:

Wordt onafhankelijk door een OS te gebruiken waarvoor nog
geen virussen zijn geschreven :)
09-08-2007, 17:57 door Anoniem
"Het is algemeen bekend dat bepaalde bedrijven wordt toegestaan om
specifieke malware exemplaren aan onafhankelijke testers te leveren,
zodat hun software beter scoort dan die van de concurrentie."

Dat zit een ietsje anders. Namelijk helemaal andersom*, de anti-virus
leveranciers zijn vrij in het leveren van samples aan anti-virus testers en ze
doen dat ook. Als je uit eigen beweging geen samples verstrekt, kun je op
je vingers natellen dat dat niet uitpakt in het voordeel van de testresultaten
van jouw product.

Overigens, van Andreas Clementi (av-comparitives) is bekend dat hij
vooral samples van slechts een paar leveranciers kreeg, daardoor
ontstond inderdaad een behoorlijk scheef beeld. Maar dat is volledig
anders voor av-test.org, dat samples van veel verschillende bronnen
ontvangt.

Het is normaal dat samples worden gedeeld tussen researchers die
elkaar vertrouwen. Als iedereen samples voor zichzelf zou houden zou dat
de detectiegraad van alle producten zwaar omlaag brengen. Dus op zich is
daar niets mis mee.

Waar je wel bezwaar tegen zou kunnen maken is het gebruik van de
testresultaten zonder te beschrijven waar nu precies de verschillen zitten.
Als er van één familie malware die alleen in de Ukraine lokaal voorkomt
50.000 exemplaren van bestaan (geleverd door product A) en product B in
Nederland detecteert die niet, dan kan de hogere detectiegraad van
product A ten opzichte van product B wel eens niet belangrijk zijn in de
praktijk.

*
N.B. Het omkeren van oorzaak en gevolg is een gekende manier om feiten
te verdraaien zonder helemaal te liegen.
09-08-2007, 18:31 door Anoniem
Door the virusman
Zoals algemeen bekend, heb ik al heel lang geen vertrouwen in deze
testen.

Leuk om te lezen en dan snel vergeten, zou ik dan toch altijd al gelijk
gehad hebben ???

Je trapt er met beide voeten in. Doel van Sophos is FUD (Fear Uncertainty
& Doubt) zaaien en bij jou werkt het.

Denk eens na: als Marx echt zo corrupt zou zijn, waar is deze zwartmakerij
dan nog voor nodig? Zou Sophos dan niet gewoon hem wat kunnen
toestoppen i.p.v. het nieuws van hun falen verder verspreiden? Is het niet
juist een teken dat hij niet beinvloedbaar/corrupt is?
Een van de weinige opties die ze nog hebben is deze lastercampagne.

De slechte scores zijn volledig verklaarbaar omdat de test plaatsvond toen
Sophos bezig was een nieuwe versie te maken, waardoor ze kennelijk
minder hebben geïnvesteerd in de oude versie, die daardoor slechter
presteerde. Av-test.org test versies zoals die door het publiek worden
gebruikt, niet een of andere beta die nog kan veranderen wanneer hij op
de markt is. En zeker ook niet een versie waar speciaal aan gesleuteld is
om de prestaties op te krikken.

Het ziet er dus naar uit dat er juist heel precies is omgegaan met de
testprocedures. Dat daardoor de waarheid naar boven komt is natuurlijk
onplezierig voor Sophos, maar dat is geheel te wijten aan zichzelf.
09-08-2007, 19:15 door Anoniem
Reacties van Sophos gebruikers??
09-08-2007, 19:31 door [Account Verwijderd]
[Verwijderd]
09-08-2007, 21:09 door Anoniem
Door Peter V.
Reacties van Sophos gebruikers??
Prima scanner, niets mis mee.

Denk dat er nog wat "oud zeer" zit waar Sophos na 10 jaar nog steeds
door wordt achtervolgd. De ruzie tussen Hruska van Sophos en een of
andere prof van de Universiteit van Magdeburg. En ook toen ging het
om de manier waarop er werd getest. The wildlist werd bv. niet gebruikt.
09-08-2007, 22:36 door the virusman
Door Anoniem
Door the virusman
Zoals algemeen bekend, heb ik al heel lang geen vertrouwen in deze
testen.

Leuk om te lezen en dan snel vergeten, zou ik dan toch altijd al gelijk
gehad hebben ???

Je trapt er met beide voeten in. Doel van Sophos is FUD (Fear Uncertainty
& Doubt) zaaien en bij jou werkt het.

Denk eens na: als Marx echt zo corrupt zou zijn, waar is deze zwartmakerij
dan nog voor nodig? Zou Sophos dan niet gewoon hem wat kunnen
toestoppen i.p.v. het nieuws van hun falen verder verspreiden? Is het niet
juist een teken dat hij niet beinvloedbaar/corrupt is?
Een van de weinige opties die ze nog hebben is deze lastercampagne.

De slechte scores zijn volledig verklaarbaar omdat de test plaatsvond toen
Sophos bezig was een nieuwe versie te maken, waardoor ze kennelijk
minder hebben geïnvesteerd in de oude versie, die daardoor slechter
presteerde. Av-test.org test versies zoals die door het publiek worden
gebruikt, niet een of andere beta die nog kan veranderen wanneer hij op
de markt is. En zeker ook niet een versie waar speciaal aan gesleuteld is
om de prestaties op te krikken.

Het ziet er dus naar uit dat er juist heel precies is omgegaan met de
testprocedures. Dat daardoor de waarheid naar boven komt is natuurlijk
onplezierig voor Sophos, maar dat is geheel te wijten aan zichzelf.



hhaha, ik heb geen enkele last van fud, ik vertrouw gewoon op mijn eigen
waarnemingen en verstand, die virus testen mogen voor mij achterwege
blijven.

Hoewel het grote publiek ze natuurlijk wel graag wil lezen, zelf kijk en volg
ik de ontwikkelingen natuurlijk ook op de voet.

PS, waarschijnlijk heb je iets gemist maar mensen die al vaker iets van
mij gelezen hebben weten wel waar ik het over heb, het heeft geen nut het
weer opnieuw aan te halen.

gr vd virusman
10-08-2007, 01:45 door ctrlaltdelete
Ik stuurde van der week een trojan die slechts door 1 AV werd herkend
naar ALLE antivirusbedrijven.

Reactie Sophos;

Hi ,
Thank you for contacting Sophos.
The sample e-mail you have sent in for analysis does not contain viral
file(s).
Files not malicious .

Ondertussen hadden verschillenden andere AV's wel gezien dat het
malware was en was het resultaat ook op Virustotal te zien.
Dus ik stuur Sophos een mailtje terug met een recent Virustotal rapport
erbij.

Reactie Sophos;

Hi ,

After further analysis :

File VideoAccessCodecInstall.exe detected as Troj/Zlob-ADL

other files as Troj/Dloadr-BCV and Troj/Banker-EIJ

For further analysis and to remove the Virus/Trojan(s) please visit the
below Sophos link(s):

http://www.sophos.com/virusinfo/analyses/trojbankereij.html
http://www.sophos.com/virusinfo/analyses/trojzlobadl.html
http://www.sophos.com/virusinfo/analyses/trojdloadrbcv.html


Zelf gebruik ik geen Sophos, ik vertrouw op NOD32 en nog wat andere
beveiliging.


Over het algemeen geven de grote virustests wel een vertekend beeld.
Ik heb genoeg malware gezien die als compleet bestand niet werd
gedetecteerd als malware (dus ook niet met een controle op virustotal,
of een scan van -tigduizend malware bestanden) maar waar tijdens de
installatie wél de malware bestanden onschadelijk werden gemaakt.

De ene AV probeert alle installatiebestanden waar met wachtwoord
beveiligde malwarebestanden in zitten te detecteren, de andere AV
kiest ervoor om alleen de malwarebestanden te detecteren op het
moment dat die worden uitgepakt.

De eerste AV zal hoger scoren in een test, de tweede AV is veel
effectiever in het beschermen van je PC.
10-08-2007, 08:58 door Anoniem
Een ander bedrijf dat doorgaans niet zo best scoort in de vergelijkende
tests is Microsoft (met OneCare).

Stel nu dat al die vergelijkende tests zo corrupt zijn als sommige mensen
voorstellen, dan zou Microsoft toch

OFWEL: breed uitsmeren in de media dat deze tests waardeloos zijn

OFWEL: heel hoog in de tests scoren, want als de resultaten te koop zijn,
dan snap ik niet waarom Microsoft zo laag staat.
10-08-2007, 09:08 door Consultant
Ik zou de statistieken van VirusTotal van de
herkenningsgraad van de verschillende vendors wel willen
zien, hier kun je denk ik meer van af leiden dan de tests...
10-08-2007, 10:24 door Anoniem
Dus... virus tests zijn net als alle andere dingen in deze
maatschappij !?
10-08-2007, 10:39 door Anoniem
Door Anoniem
Een ander bedrijf dat doorgaans niet zo best scoort in de
vergelijkende
tests is Microsoft (met OneCare).

Stel nu dat al die vergelijkende tests zo corrupt zijn als
sommige mensen
voorstellen, dan zou Microsoft toch

OFWEL: breed uitsmeren in de media dat deze tests waardeloos
zijn

OFWEL: heel hoog in de tests scoren, want als de resultaten
te koop zijn,
dan snap ik niet waarom Microsoft zo laag staat.

Ofwel de gezamelijke antivirusbedrijven willen Microsoft de
markt uit drukken en hebben een pact gesloten om dat voor
elkaar te krijgen, onder meer door OneCare slecht te laten
scoren in tests? (Speculatie, maar dat is dit alles wat hier
gepost wordt, ook door de redactie).

Laten we wel zijn... antivirusbedrijven zijn zeer goed in
het reverse engineeren van software... dus OneCare hebben ze
ook al lang gereversed, en ze weten precies wat OneCare wel
en niet kan...
10-08-2007, 12:42 door Anoniem
Door Anoniem
(Speculatie, maar dat is dit alles wat hier
gepost wordt, ook door de redactie).

Je kan je vergissen. Er zijn mensen die dingen weten uit de eerste hand,
als direct betrokkene, niet van roddels en nieuwsberichtjes.

Ik ben blij met dit stukje onderzoeksjournalistiek van security.nl, dat is een
stuk beter dan het ongecontroleerd overnemen van "nieuws" van derden
dat vaak slechts een commercieel doel dient. Wat security.nl ook goed
heeft gedaan is de kant van twee kanten te belichten door beide partijen
om een reactie te vragen. Het gaat over iets belangrijks en dat het smeuig
is, is mooi meegenomen.
10-08-2007, 18:42 door Anoniem
Door ctrlaltdelete

Zelf gebruik ik geen Sophos, ik vertrouw op NOD32 en nog wat
andere
beveiliging.


Nu maak je me wel nieuwsgierig. Wil je ons vertellen wat de
"nog wat andere beveiliging" inhoudt?
Bedankt.
12-08-2007, 19:02 door Anoniem
Als je hier goed opgelet had,was je niet nieuwsgierig maar had je het
geweten.
In deze regen van reacties,is hij de enige die hele dagen met beveiliging
bezig is.
Werkelijk dag en nacht,dus ik weet dat Virus/malware bedrijven hem nogal
eens om hulp roepen.
Een Virus/malware Goeroe?
Bijna zeker weten.
En wat hij gebruikt komt hij misschien nog wel eens zeggen.
Maar ik ben daar de persoon niet voor.
12-08-2007, 21:53 door Anoniem
Ik zou de statistieken van VirusTotal van de
herkenningsgraad van de verschillende vendors wel willen
zien, hier kun je denk ik meer van af leiden dan de
tests...

Die statistieken krijg ik dagelijks. En ik kan je vertellen
dat je veronderstelling niet klopt.
12-08-2007, 21:56 door Anoniem
Terzijde: Andreas Marx en zijn organisatie hebben al eerder
bonje gehad met een antivirus company. Met als resultaat dat
het hem al enige jaren ten strengste verboden is om NOD32 te
testen.
13-08-2007, 00:49 door Anoniem
Door Anoniem
Terzijde: Andreas Marx en zijn organisatie hebben al eerder
bonje gehad met een antivirus company. Met als resultaat dat
het hem al enige jaren ten strengste verboden is om NOD32 te
testen.

Dat is een sprookje. Av-test.org test Eset NOD32 ook.
13-08-2007, 01:01 door Anoniem
Door the virusman
PS, waarschijnlijk heb je iets gemist maar mensen die al vaker iets van
mij gelezen hebben weten wel waar ik het over heb, het heeft geen nut het
weer opnieuw aan te halen.

gr vd virusman

Maak je geen zorgen, ik zie je wel vaker posten, maar daar kan ik niets uit
afleiden wat jou in deze discussie helpt.

Je beroepen op wie je (denkt dat je) bent is altijd een zwaktebod. Het gaat
om argumenten.

En aangezien je je beroept op je identiteit, wat is je naam?
13-08-2007, 01:11 door Anoniem
Door Anoniem
Ofwel de gezamelijke antivirusbedrijven willen Microsoft de
markt uit drukken en hebben een pact gesloten om dat voor
elkaar te krijgen, onder meer door OneCare slecht te laten
scoren in tests? (Speculatie, maar dat is dit alles wat hier
gepost wordt, ook door de redactie).

Laten we wel zijn... antivirusbedrijven zijn zeer goed in
het reverse engineeren van software... dus OneCare hebben ze
ook al lang gereversed, en ze weten precies wat OneCare wel
en niet kan...

Als je weet dat OneCare van origine afkomstig is van een Roemeens anti-
virus (RAV) en dat veel later na de overname Microsoft in begon te zien dat
de normale ontwikkelprocedures niet op anti-virus van toepassing zijn
(met gefrustreerde medewerkers als gevolg), is het niet verwonderlijk dat
OneCare veel slechter scoorde.
Pas sinds kort is het management verbeterd met mensen die weten wat
ze moeten doen om een goed product te maken.

Jouw samenzweringstheorie rammelt, want wat wil je nu precies bereiken
met reverse engineren van OneCare? Dat is enorm tijdrovend en
omslachtig als het doel is te zien hoe goed het presteert. Gewoon de
scanner gebruiken is een beter idee.
13-08-2007, 22:37 door Anoniem
Dat is een sprookje. Av-test.org test Eset NOD32
ook.

Toevalligerwijs heb ik hier (even opgedoken) zowel de
emailbevestiging van Anton Zajac, CEO van Eset, alsook
emails hierover van Andreas Marx zelf. Ik zou zeggen: stuur
beiden eens een emailtje (mocht je de kanalen hebben) en
vraag het ze.
13-08-2007, 22:56 door the virusman
Door Anoniem
Door the virusman
PS, waarschijnlijk heb je iets gemist maar mensen die al vaker iets van
mij gelezen hebben weten wel waar ik het over heb, het heeft geen nut het
weer opnieuw aan te halen.

gr vd virusman

Maak je geen zorgen, ik zie je wel vaker posten, maar daar kan ik niets uit
afleiden wat jou in deze discussie helpt.

Je beroepen op wie je (denkt dat je) bent is altijd een zwaktebod. Het gaat
om argumenten.

En aangezien je je beroept op je identiteit, wat is je naam?


je ware je identiteit tonen op een publiekelijk forum dat heb ik nog nooit
gedaan en zal ik ook nooit doen.

big brother is watching.

PS, je weet dus dat ik vertrouw op eigen test machines en eigen
bevindingen.

Jaja ik weet dat is dom want anderen weten het allemaal veel beter,
certified testen blablabla daar moeten we op vertrouwen.

Ik ben gewoon een beetje eigenwijs, sowhat.

wat me overigens opvalt is dat je zelf ook post onder anoniem, neem op
zijn minst een herkenbare schuilnaam aan, want weet je anoniem is zo
anoniem.

ik ga slapen, morgen weer een nieuwe dag vol met virussen en ander
gevaar ik ben der klaar voor.
Reageren

Deze posting is gelocked. Reageren is niet meer mogelijk.