image

Anti-virusbedrijven boos over Duitse anti-virustest

woensdag 4 april 2012, 16:16 door Redactie, 13 reacties

Verschillende anti-virusbedrijven hebben een boze brief naar een Duits computerblad gestuurd dat verschillende virusscanners vergeleek. In de test van Stiftung Warentest kwamen Symantec, Panda, McAfee, F-Secure en Trend Micro als slechtste uit de test. Het magazine vertelde echter niet met wat voor malware er getest was. Ook werd er zonder internetverbinding getest, waardoor de anti-virusprogramma's geen cloud konden gebruiken en werd er ook geen rekening met zaken als gedragsanalyse, IDS/IPS en dynamische tests gehouden.

De anti-virusbedrijven stapten vervolgens naar de Anti-Malware Testing Standards Organization (AMTSO). AMTSO is een organisatie waar anti-virusbedrijven, testorganen en academici in verenigd zijn, met als doel het opstellen van universele testrichtlijnen.

Vanuit AMTSO werd een open brief naar het Duitse computerblad gestuurd waarin wordt gesteld dat het magazine verouderde testmethoden gebruikte. Hierdoor zouden de resultaten van de test niet betrouwbaar zijn. De brief werd door Check Point, F-Secure, Ikarus, Kaspersky Lab, McAfee, Panda Security, Symantec, Trend Micro en AV-Test.org ondertekend.

Kritiek
In een reactie op de open brief stelt Stiftung Warentest dat het de test voor computergebruikers ontworpen heeft die geen expert zijn. De testers hebben dan ook vanuit de gebruiker gezien getest.

Zo werd er malware van het internet gedownload en websites bezocht die drive-by downloads uitvoerden. Daarnaast zou de testmethode onder alle betrokken anti-virusbedrijven zijn gedeeld en hadden die in eerste instantie geen kritiek.

Reacties (13)
04-04-2012, 16:48 door T_deler
Stiftung Warentest is geen computerblad maar is te vergelijken met de consumentenbond.
04-04-2012, 17:55 door U4iA
Dat de fabrikanten het niet met de uitkomst van een test eens zijn is niet zo verwonderlijk, maar dat AV-Test.org ook heeft ondertekend zegt toch wel dat er inderdaad iets mis is met de test van Stiftung Warentest.
04-04-2012, 18:14 door [Account Verwijderd]
[Verwijderd]
04-04-2012, 19:48 door Righard J. Zwienenberg
Dit gaat op preken lijken op promotie, maar AMTSO heeft het onderwerp naar een open forum verplaatst zodat iedereen er over mee kan praten:

http://www.amtso.org/forum/showthread.php?259-Stiftung-Warentest-the-German-Consumer-Report
04-04-2012, 19:50 door LightFrame
Als er met echte 0-day samples is getest dan is het helemaal niet vreemd dat de meeste programma's slecht scoorden.
Dat is ook te zien in een test van Malware Research Group, waarbij de samples zelfs nog werden gestart;

http://malwareresearchgroup.com/malware-tests/flash-test-results/

Dat AV-Test.org het ook heeft ondertekend zegt niet zo veel. AV-Test.org zal waarschijnlijk tegen alle andere tests zijn omdat zij dan niets meer verdienen, en zelf wilden ze niet eens vertellen welke malware samples werden gebruikt in bepaalde tests, waardoor er ook niets te controleren viel door de vendors van de geteste produkten.

Voor onafhankelijke on-demand testresultaten kun je het beste hier kijken; http://www.virusbtn.com/vb100/rap-index.xml
04-04-2012, 20:28 door Anoniem
Ik ben eigenlijk wel benieuwd wie er in de test wel goed vanaf kwamen.Er werden hier namelijk nogal wat gevestigde namen afgeserveerd.Dus wie was/waren de winnaars bij deze test?
04-04-2012, 21:35 door Anoniem
av-test.org is gewoon lid van AMTSO, en er zijn talloze malen onnozele tests gedaan door mensen die er geen verstand van hebben (en gisteren nog koffiezetters testten). Daarom juist zijn er test instituten, met mensen die er wel verstand van hebben. Veel consumentenorganisaties hebben dat ingezien en betalen dus voor onfhankelijke technische testresultaten van o.a. av-test.org en ze doen zelf gebruikstests.

Virus Bulletin heeft zich jaren geleden onsterfelijk belachelijk gemaakt door de Wildlist te blijven gebruiken terwijl iedereen al lang wist dat die dood was. VB100 bevatte ook virussen die je echt niet in het wild tegenkomt. Nota bene Sophos hield stug vol dit soort academische virussen niet te willen detecteren.

Het is dus niet eens grappig dat LightFrame VB100 aanduidt als een goede maatstaf en av-test.org niet.
05-04-2012, 05:22 door WhizzMan
Boehoe onze AV doet het niet als je het niet gebruikt in een situatie die wij hebben gekozen. Dikke huilie van de antivirusmakers.

Als ik m'n belangrijke machine niet rechtstreeks aan het internet hang en de hele cloud toegang wil geven tot al m'n data (want wie zegt mij dat dat niet gebeurt met zo'n cloud AV opstelling?) moet hun software gewoon werken als ik een USBstick in m'n PC prik. Dat doet het dus niet, goh, verrassing.

De huidige AV is niets meer dan een "opsporing verzocht" en "controle op verdacht gedrag". Het maakt je machine onbruikbaar traag en helpt niet tegen de laatste virussen, tenzij je je security overboord gooit en de AVbedrijven en hun code blindelings gaat vertrouwen. Het is algemeen bekend dat broncode van die AV bij inlichtingendiensten en naar alle waarschijnlijkheid bij grotere industriele spionnen in bezit is. De kans dat die AV als attack vector wordt gebruikt bij (industriele) spionage is daardoor ook reeel. Als bedrijf wil je dus wel drie keer nadenken voordat je zo'n feature aan zet, als je de software sowieso al wilt gebruiken.

Los van het securityrisico wat "cloud sourcing" met zich meebrengt, heb je wel eens gezien hoeveel traffic je daarvoor over je dure 3G roaming verbinding moet jagen? Of je Belgische ISP die je een datalimietje geeft waardoor je in de praktijk anderhalf youtubefilmpje kan kijken en je mail lezen per maand? De kosten daarvoor maken het ook niet handig om cloud sourcing aan te zetten, dus zal je een AVprodukt moeten maken wat het ook doet zonder Internetverbinding met elke uur updates.
05-04-2012, 11:38 door Anoniem
Ik weet niet of ze bij dat testorgaan wel eens gelijk konden hebben.
Van al diegene die daar de vermelding kregen 'niet goed uit de virustest gekomen' kan ik zeggen dat ik ze ook wel eens heb uitgetest en die er ook wel vrij snel terug afgingen van die testpc omdat ik ze om de één of andere reden ook niet goed genoeg vond. Laatste die erafging was Kaspersy wegens een enorm lastige rootkitscanner kon je ergens aanpassen wat niet echt goed lukte altijd.
Op het ogenblik heb ik daar de Bitdefender Security 2012 opstaan die mij wel bevalt tot hiertoe en echt weinig vreet aan het systeem.
Ok er is voor elk wat wils en mijn huis tuin en keukengebruik zullen de echjte tests natuurlijk niet kunnen evenaren.
Ik ben dan ook geen IT'er.
05-04-2012, 11:44 door LightFrame
Door Anoniem: av-test.org is gewoon lid van AMTSO, en er zijn talloze malen onnozele tests gedaan door mensen die er geen verstand van hebben (en gisteren nog koffiezetters testten). Daarom juist zijn er test instituten, met mensen die er wel verstand van hebben. Veel consumentenorganisaties hebben dat ingezien en betalen dus voor onfhankelijke technische testresultaten van o.a. av-test.org en ze doen zelf gebruikstests.

Virus Bulletin heeft zich jaren geleden onsterfelijk belachelijk gemaakt door de Wildlist te blijven gebruiken terwijl iedereen al lang wist dat die dood was. VB100 bevatte ook virussen die je echt niet in het wild tegenkomt. Nota bene Sophos hield stug vol dit soort academische virussen niet te willen detecteren.

Het is dus niet eens grappig dat LightFrame VB100 aanduidt als een goede maatstaf en av-test.org niet.

Wanneer av-test niet bereid is om na een test de hashes te geven van gemiste samples of false positives valt er niets te verifiëren. Maakt verder niet uit waar av-test dan lid van is, AMTSO of de Disney Club. Feit blijft dat de vendor van het geteste product niets kan verifiëren.

De VB RAP test results waar ik naar linkte staan helemaal los van de Wildlist, dat zou je toch moeten weten.

Ik ben het wel volkomen met je eens dat de VB100 awards weinig voorstellen en zelfs een vertekend beeld geven wanneer je alléén maar naar die VB100 awards kijkt, wat veel mensen doen. Als je ziet dat Rising soms wel een award krijgt en de producten die echt vele malen beter zijn niet door een enkele misser of FP dan is wel duidelijk dat die VB100 awards helemaal niets zeggen over de kwaliteit van het product.
05-04-2012, 14:37 door Anoniem
Door LightFrame:
Wanneer av-test niet bereid is om na een test de hashes te geven van gemiste samples of false positives valt er niets te verifiëren. Maakt verder niet uit waar av-test dan lid van is, AMTSO of de Disney Club. Feit blijft dat de vendor van het geteste product niets kan verifiëren.

Dat is onzin, av-test.org deelt samples. Sommige temperamentvolle anti-virus bedrijven (ahum) stellen hele kruistochten in met een leger religeuze volgers om het kwaad van een onwelgevallige testresultaten te bestrijden en onzin te posten. Trap daar niet in.

Verder had ik het over de VB100. VB heeft de methode van retrospectief testen echt niet zelf uitgevonden of als eerste toegepast, dat is het werk van andere test instituten, waaronder, inderdaad av-test.org.
05-04-2012, 16:51 door [Account Verwijderd]
[Verwijderd]
07-04-2012, 04:19 door LightFrame
Door Anoniem: Dat is onzin, av-test.org deelt samples. Sommige temperamentvolle anti-virus bedrijven (ahum) stellen hele kruistochten in met een leger religeuze volgers om het kwaad van een onwelgevallige testresultaten te bestrijden en onzin te posten. Trap daar niet in.

Anoniem,

Ik ben geen religieuze volger van een al dan niet temperamentvol anti-virus bedrijf. Ik heb wel een piepklein vermoeden welk temperamentvol anti-virus bedrijf je bedoelt, en dan is die (ahum) ook zeker terecht, maar zelfs een miljard religieuze volgers kunnen de schade niet herstellen die door de CEO van dat bedrijf is en nog steeds wordt aangericht.
Ook heb ik niet gezegd dat een testresultaat van av-test.org niet correct was. Ik weet alleen dat een niet nader te noemen vendor niet in de in de gelegenheid werd gesteld om bepaalde testresultaten te kunnen verifiëren.
Reageren

Deze posting is gelocked. Reageren is niet meer mogelijk.