image

Test: 18 anti-viruspakketten voor Windows 10 vergeleken

dinsdag 25 juli 2017, 10:34 door Redactie, 14 reacties
Laatst bijgewerkt: 25-07-2017, 15:29

Het Duitse testlab AV-Test heeft 18 anti-viruspakketten voor Windows 10 vergeleken en niet eerder sinds het testlab met testen begon werden zoveel pakketten als 'top product' bestempeld. In totaal werden de 18 virusscanners en internet security suites voor consumenten met ruim 10.000 malware-exemplaren getest.

De pakketten werden beoordeeld op de detectie van malware, prestaties en bruikbaarheid. Voor de drie onderdelen konden de pakketten bij elkaar 18 punten verdienen. Bij de detectie van malware werd gekeken naar 200 "zero-day" malware-exemplaren en ruim 10.000 malware-exemplaren die in de laatste vier weken zijn ontdekt. Voor de detectie van de zero-day malware, wat in de definitie van AV-Test onbekende, nieuwe malware is, werd er een gemiddelde score van 100 procent gehaald. De test met de 10.000 exemplaren leverde een gemiddelde detectiescore van 99,9 procent op. Twaalf virusscanners wisten op dit onderdeel de maximale 6 punten te halen.

Bij het tweede onderdeel, de prestaties, werd naar zaken als het bezoeken van websites, downloaden van bestanden, installeren en draaien van software en het kopiëren van bestanden gekeken en welke invloed de pakketten hierop hadden. Acht pakketten scoren de maximale 6 punten. Comodo zet met een 2 de laagste score neer en vormt de grootste belasting voor systemen.

Als laatste kwamen de 'false positives' aan bod, dat voor veel pakketten geen probleem is. In deze gevallen beschouwt de virusscanner schone software als malware of schone websites als besmet. Iets wat als het bijvoorbeeld om systeembestanden gaat vervelende gevolgen kan hebben. Negen pakketten halen de maximale 6 punten. Comodo en Microsoft, dat op dit onderdeel vaak hoog scoort, eindigen met 4,5 punten onderaan.

Vier pakketten, Avira, Kaspersky, Symantec en Trend Micro, eindigen met elk 18 punten bovenaan. AV-Test beoordeelt anti-viruspakketten met 17,5 punten of meer als 'top product'. AhnLab, Bitdefender, McAfee en Microwold komen op een score van 17,5 punten uit. Daardoor zijn er in deze test totaal acht 'top products'. Niet eerder wisten zoveel geteste producten deze beoordeling te halen, zegt Andreas Marx van AV-Test tegenover Security.NL. Volgens Marx wordt dit mede verklaard doordat Windows 10 met de Creators Update over allerlei ingebouwde beveiligingsmaatregelen beschikt waar anti-viruspakketten gebruik van kunnen maken.

Image

Reacties (14)
25-07-2017, 12:10 door Anoniem
Qihoo 360 Total Security is helaas niet getest. Volgens mij wel een TOP product..
25-07-2017, 12:14 door Anoniem
Voor de detectie van de zero-day malware werd er een gemiddelde score van 100 procent gehaald.

Gemiddeld 100% ? Wat wil dat zeggen, dat iedere 0day door elke scanner wordt herkend ? Dat sommige AV's een score hebben van meer dan 100% ? Klopt de genoemde statistiek uberhaupt ?
25-07-2017, 14:10 door [Account Verwijderd] - Bijgewerkt: 25-07-2017, 14:11
[Verwijderd]
25-07-2017, 16:18 door Anoniem
Door Anoniem:
Voor de detectie van de zero-day malware werd er een gemiddelde score van 100 procent gehaald.

Gemiddeld 100% ? Wat wil dat zeggen, dat iedere 0day door elke scanner wordt herkend ? Dat sommige AV's een score hebben van meer dan 100% ? Klopt de genoemde statistiek uberhaupt ?
Het gemiddelde van alle AV-pakketten voor het in de tekst genoemde onderdeel zou ik denken.

Je zou nog kunnen nagaan of het afgerond 100% is (meer dan 99,5%), of echt helemaal vol 100%.
Als je op deze pagina https://www.av-test.org/en/antivirus/home-windows/ voor een bepaald AVpakket op het kleine
naar rechts wijzende driehoekje klikt achter de resultaten, dan zie je meer details van de test voor dat AVpakket.
25-07-2017, 17:23 door SecGuru_OTX
Ik weet de AV-Test definities van 0-day niet, maar de nieuwe samples die ik test worden toch echt niet gedetecteerd door een aantal van deze "Top" producten. En ik test met volledige installaties en niet Virustotal.
25-07-2017, 17:38 door Anoniem
Door SecGuru_OTX: Ik weet de AV-Test definities van 0-day niet, maar de nieuwe samples die ik test worden toch echt niet gedetecteerd door een aantal van deze "Top" producten. En ik test met volledige installaties en niet Virustotal.

Volgens https://www.av-test.org/en/news/news-single-view/test-18-security-suites-under-windows-10/:
In the test for protection, the packages were required to withstand the real-world test, followed by the AV-TEST reference set. In the first section, the goal was to fend off 175 new, still unknown threats, some of which were only a few hours old.
25-07-2017, 17:45 door Anoniem
anti-viruspakketten maken je systeem alleen maar trager... Gezond verstand gebruiken en windows defender is genoeg wat mij betreft.
25-07-2017, 17:46 door karma4 - Bijgewerkt: 25-07-2017, 19:05
Door SecGuru_OTX: Ik weet de AV-Test definities van 0-day niet, maar de nieuwe samples die ik test worden toch echt niet gedetecteerd door een aantal van deze "Top" producten. En ik test met volledige installaties en niet Virustotal.
Je kunt er vanuit gaan dat de definitie van Zero Day bij AV heel anders is. Vermoedelijk bedoelen ze de laatste bekende malware types die bekend zijn en sterk in de belangstelling staan.

Echte zero days zijn per definitie onbekend totdat de eerste misbruiker zich aandient.

Update:
https://www.av-test.org/en/test-procedures/test-modules/protection/
Protection against 0-day malware attacks, inclusive of web and e-mail threats (Real-World Testing)
"The most important category where the protective effect of products is concerned is the test against current online threats. This involves accessing known malicious websites or e-mails in order to test whether the protection product is able to ward off attacks."
en "This test refers to the static detection of files, which includes detection with signatures, heuristics and in-the-cloud queries. AV-TEST uses two different test sets to carry out these analyses:
1.All malicious files that were discovered by AV-TEST in the last 4 weeks prior to the beginning of the test, usually around 10,000 to 15,000 files.
2.Extremely widespread malicious files that were discovered by AV-TEST in the last 4 weeks prior to the beginning of the test (detection of widespread malware): around 2,000 to 2,500 files.
Both test sets only use files that have been discovered and analysed by AV-TEST"

Een fraaie aangepaste definitie van zero-day voor het betere management en verkoopverhaal.
https://en.wikipedia.org/wiki/Zero-day_(computing)
25-07-2017, 17:52 door Anoniem
Door Anoniem: Qihoo 360 Total Security is helaas niet getest. Volgens mij wel een TOP product..

Qihoo wordt al lang niet meer getest, omdat ze jaren geleden zijn betrapt op valsspelen in de tests...

http://www.pcworld.com/article/2919554/tencent-qihoo-antimalware-firms-are-accused-of-cheating-stripped-of-rankings-in-antivirus-tests.html
25-07-2017, 19:27 door Anoniem
Door karma4:
Door SecGuru_OTX: Ik weet de AV-Test definities van 0-day niet, maar de nieuwe samples die ik test worden toch echt niet gedetecteerd door een aantal van deze "Top" producten. En ik test met volledige installaties en niet Virustotal.
Je kunt er vanuit gaan dat de definitie van Zero Day bij AV heel anders is. Vermoedelijk bedoelen ze de laatste bekende malware types die bekend zijn en sterk in de belangstelling staan.

Echte zero days zijn per definitie onbekend totdat de eerste misbruiker zich aandient.

Update:
https://www.av-test.org/en/test-procedures/test-modules/protection/
Protection against 0-day malware attacks, inclusive of web and e-mail threats (Real-World Testing)
"The most important category where the protective effect of products is concerned is the test against current online threats. This involves accessing known malicious websites or e-mails in order to test whether the protection product is able to ward off attacks."
en "This test refers to the static detection of files, which includes detection with signatures, heuristics and in-the-cloud queries. AV-TEST uses two different test sets to carry out these analyses:
1.All malicious files that were discovered by AV-TEST in the last 4 weeks prior to the beginning of the test, usually around 10,000 to 15,000 files.
2.Extremely widespread malicious files that were discovered by AV-TEST in the last 4 weeks prior to the beginning of the test (detection of widespread malware): around 2,000 to 2,500 files.
Both test sets only use files that have been discovered and analysed by AV-TEST"

Een fraaie aangepaste definitie van zero-day voor het betere management en verkoopverhaal.
https://en.wikipedia.org/wiki/Zero-day_(computing)

Klopt niet helemaal deze keer.
https://www.av-test.org/en/news/news-single-view/test-18-security-suites-under-windows-10/
In the test for protection, the packages were required to withstand the real-world test, followed by the AV-TEST reference set. In the first section, the goal was to fend off 175 new, still unknown threats, some of which were only a few hours old.
25-07-2017, 21:43 door Anoniem
Door Anoniem: anti-viruspakketten maken je systeem alleen maar trager... Gezond verstand gebruiken en windows defender is genoeg wat mij betreft.
Inderdaad zo draait mijn systeem al jaren zonder problemen.
26-07-2017, 07:10 door karma4 - Bijgewerkt: 26-07-2017, 09:00
Door Anoniem:
Klopt niet helemaal deze keer.
https://www.av-test.org/en/news/news-single-view/test-18-security-suites-under-windows-10/
In the test for protection, the packages were required to withstand the real-world test, followed by the AV-TEST reference set. In the first section, the goal was to fend off 175 new, still unknown threats, some of which were only a few hours old.
Je hebt gelijk. Kennelijk de invoer uit het veld dat met een upload is aangeboden waarvan duidelijk is dat er wat aan de hand is maar de signatureherkenning niets opgeleverd heeft.
Dan kom je de gebieden waar het os iets zou merken als een crash specifieke poort toegang of web toegang opduikt. Ongewenste bestandsupdates of interne memory protectie iets gezegd heeft. Het zijn die gebieden waar je liever beschermd door goed gehardende systemen en dat niet wil overlaten wat toevallig in een 3rd party product zit met ongelooflijk veel rechten. Ik zou veel liever AV testen zien met effecten op goed bijgewerkte systemen dan het verhaal op hoeveel samples malware iets van het AV product reageert. Wat er toch niet door komt op het os is niet zo relevant. Waar je" ja ja klik hier doen" op moet reageren valt toch niet technisch dicht te krijgen.


In jouw link staat dat ze dat zo gedaan hebben en dat maar 5 van de 18 producten er iets mee deden. Dat klopt weer niet met het persbericht dat alle AV producten alle zero Days zouden herkennen. Het is maar 30% die wat doet.
26-07-2017, 14:42 door Anoniem
Door Anoniem: Qihoo 360 Total Security is helaas niet getest. Volgens mij wel een TOP product..
Nou nee,niet echt. De eigen virusscanner(s) van Qihoo 360 scoren matig,de avira en bitdefender scanners in qihoo360 doen geen realtime-scanning. Mogelijk ben je in de war met de mobiele versie van qihoo,genaamd 360 security. Die wordt ook niet meer getest,maar nog niet zo lang geleden scoorde deze bij tests n%op android tegen de 100% aan,die is (dus) wel top.
26-07-2017, 17:25 door Bitwiper - Bijgewerkt: 26-07-2017, 22:33
AV-Test misleidt ons. Wat is eigenlijk hun bron van inkomsten?

Voorbeeld: een afgelopen nacht door mij ontvangen e-mail (nieuw: 3-traps techniek), zonder onderwerp, in het Engels gesteld dat ik een openstaande rekening moet betalen onder verwijzing naar een (zeer kleine) bijlage.

1) De bijlage "May-July2017.zip" is slechts 422 bytes groot en is voor het eerst aangeboden op VirusTotal vandaag om 00:05 (https://www.virustotal.com/en/file/7ac91d886ef96797d0011def3954fb46f9be2bcd7ace10d1bd84f28a64b1fc7b/analysis/1501020310/).
8/60 virusscanners (minder bekende) zagen daar toen een gevaar in: Avira (no cloud), Cyren, DrWeb, Ikarus, K7AntiVirus, K7GW, NANO-Antivirus en Tencent.

2) De file "GCL_ 16825298222_180989.wsf" (uit bovenstaande ZIP) is voor het eerst aangeboden op VirusTotal vandaag om 00:07 (https://www.virustotal.com/en/file/d5502dd0a153ddc31abd2f2b9ad7b2f01b28e815b180fa4587b65a1cf6ea40a0/analysis/1501020476/).
4/58 virusscanners (minder bekende) zagen daar toen een gevaar in: Cyren, Ikarus, NANO-Antivirus en Tencent.

3) In die WSF file is (enigszins gescambled) de volgende URL terug te vinden: "hxxp://huairou.com/3?". Een file (vanochtend door mij via die URL gedownload) is voor het eerst aangeboden op VirusTotal vandaag om 03:23 (https://www.virustotal.com/en/file/d5502dd0a153ddc31abd2f2b9ad7b2f01b28e815b180fa4587b65a1cf6ea40a0/analysis/1501020476/).
7/57 virusscanners zagen daar toen een gevaar in: Baidu, Fortinet, Ikarus, NANO-Antivirus, Symantec, TrendMicro en TrendMicro-HouseCall.

4) Die onder 3) genoemde file bevat obfuscated Javascript. Met enige moeite is daarin o.a. de volgende URL terug te vinden: "hxxp://wirbeldipf.ch/n3f7b?". Een file (vanochtend door mij via die URL gedownload) is voor het eerst aangeboden op VirusTotal vandaag om 03:23 (https://www.virustotal.com/en/file/932cc394f05ae536e98b9861bfc854251023809ae8099f2cb6af16c28f6300bd/analysis/1501026269/).
1/57 virusscanners zag daar toen een gevaar in: CAT-QuickHeal

5) Die laatste file is echter "versleuteld" (middels een herhaalde XOR met "ur43vUVcQMub86bdFOwgt1rZJjssOXNj") en wordt, na downloaden, uitgepakt door de file genoemd onder 3). Handmatig ontsleuteld leidt dit tot een file die voor het eerst is aangeboden op VirusTotal vandaag om 01:23 (https://www.virustotal.com/en/file/b7a7d715f370142ddc6d1ba15f9f7377cda3995d4726874d4eeda24d4b9eff13/analysis/1501024947/).
9/57 virusscanners zagen daar toen een gevaar in: Baidu, Cylance, Endgame, Sophos ML, Panda, Qihoo-360, Rising, SentinelOne (Static ML) en Symantec.

Hoe kan AV-test op (notabene gemiddeld) 100% detectie komen? Ook WannaCry en NotPetya werden aanvankelijk niet gestopt door up-to-date virusscanners.

Aanvulling 17:32: "Sophos ML" is hun Machine Learning versie (sinds de overname van Invincea). "Sophos AV" herkende geen van de bestanden (maar ook Bitdefender, Kaspersky, McAvee, AVG, Avast, ESET-NOD32, F-Secure, Fortinet, GData en Microsoft hadden je niet gered als je de bijlage vanochtend vroeg geopend had).

Aanvulling 22:33: ik heb ze zojuist alle 5 nogmaals aangeboden aan VirusTotal:

1b) https://www.virustotal.com/en/file/7ac91d886ef96797d0011def3954fb46f9be2bcd7ace10d1bd84f28a64b1fc7b/analysis/1501098365/
24/57 (was omstreeks middernacht 8/60), nu detectie door: AegisLab, AhnLab-V3, Arcabit, Avira (no cloud), BitDefender, CAT-QuickHeal, Cyren, DrWeb, Emsisoft, ESET-NOD32, F-Secure, Fortinet, GData, Ikarus, K7AntiVirus, K7GW, Kaspersky, MAX, McAfee, eScan, NANO-Antivirus, Tencent, TrendMicro-HouseCall en ZoneAlarm by Check Point

2b) https://www.virustotal.com/en/file/d5502dd0a153ddc31abd2f2b9ad7b2f01b28e815b180fa4587b65a1cf6ea40a0/analysis/1501098744/
22/57 (was omstreeks middernacht 4/58), nu detectie door: Ad-Aware, AegisLab, AhnLab-V3, Arcabit, BitDefender, CAT-QuickHeal, Cyren, Emsisoft, ESET-NOD32, F-Secure, Fortinet, GData, Ikarus, Kaspersky, MAX, McAfee, eScan, NANO-Antivirus, Symantec, Tencent, TrendMicro-HouseCall en ZoneAlarm by Check Point

3b) https://www.virustotal.com/en/file/3292cfe0eeb5ad919a3bc72a5220821da59085b028dd7a8f4714b58ea56692ec/analysis/1501099035/
18/57 (was omstreeks middernacht 7/57), nu detectie door: AegisLab, Baidu, CAT-QuickHeal, Cyren, DrWeb, ESET-NOD32, F-Prot, Fortinet, GData, Ikarus, Kaspersky, MAX, NANO-Antivirus, Rising, Symantec, TrendMicro, TrendMicro-HouseCall en ZoneAlarm by Check Point

4b) https://www.virustotal.com/en/file/932cc394f05ae536e98b9861bfc854251023809ae8099f2cb6af16c28f6300bd/analysis/1501099216/
5/57 (was omstreeks middernacht 1/57), nu detectie door: AT-QuickHeal, McAfee, McAfee-GW-Edition, Sophos AV en TrendMicro-HouseCall

5b) https://www.virustotal.com/en/file/b7a7d715f370142ddc6d1ba15f9f7377cda3995d4726874d4eeda24d4b9eff13/analysis/1501099317/
40/62 (was omstreeks middernacht 9/57), nu detectie door: Ad-Aware, AegisLab, AhnLab-V3, Arcabit, Avast, AVG, Avira (no cloud), Baidu, BitDefender, Cylance, Cyren, DrWeb, Emsisoft, Endgame, ESET-NOD32, F-Prot, F-Secure, Fortinet, GData, Ikarus, Sophos ML, Kaspersky, Malwarebytes, MAX, McAfee, McAfee-GW-Edition, Microsoft, eScan, Palo Alto Networks (Known Signatures), Panda, Rising, SentinelOne (Static ML), Sophos AV, Symantec, TrendMicro, TrendMicro-HouseCall, VIPRE, ViRobot, Webroot en ZoneAlarm by Check Point

Voor de mensen die denken dat malware niet door virusscanners op VirusTotal maar wel door dezelfde virusscanners op hun PC zal worden gedetecteerd: als dat zo zou zijn, waarom zouden AV boeren dan zo ontzettend veel moeite doen om definities te updaten waardoor binnen 24 uur veel meer scanners op VirusTotal deze malware herkennen?

Interessant is ook dat "MAX "de laatste file vanochtend nog niet herkende (https://www.virustotal.com/en/file/b7a7d715f370142ddc6d1ba15f9f7377cda3995d4726874d4eeda24d4b9eff13/analysis/1501053665/) maar vanavond wel (zie de URL achter 5b), als "malware (ai score=85)". Kennelijk heeft de AI (Artifical Intelligence) van MAX toch ordinaire updates nodig...
Reageren

Deze posting is gelocked. Reageren is niet meer mogelijk.