Doe een paar benchmarks tijdens het scannen zoals een HDD speedtest cpu tijd test etc
En zet het in een tabel. EICAR niet in een txt file zetten sommige av scanners zien dit dan niet direct met hun proactives als een virus. Hernoem de extension naar .exe
Suc6

Ik zou persooonlijk de VM updaten van SP2 naar SP3 en daarna van alle patches voorzien, dan heb je een realistisch scenario dat nog heel veel wordt gebruik (overheid en grote bedrijven),

[rant] Persoonlijk ben ik er ook in geïnteresseerd hoe lang een virusscanner je systeem lamlegt voor je, na een cold boot, redelijkerwijs aan het werkt kunt. Ik krijg zelf ondertussen kromme tenen van Kaspersky Pure 2.0 (12.0.2.733). Die scanner crasht tijdens opstarten als ik de netwerkkaart van m'n notebook op DHCP ingesteld heb staan en er geen netwerkstekker in zit (en WiFi disabled is).

Crasht het niet, dan houdt Pure m'n notebook geruime tijd in z'n greep, echter pas na inloggen: kennelijk worden dan pas de databases met signatures geladen! Mogelijk is m'n PC dus deels onbeschermd zolang ik niet ben ingelogd. Vooral irritant is dat ik 's ochtends, na het aanzetten van m'n notebook en het invoeren van m'n TrueCrypt wachtwoord en het halen van koffie, alsnog kan gaan zitten wachten na inloggen.

Na dat inloggen loopt het piek-geheugengebruik op tot bijna 230MB. Als de boel enigszins tot rust is gekomen gebruikt de "dikste" instance van avp.exe "nog maar" 42MB, terwijl de "VM Size" (geswapped dus) dan ruim 247MB bedraagt.Als Windows/Microsoft Updates enabled is, komt daar nog ruim 500MB geheugen bij voor wuauclt.exe en de bijbehorende svchost.exe instance. Ik heb geen idee waarom deze processen pas wat gaan doen na een interactieve logon, het zijn allemaal services die gewoon al draaien [/rant].

Anyway als ik belasting door AV tijdens opstarten/inloggen zou willen meten, zou ik de "Automatic Updates" service uitzetten (dat scheelt je een berg geheugengebruik gedurende de ca. eerste 5 minuten na de 1e x inloggen).

Het is lastig om daar goed mee te meten.

Zelf zou ik het als volgt aanpakken: zorg om te beginnen voor een flinke berg bestanden, waaronder gezipte (ook een stel geneste) bestanden met daarin binaries, het e.e.a. in een structuur met submappen, bijv. onder D:\TestData\. Doe ook gerust wat versleutelde bestanden. Je kunt er een stel EICAR's ingooien met steeds andere extensies om zo vast te stellen op welke extensies wordt gescanned (in regedit onder HKEY_CLASSES_ROOT zie je welke extensies Windows allemaal kent).

Ik zou die set bestanden door alle scanners zowel on-demand als on-access laten scannen. On-access scannen kan bijv. door in de volgende batchfile uit te voeren:Het (gratis) FCIV programma in deze batchfile berekent de MD5Sum van elk bestand, waar dus elk bestand helemaal voor gelezen zal moeten worden. Download van FCIV: https://support.microsoft.com/kb/841290.

Als je tegelijkertijd WireShark draait krijg je een goed beeld welke informatie er allemaal van internet wordt gehaald als gevolg van de scan (veel virusscanners gebruiken tegenwoordig "cloud-based" technieken).

Belangrijk: alleen de eerste scan van een bestandsset is representatief! Als je, zonder te rebooten, dezelfde set nogmaals scant, zul je zien dat het veel sneller gaat, doordat de bestanden in RAM zijn gecached. Ook kan de virusscanner bestanden hebben "getagged" als veilig (bijv. middels een Alternate Data Stream en/of door opname van een entry, hash bijvoorbeeeld, in de een of andere database). Rebooten helpt dus mogelijk slechts deels.

Als je scanners wilt vergelijken is het dus zaak voor elke scanner van exact dezelfde uitgangscondities uit te gaan, en altijd eerst on demand te scannen, te rebooten en daarna on access te scannen, of in alle gevallen in omgekeerde volgorde.

Als je malware wilt scannen zou ik nu:
- De VM's maken, patchen/updaten en definities bijewerken. Daarna geen internet connectiviteit meer geven;
- Beginnen met inzamelen malware.

Malware kun je vinden bijv. via http://www.malwaredomainlist.com/mdl.php, http://forums.malwarebytes.org/index.php?showforum=51 en subpagina's van http://support.clean-mx.de/clean-mx/login.php (je hoeft niet in te loggen).

Na bijv. 2 weken laat je de scanners allemaal (zonder ze te updaten!) los op de gevonden malware.

Gebruik van CPU en mem tijdens scannen en IDLE
Verschil tussen bootup time
Verschil tussen shutdown time
Verschil tussen read en write operations van bijvoorbeeld 1 gb file van usb naar hdd of 1000 filetjes van usb naar hdd
Zorg voor een baseline, bij alles. Voer alles dus ook uit op een systeem zonder scanner

Geduld is key, ga niet 2 of 3 taken tegelijk doen of 2 VM's runnen.
Als je een echte meting wilt doet je helemaal niets anders dan de test. Zelfs documenteren zou ik op een andere machine doen. Ja klinkt raar maar alles wat er draait heeft invloed.

M.b.t. features en virusdetectie zou ik naslagwerk van AV-Test.org gebruiken. die hebben onlangs de 6 beste scanners van 2012 benoemt. Hun testen iedere maand een breed scala aan scanners en doen uitgebreid verslag.