tjah inderdaad je zit vaak dat de ene #1 beland en dan in de
volgende test als #10 figuurlijk gesproken. Dus het maakt de
gewone pc gebruiker lastiig om eens iets goed uit kiezen.

Zinloos is misschien niet de juiste term. Het is alleen wel
een feit dat het moeilijk is vast te stellen hoe goed een
virusscanner daadwerkelijk is. Daar kom je tijdens gebruik
gewoon wel of niet achter.

Ik denk echter wel dat de beginner gebaat is bij goede
informatie omtrent de werking van verschillende AV
pakketten. Nu is het gewoon nog zo dat iedereen Norton en
McAffee kent, en dus een van die pakketten op zijn pc wil,
terwijl dat vaak nou juist niet de besten blijken te zijn.
Maar iets is beter dan niets bij deze doelgroep.

Bij virusscanners gelden de volgende criteria.

1. In hoeverre kan de scanner de reeds bekende virussen stoppen

2. In hoeverre kan een scanner een nog niet bekend virus
detecteren en eventueel stoppen

3. Hoe snel komt er een update na het bekend worden van een
nieuw virus

Er zijn er nog wel een paar maar dit zijn toch zeker wel de
belangrijkste.

Ik zou het woord tests uit de stelling weg willen laten ....

Een VirusScanner kan je maar op 1 manier testen en dat
is of hij doet wat hij moet doen. Hij moet virussen vinden,
de enige die alleen dit test is http://www.virusbtn.com/ .

De overige testen zijn testen die van belang zijn voor de
lezers van het stuk. Heb je een blad voor 'Beginners' dan
testen ze ook het 'gebruiksgemak' (Tenminste de aanname
van de tester...) heb je een blad voor Professionals dan
testen ze ook mogelijkheden om te instellen en te tune...

Bij een test zou dus altijd verteld moeten worden wat ze
zoeken bij de test en voor welke groep mensen dit gedaan
wordt. Doen ze dit niet dan is de test waardeloos....

Het probleem dat de testers hebben is dat ze alleen maar bekende
virussen kunnen testen, en geen planning kunnen doen voor nieuwe
virussen.
Daarbij nemen ze alleen maar een subset van alle bekende virussen, dus
is de ranglijst vaak gebaseerd op toeval.

De effectiviteit van een virusscanner wordt gemeten op:
1) hoeveel bekende virussen worden gestopt
2) hoe snel worden nieuwe virussen ontdekt en gestopt?

Uiteraard kunnen die testers wel wat zeggen over gebruiksgemak,
scansnelheid, gebruik van resources (geheugen, processor).

Maar over de echte effectiviteit is weinig zinnigs te zeggen.

Het laat zien dat gebruikers niet het beste willen maar dat wat 'anderen
hebben'. Mensen willen niet een stabiel, relatief virusongevoelig operating
system, nee, mensen willen WINDOWS. Mensen willen geen goede
virusscanner, nee, ze willen SAV/NAV of McAfee... Hoeveel tests je er ook
tegen aan smijt, mensen zullen daar niet in veranderen. De meeste testen
zeggen ook niet HOE ze getest hebben, WAT ze getest hebben en
WAARMEE ze getest hebben. Op dat moment is het net zo zinvol om te
roepen "Deze maand is de Opel Corsa beter dan de Ferrari 360". HOE
hebben ze getest? -> in een woonerf? WAT hebben ze getest -> hoeveel
koffers in de kofferbak kon? WAARMEE hebben ze getest -> Oma achter
het stuur? Zolang dat niet verteld wordt en niet te controleren valt, hebben
dit soort testen geen waarde, en zullen ze zeker niet gebruikt kunnen
worden om mensen te laten switchen. Zeker niet als ze al van hun ISP
McAfee krijgen, of bij hun PC al NAV/SAV geleverd werd. Op zo'n moment
wordt het voor de n00b gebruiker net zoiets als Internet Exploder of de
verkenner. Werkt ie niet meer? Laten we de buurman effe een file erop
zetten voor unlimited update. Tjakka... En zo gaat het leven door.
AS

Er zijn geen vaste richtlijnen mbt het testen van AV
programma's.
Zodra deze zijn vastgesteld is hety wellicht wel zinvol om
te testen...

Tja, en het is ook wel aardig als AV-producenten zouden
aangeven dat hun software niet 100% dekking verschaft. Zo
gebruikte ik aanvankelijk Norton AV, tot ik een keer
toevallig de scanner van McAfee op mijn systeem losliet, die
prompt een paar virussen ontdekte die Norton gemist had.
Dus, overstappen!

Onlangs las ik een test waaruit bleek dat McAfee nogal traag
was met het reageren op nieuwe bedriegingen, maar dat
BitDefender juist heel snel was. Dus ben ik maar weer
overgestapt. Maar om nou te zeggen dat ik weet welke van
deze drie scanners de beste is? Nee...

En ook al zou de scanner z'n werk (redelijk) doen betekend
dat niet dat dat ten koste van alles mag gaan. Norton is
bijv (naar mijn mening) een absoluut nutteloss programma wat
problemen geeft met andere software, zich niet makkelijk
laat verwijderen (voor de beginner) en je systeem ook nog
eens zwaar in de weg zit (vertraagt) Niet normaal dat norton
markteider is dan.
Zelfde verhaal met MS beetje

Onterecht. Ik vind een virustest wel goed!

Sinds vandaag eindelijk de virustest waar ik weer op had
gewacht :)
http://www.av-comparatives.org/seiten/ergebnisse_2006_02.php

Een voor mij onbekend pakket herkent de meeste virussen:
G DATA Security AntiVirusKit 16.0.5 99,84%

Andere goede:
F-Secure Anti-Virus 6.12.90 99,58%
Kaspersky Avti-Virus Personal Pro 99,57%
Eset NOD32 2.51.20 97,89%
Symantec Norton Anti-Virus 12.1.0.20 97,61%
AEC TrustPort AV WS 1.5.0.752 97,35%

Nu weer wachten op hoe goed ze presteren in de
Retrospective/ProActive Test. Daar wordt getest hoe goed ze
de virussen ook echt stoppen. In de test van November 2005
staat NOD32 daar met vlag en wimpel bovenaan, de rest valt
daar een beetje door de mand...

De enige tests die ik vertrouw zijn van het ICSA-lab. De virusscanners die
hier door deze tests komen krijgen ook niet voor niets een certificatie.

Het testen van anti-virusapplicaties is niet eenvoudig. De belangrijkste
vraag is namelijk waarop getest gaat worden. Hiermee doel ik op de
malware die zoveel mogelijk door de test-kandidaten moet worden
herkend. Gebruikt men hiervoor zelf ontwikkelde samples, In The Wild
samples, DOS16, *nix, spyware, dailers, etc. etc. Een onderzoeker kan een
test dus heel erg beinvloeden als men dus op de "verkeerde" malware
test. Het is daarom belangrijk dat naast het testresultaat ook een
toelichting wordt gegeven hoe men heeft getest. Goed gedocumenteerde
testen zijn te vinden op www.av-comparatives.org. Misschien zijn de testen
niet goed maar er is wel af te leiden hoe men heeft getest. Hieruit kun je
dus zelf beslissen of het betreffende product voldoet aan je eigen criteria.

Wat daarnaast belangrijke aspecten zijn, is de update frequentie,
heuristieke detectie, impact op systeem, GUI, prijs, etc. etc. De
virusscanner met de beste detectie hoeft niet het beste voor je systeem te
zijn. Zelf ben ik een voorstander van trial and error. Van ieder pakket zijn
trial versies te downloaden, test en maak zelf uit wat voor jou het beste
werkt.

Om de zin of onzin van een test aan te tonen het volgende:
In de test van PC world van maart 2006 worden tien
AV-programma's getest: als hoogste staat BitDefender en
als laagste staat AVG free genoteerd.

Beiden detecteren 100% van de WildList virussen, bij de AV
zoo-test scoort BitDefender 95% tegen 80% bij AVG free.

Verder de heuristische detectie bij een maand cq twee
maanden oude virusdefinities (BitDefender 56 resp 38%; AVG
free 8 resp 4% detectie); het laat zien dat als de
virusdefinities niet zijn bijgewerkt Bitdefender dus beter
beschermd dan AVG en de heuristische detectie bij
BitDefender dus aanzienlijk beter is dan bij AVG free,
hetgeen ook van belang kan zijn om nieuwe (nog onbekende)
virussen te detecteren.

In de praktijk is het aanneemlijk dat een "normale"
computergebruiker steeds de nieuwste definities downloadt,
zodat het in dit opzicht grote verschil tussen BitDefender
en AVG free met betrekking tot de heuristische detectie
minder relevant wordt. AVG free zou dan ook nog een
acceptabele bescherming geven.

Dit om aan te geven dat niet alle testgegevens voor de
gemiddelde computer
even belangrijk.

ICSA
ICSA is een commercieel bedrijf dat geld vraagt voor hun tests. Als
bedrijven de test niet halen, mogen ze het opnieuw proberen - tegen een
behoorlijke vergoeding - net zolang tot ze het halen. Je koopt zo dus
certificatie. De producten worden vlak voordat ze worden aangeboden voor
certificatie aan ICSA nog even getest door een goedkopere tester.

Het gewicht dat aan certificatie wordt toegekend is meestal te hoog in
verhouding tot de garantie die dat in de praktijk biedt.

Virus Bulletin
Virus Bulletin gebruikt net als de meeste betrouwbare andere testers de
Wildlist (http:/www.wildlist.org) als basis voor hun tests. Sommige
producten passen de configuratie van hun product aan deze test aan, om
zoveel mogelijk 100% awards te verzamelen. Omdat de test gebaseerd
zijn op een beperkt aantal virussen en omdat trojans in het geheel niet
worden getest, is de waarde van deze tests gering.

http://www.av-test.org
De beste tester is av-test.org. Zij hebben een goede, gecontroleerde
collectie. Ze leveren hun tests aan IT bladen en consumentenorganisaties.

Ze doen ook updatesnelheidtests. Wat daarbij telt is de tijd die zit tussen
het eerst verschijnen van malware en het uitkomen van de update. Hier
test je ook de heuristieke detectie mee, want dan is de tijd 0.

http://www.av-comparatives.org
av-compartives.org werkt met een ongecontroleerde collectie waarin veel
troep zit. av-comparatives krijgt die collectie direct van de makers van de
producten die getest worden. Virussen worden niet gerepliceerd.
Deze werkwijze is slecht voor de onafhankelijkheid en betrouwbaarheid,
want zo kan een leverancier precies die samples leveren die andere
producten niet detecteren.

Testen met een collectie van tienduizenden DOS "virussen" geeft
overigens weinig weer over de prestaties in de praktijk.

ongecontroleerde zoo collecties
De test die securirty.nl laatst plaatste was uitgevoerd door een VX-er, een
virusverzamelaar. VX-ers ruilen kun virussen d.m.v. logs. Dat zijn vaak logs
van Kaspersky, die veelal bereid is om detectie toe te voegen. Kaspersky
doet het daardoor altijd goed op VX collecties.

De zo verzamelde collectie bestaat voor een groot deel uit rommel, uit niet
werkende bestanden. Vaak zijn het gewoon detectie strings die iemand in
een bestand heeft geplakt om wat te ruilen te hebben.

Het is van belang te weten dat als een virus scanner iets detecteert dat
nog niet betekent dat het ook inderdaad malware is.

De aldus verkregen testresultaten zijn dus geheel waardeloos.

IT bladen
Een ander veel voorkomend probleem is de tests die journalisten zelf
uitvoeren. Omdat zij de deskundigheid en een betrouwbare collectie
ontberen zijn de zo verkregen resultaten vergelijkbaar met die van een VX
collectie (wat ook vaak de bron is van de malware). Een slechte reputatie
heeft Data Testlab in België en CNet.

Gelukkig vragen de meeste bladen tegenwoordig hulp bij betrouwbare
testers zoals av-test.org.

Trojans
Verder gaat het tegenwoordig niet meer om virussen maar om malware in
het algemeen, vaak trojans. Nieuwe virussen komen nog weinig in het wild
voor, nieuwe trojans des te meer. Die moet je dus testen.

Wildlist - http://www.wildlist.org
De Wildlist houd bij welke virussen in het wild voorkomen. Er wordt
gerapporteerd door anti-virus producenten, enkele onafhankelijken en een
aantal grote bedrijven.

Helaas komt het de av bedrijven goed uit zich te beperken tot virussen en
trojans geheel uit te sluiten voor de Wildlist. Hierdoor komt geen
betrouwbare informatie beschikbaar over welke trojans in het wild
voorkomen.

1. Ik lees niemand die kritiek heeft op scanners die teveel False
Positives geven. Een False Positive is soms net zo schadelijk als een
virus omdat belangrijke documenten en/of systeem bestanden kunnen worden gedelete.

2. Over de kritiek op het ICSA certificaat: een certificaat heeft alleen
waarde als je weet wat de test criteria inhielden en de mate waarin de
testers vasthouden aan de testnormen. ICSA is de Amerikaanse
tegenhanger van het TNO, dus deels maatschappelijk deels
commercieel. Het heeft een goede naam, dus dan is er meer
onderbouwing nodig voor de krachtige stelling.

Certificering kost altijd geld,
hoeft niet te betekenen dat het certificaat waardeloos is. Maar op zich is
het goed om kritisch te zijn over certificaten, ik vraag me alleen af
inhoeverre dat in het geval van ICSA terecht is, ik zou dan een
onderbouwing verwachten dmv het noemen van ten onrechte
gecertificeerde producten ipv het roepen van een samenzweringstheorie.

Totaal onwaar. Graag feiten die deze statement
onderbouwen.

Certificering kost altijd geld,
hoeft niet te betekenen dat het certificaat waardeloos is. Maar op zich is
het goed om kritisch te zijn over certificaten, ik vraag me alleen af
inhoeverre dat in het geval van ICSA terecht is, ik zou dan een
onderbouwing verwachten dmv het noemen van ten onrechte
gecertificeerde producten ipv het roepen van een samenzweringstheorie.
[/quote]
Constant, er is nergens sprake van een samenzweringstheorie of van
waardeloze certificatie. Als je goed gelezen had, had je gezien dat er
herkansingen zijn. Dat wil dus zeggen dat je niet direct weet of het product
er wel in een keer doorheen is gekomen. Als je als werkgever een
solicitant krijgt die 2 keer is blijven zitten, dan bedenk je je ook wel even.
Dat geldt ook voor anti-virusproducten.

Bij de meeste niet gesponsorde anti-virus tests krijgen anti-virus bedrijven
geen herkansing als ze falen door eigen schuld.

Ik zou ICSA niet durven vergelijken met TNO. TNO is naar mijn persoonlijke
mening onafhankelijker dan ICSA. ICSA is gewoon een commercieel
bedrijf, met aandeelhouders die ook nog graag wat verdienen. Wat
producttests betreft is TNO is een overheidsbedrijf zonder winstoogmerk.

Testen op false positives is inderdaad goed, maar de resultaten zijn vaak
niet veel zeggend. Geen false positives will niet zeggen dat die er niet
zullen zijn in de praktijk, wel false positives wil ook niet zeggen dat ze er in
de praktijk zullen zijn.

Sommige false positives worden gevonden doordat het ene anti-virus
product het andere detecteert, want daarin zit dan doorgaans een
ongecodeerde string die beide producten gebruiken voor detectie. De
gedetecteerde bestanden behoren vaak bij een obscuur anti-virus
programma. In de praktijk zal deze situatie zelden voorkomen.

Waar het op neer komt is dat de tester wel de software moet gebruiken die
op je computer staat om er zeker van te zijn dat daarop geen false
positives ontstaan. av-test.org doet false positive tests op een enorm grote
verzameling bestanden (TB's) die o.a. zijn verkregen van officiële CD's van
software leveranciers.

Dat heeft al wat meer gewicht, maar het geeft je nog niet veel zekerheid dat
false positives worden voorkomen. De oorzaak van de onzekerheid is
natuurlijk dat de verzameling positives in het niet valt t.o.v. de verzameling
potentiele false positives.

Vroeger werden bij anti-virus producten die checksums gebruikten minder
false positives gevonden dan bij producten die naar patronen zochten.
Doordat er een forse toename is van het aantal signatures, is dat voordeel
er niet meer. Meer signatures betekent meer kans op false positives. Het
is makkelijker om false positives in patronen te voorkomen dan
checksums, de laatse hebben namelijk geen 1:1 relatie met
oorspronkelijke data. Je kunt bij checksums een false positive vinden in
een volstrekt ander bestand, het is onvoorspelbaar.

Op de site kun je in de FAQ nalezen hoe Clementi aan samples komt.

http://www.av-comparatives.org/seiten/ergebnisse/methodology.pdf

Ik zal je wat helpen: hij gebruikt virusscanners om malware te sorteren in
rommel en geen rommel (sic!), m.a.w. hij gaat uit van wat een
virusscanner hem verteld over een sample juist is. De term die hij daarbij
gebruikt om de zo ontdekte rommel aan te duiden, "unwanted", komt uit
het VX circuit.

Drie producten met Kaspersky engine krijgen van hem de hoogste score.
Dat is te verwachten bij een VX collectie.

Hij zegt zoo samples niet te repliceren.

Hij heeft niet de beschikking over de Wildcore. Dat is niet helemaal
vreemd, gezien de onbetrouwbare testmethodologie en de link met VX-ers.

Daarnaast heeft hij de lay-out van de test presentatie "geleend" bij av-
test.org.

Ik zou graag meer testers zien die er goede testmethodieken op na
houden en tegelijkertijd real-world tests uitvoeren. Die combinatie komt
nog te weinig voor. Enkele universiteiten bijvoorbeeld voeren ook tests uit,
maar daar is het wetenschappelijk gehalte vaak belangrijker dan de
praktijktoepasing.

BitDefender komt vaak goed uit de tests, wat ik dan niet
begrijp is waarom ze de engine dan ook laten onderbrengen in
TrustPort.
TRUSTPORT AV heeft nu VIER engines samen met Norman, AVG en
Ewido wordt dit dus een concurrent van Bit Defender zelf?!
Uit deze AV-Comparatives blijkt deze nieuwe combinatie
verassend sterk.
En Norman moet hier toch ook niet blij van worden? zie
http://www.aec.cz