F-Prot en McAfee falen grote virusscanner test
Reacties (14)
Het betreft hier wel het Windows NT dat niet meer door
Microsoft ondersteund wordt:
http://www.tiscali.nl/content/article/cmult/532551.htm
Microsoft ondersteund wordt:
http://www.tiscali.nl/content/article/cmult/532551.htm
12-02-2005, 10:08 door
G-Force
Inderdaad, waarom niet op elk platform getest? Anderzijds valt het me vies
tegen van McAfee dat zij niet goed uit de test komen.
tegen van McAfee dat zij niet goed uit de test komen.
Omdat veel (mail) servers nog op dit (redelijk betrouwbaar)
platform draaien, een virusscanner hoeft niet alleen je
systeem te beschermen, maar bijv. ook alles wat in en uit je
netwerk gaat....
platform draaien, een virusscanner hoeft niet alleen je
systeem te beschermen, maar bijv. ook alles wat in en uit je
netwerk gaat....
Het is wel jammer dat ze niet de OpenSource ClamAV scanner hebben
getest.
Deze draait op *nix zowel als Windows (Cygwin port), En draait bij grote
bedrijven op de mail server.
Jammer...Jammer...
getest.
Deze draait op *nix zowel als Windows (Cygwin port), En draait bij grote
bedrijven op de mail server.
Jammer...Jammer...
Op zaterdag 12 februari 2005 09:12 schreef Anoniem:
> Het betreft hier wel het Windows NT dat niet
> meer door Microsoft ondersteund wordt
Klopt. Echter, een virusscanner bestaat uit 4 componenten.
Om on-the-fly files te kunnen scannen heb je en low-level
file system driver nodig, en voor display purposes zie je
sobere tot (disctutabel) zeer fraaie grafische user
interfaces. Die componenten kunnen flink verschillen tussen
NT4 en XPSP2/W2K3.
Van de twee andere componenten, de scan-engine en de
virusdefinities, ligt het, voor AV boeren, niet voor de hand
om deze systeemafhankelijk te maken. En dit zijn juiste de
kritische componenten in deze tests.
Ik heb wel een groot probleem met deze test, nl. is dat deze
een zwart/wit weergave is, en de kans groot is dat mensen
hierop virusscanners gaan beoordelen. Bijv. de eis dat er
geen false positives mogen zijn is onzinnig, temeer er geen
rekening gehouden wordt met andere zaken als heuristsche
detectie, snelheid van uitbrengen van nieuwe definities na
grote (maar ook kleine!) uitbraken etc.
M.b.t. heuristiek: mijn ervaring is dat als je compressed
(bijv. upx, fsg etc.) malware uitpakt, en vervolgens met een
andere packer inpakt, dat veel scanners (waaronder NAV) er
geen malware meer in zien; bijv. McAfee heeft daar in mijn
ervaring weer veel minder moeite mee. Een m.i.
interessante site over dit thema (zowel Engels als Duits):
http://home.arcor.de/scheinsicherheit/scanners.htm
Hoe sterker de heuristische detectie, hoe beter je beschermd
bent tegen nieuwe en niet-wijd-verspreide malware, maar hoe
groter de kans is op false positives. Afhankelijk van de
toepassing en "het IQ van de gebruiker" kunnen enkele false
positives dus juist duiden op een goede scanner.
Bovendien is deze test een momentopname. Ik heb een maand of
twee geleden NAV op een Win2K systeem een MS DLL (ik weet
uit m'n hoofd niet meer welke) als kwaardaardig aan zien
merken. Ik heb die DLL door verschillende andere
virusscanners gehaald en geen enkele had er problemen mee.
Na de volgende liveupdate was ook NAV genezen.
Als thuisgebruikers je doelgroep zijn, is het belangrijk om
default instellingen van scanners mee te wegen. Als een
scanner een verdacht bestand automatisch verwijdert of in
quarantaine plaatst, kan een false positive je systeem
unbootable maken of je internet access blokkeren.
Kortom, laat je bij de AV keuze niet door 1 enkele test
leiden, en zeker niet door alleen deze.
Erik van Straten
> Het betreft hier wel het Windows NT dat niet
> meer door Microsoft ondersteund wordt
Klopt. Echter, een virusscanner bestaat uit 4 componenten.
Om on-the-fly files te kunnen scannen heb je en low-level
file system driver nodig, en voor display purposes zie je
sobere tot (disctutabel) zeer fraaie grafische user
interfaces. Die componenten kunnen flink verschillen tussen
NT4 en XPSP2/W2K3.
Van de twee andere componenten, de scan-engine en de
virusdefinities, ligt het, voor AV boeren, niet voor de hand
om deze systeemafhankelijk te maken. En dit zijn juiste de
kritische componenten in deze tests.
Ik heb wel een groot probleem met deze test, nl. is dat deze
een zwart/wit weergave is, en de kans groot is dat mensen
hierop virusscanners gaan beoordelen. Bijv. de eis dat er
geen false positives mogen zijn is onzinnig, temeer er geen
rekening gehouden wordt met andere zaken als heuristsche
detectie, snelheid van uitbrengen van nieuwe definities na
grote (maar ook kleine!) uitbraken etc.
M.b.t. heuristiek: mijn ervaring is dat als je compressed
(bijv. upx, fsg etc.) malware uitpakt, en vervolgens met een
andere packer inpakt, dat veel scanners (waaronder NAV) er
geen malware meer in zien; bijv. McAfee heeft daar in mijn
ervaring weer veel minder moeite mee. Een m.i.
interessante site over dit thema (zowel Engels als Duits):
http://home.arcor.de/scheinsicherheit/scanners.htm
Hoe sterker de heuristische detectie, hoe beter je beschermd
bent tegen nieuwe en niet-wijd-verspreide malware, maar hoe
groter de kans is op false positives. Afhankelijk van de
toepassing en "het IQ van de gebruiker" kunnen enkele false
positives dus juist duiden op een goede scanner.
Bovendien is deze test een momentopname. Ik heb een maand of
twee geleden NAV op een Win2K systeem een MS DLL (ik weet
uit m'n hoofd niet meer welke) als kwaardaardig aan zien
merken. Ik heb die DLL door verschillende andere
virusscanners gehaald en geen enkele had er problemen mee.
Na de volgende liveupdate was ook NAV genezen.
Als thuisgebruikers je doelgroep zijn, is het belangrijk om
default instellingen van scanners mee te wegen. Als een
scanner een verdacht bestand automatisch verwijdert of in
quarantaine plaatst, kan een false positive je systeem
unbootable maken of je internet access blokkeren.
Kortom, laat je bij de AV keuze niet door 1 enkele test
leiden, en zeker niet door alleen deze.
Erik van Straten
Door Anoniem
Het is wel jammer dat ze niet de OpenSource ClamAV scanner hebben
getest.
Deze draait op *nix zowel als Windows (Cygwin port), En draait bij grote
bedrijven op de mail server.
Jammer...Jammer...
Het is wel jammer dat ze niet de OpenSource ClamAV scanner hebben
getest.
Deze draait op *nix zowel als Windows (Cygwin port), En draait bij grote
bedrijven op de mail server.
Jammer...Jammer...
ClamAV zal geen 100% score halen zolang ze geen boot virussen vinden
en moeite hebben met in-the-wild macro en file virussen, waarvan ze bijna
één vijfde niet herkennen. Polymorfe virussen zijn ook een groot probleem
voor ClamAV.
Dit betekent overigens niet dat ClamAV niet bruikbaar is als tweede
scanner op een mail server. ClamAV is beter in het detecteren van
phishing bijvoorbeeld dan veel andere scanners.
Over de VB 100% scores: die zijn niet van grote waarde voor de selectie
van een virus scanner. Het is gebaseerd op slechts een heel klein deel
van de capaciteiten van een scanner. Het zegt niet zoveel over de overall
kwaliteit, met vooral over de detectie van niet-virussen, zoals backdoors,
trojans, sommige netwerkwormen, bots, phishing, adware, spyware en
door virussen gedropte of gedownloade trojans.
Jeroen
Het nog eens nalezend, ik haal in m'n bovenstaande post
heuristiek en decompressie enigszins door elkaar. Of een
scan engine een bepaalde compressiemethode wel of niet
herkent (een vak apart bij gemanipuleerde packed exe's), en
vervolgens kan uitpakken, is wel belangrijk maar heeft op
zich niets met heuristiek te maken.
Het besluit van de scan engine om te decomprimeren
c.q. de executie ervan te emuleren, voordat ze
patronen matcht en/of naar (voor malware karakteristieke)
winapi calls speurt, valt m.i. weer wel onder heuristiek.
M.b.t. ClamAv: prima verwoord door Jeroen!
Erik van Straten
heuristiek en decompressie enigszins door elkaar. Of een
scan engine een bepaalde compressiemethode wel of niet
herkent (een vak apart bij gemanipuleerde packed exe's), en
vervolgens kan uitpakken, is wel belangrijk maar heeft op
zich niets met heuristiek te maken.
Het besluit van de scan engine om te decomprimeren
c.q. de executie ervan te emuleren, voordat ze
patronen matcht en/of naar (voor malware karakteristieke)
winapi calls speurt, valt m.i. weer wel onder heuristiek.
M.b.t. ClamAv: prima verwoord door Jeroen!
Erik van Straten
Hoe sterker de heuristische detectie, hoe beter je beschermd
bent tegen nieuwe en niet-wijd-verspreide malware, maar hoe
groter de kans is op false positives. Afhankelijk van de
toepassing en "het IQ van de gebruiker" kunnen enkele false
positives dus juist duiden op een goede scanner.
Bovendien is deze test een momentopname. Ik heb een maand of
twee geleden NAV op een Win2K systeem een MS DLL (ik weet
uit m'n hoofd niet meer welke) als kwaardaardig aan zien
merken. Ik heb die DLL door verschillende andere
virusscanners gehaald en geen enkele had er problemen mee.
Na de volgende liveupdate was ook NAV genezen.
bent tegen nieuwe en niet-wijd-verspreide malware, maar hoe
groter de kans is op false positives. Afhankelijk van de
toepassing en "het IQ van de gebruiker" kunnen enkele false
positives dus juist duiden op een goede scanner.
Bovendien is deze test een momentopname. Ik heb een maand of
twee geleden NAV op een Win2K systeem een MS DLL (ik weet
uit m'n hoofd niet meer welke) als kwaardaardig aan zien
merken. Ik heb die DLL door verschillende andere
virusscanners gehaald en geen enkele had er problemen mee.
Na de volgende liveupdate was ook NAV genezen.
Ai, fout voorbeeld. Symantec gebruikt "domme" detectie strings voor
detectie en dat geeft wel eens fp problemen. De DLL waar je op doelt is
een andere kwestie. Daar werd waarschijnlijk zonder er bij na te denken
een signature voor gemaakt. Dat duidt op onvoldoende kwaliteitscontrole.
Op desktops mogen geen false positives voorkomen, op mail servers is
dat veel minder belangrijk. (Ga maar eens na wat het betekent als je een
update hebt uitgerold naar 150.000 computers en ze blijken niet meer te
kunnen starten omdat de virus scanner het laden van een
systeemonderdeel blokkeert.) Heuristisch scannen op een desktop is niet
aan te raden bij sommige scanners. Intelligentie van de gebruiker moet
niet in dat plaatje worden betrokken, die staat er echt helemaal buiten. Het
product moet gewoon zijn werk goed doen en geen problemen
veroorzaken.
Jeroen
Op zaterdag 12 februari 2005 15:51 schreef Jeroen, m.b.t.
een false detect van een MS DLL:
> Ai, fout voorbeeld. Symantec gebruikt "domme"
> detectie strings voor detectie en dat geeft wel
> eens fp problemen. De DLL waar je op doelt is
> een andere kwestie. Daar werd waarschijnlijk
> zonder er bij na te denken een signature voor
> gemaakt. Dat duidt op onvoldoende
> kwaliteitscontrole.
Zou Microsoft nieuwe patches, voordat ze deze uitbrengen,
door zoveel mogelijk AV (antivirus) halen, en bij fp's
(false positives) de betreffende files aan AV boeren
aanbieden? Dit zou 1 van de verklaringen voor de soms lange
vertragingen bij MS patches kunnen zijn...
> Op desktops mogen geen false positives
> voorkomen
De laatste jaren wordt in toenemende mate malware via het
web verspreid (en MSN is niet voor niks down). Vaak is er
sprake van een webbrowser exploit gevolgd door een chm of
hta bestand, dat daarna de feitelijke malware executable
downloadt. In alle bestandstypes hebben malwaremakers ruimte
om te varieeren, en de praktijk is dat het lang duurt
voordat met name de uiteindelijke executable herkend wordt,
waarbij kans bestaat dat dit nooit gebeurt. Een groot
probleem daarbij is dat steeds meer malware de AV en/of
firewall uitschakelt, en/of in toemende mate
stealth/rootkit-achtig gedrag vertoont. Denk aan de
hackdefender series en bijv.
http://www.sarc.com/avcenter/venc/data/trojan.comxt.b.html.
Doorsnee gebruikers komt er dan pas achter dat ze iets
hebben opgelopen als hun bankrekening geplunderd blijkt of
de ISP ze uiteindelijk afsluit wegens wangedrag.
Zonder heuristische detectie is de kans nul dat desktop AV
nieuwe, of minder verspreide, malware herkent. Je bent dan
100% afhankelijk van detectie van browser exploits, maar dat
lukt helaas niet altijd even goed; blackhats rommelen
natuurlijk net zo lang aan hun spoitz tot deze door zo min
mogelijk AV wordt herkend.
Ten slotte kun je ook nietsvermoedend software downloaden
die getrojaned blijkt te zijn; denk aan de backdoored PuTTY
in dec. 2004 op download.com, maar ook aan junk als
popadstop en andere pre-MS patches die ordinaire backdoors
bevatten (zelfs zogenaamde open source types, zie mijn post
van 18 december 2003 16:26 in
http://www.security.nl/article/6283 en voor
details
http://lists.netsys.com/pipermail/full-disclosure/2003-December/014942.html).
Hoewel de detectie van backdoors in software die by
design[/] winsock gebruikt lastig is, kunnen alle beetjes
helpen.
Daarnaast, het einde van signature-based AV begint in zicht
te komen; doordat er steeds malware bijkomt worden scanners
steeds trager en def-downloads steeds groter (voor inbellers
vaak nauwelijks te doen). Ik vrees dan ook dat, willen
virusscanners nog enig nut hebben bij nieuwe of minder
verspreide malware, we heuristiek + false positives zullen
moeten accepteren, en gebruikers (vooral het "zuig" type)
gewoon opgevoed moeten worden.
Erik van Straten
een false detect van een MS DLL:
> Ai, fout voorbeeld. Symantec gebruikt "domme"
> detectie strings voor detectie en dat geeft wel
> eens fp problemen. De DLL waar je op doelt is
> een andere kwestie. Daar werd waarschijnlijk
> zonder er bij na te denken een signature voor
> gemaakt. Dat duidt op onvoldoende
> kwaliteitscontrole.
Zou Microsoft nieuwe patches, voordat ze deze uitbrengen,
door zoveel mogelijk AV (antivirus) halen, en bij fp's
(false positives) de betreffende files aan AV boeren
aanbieden? Dit zou 1 van de verklaringen voor de soms lange
vertragingen bij MS patches kunnen zijn...
> Op desktops mogen geen false positives
> voorkomen
De laatste jaren wordt in toenemende mate malware via het
web verspreid (en MSN is niet voor niks down). Vaak is er
sprake van een webbrowser exploit gevolgd door een chm of
hta bestand, dat daarna de feitelijke malware executable
downloadt. In alle bestandstypes hebben malwaremakers ruimte
om te varieeren, en de praktijk is dat het lang duurt
voordat met name de uiteindelijke executable herkend wordt,
waarbij kans bestaat dat dit nooit gebeurt. Een groot
probleem daarbij is dat steeds meer malware de AV en/of
firewall uitschakelt, en/of in toemende mate
stealth/rootkit-achtig gedrag vertoont. Denk aan de
hackdefender series en bijv.
http://www.sarc.com/avcenter/venc/data/trojan.comxt.b.html.
Doorsnee gebruikers komt er dan pas achter dat ze iets
hebben opgelopen als hun bankrekening geplunderd blijkt of
de ISP ze uiteindelijk afsluit wegens wangedrag.
Zonder heuristische detectie is de kans nul dat desktop AV
nieuwe, of minder verspreide, malware herkent. Je bent dan
100% afhankelijk van detectie van browser exploits, maar dat
lukt helaas niet altijd even goed; blackhats rommelen
natuurlijk net zo lang aan hun spoitz tot deze door zo min
mogelijk AV wordt herkend.
Ten slotte kun je ook nietsvermoedend software downloaden
die getrojaned blijkt te zijn; denk aan de backdoored PuTTY
in dec. 2004 op download.com, maar ook aan junk als
popadstop en andere pre-MS patches die ordinaire backdoors
bevatten (zelfs zogenaamde open source types, zie mijn post
van 18 december 2003 16:26 in
http://www.security.nl/article/6283 en voor
details
http://lists.netsys.com/pipermail/full-disclosure/2003-December/014942.html).
Hoewel de detectie van backdoors in software die by
design[/] winsock gebruikt lastig is, kunnen alle beetjes
helpen.
Daarnaast, het einde van signature-based AV begint in zicht
te komen; doordat er steeds malware bijkomt worden scanners
steeds trager en def-downloads steeds groter (voor inbellers
vaak nauwelijks te doen). Ik vrees dan ook dat, willen
virusscanners nog enig nut hebben bij nieuwe of minder
verspreide malware, we heuristiek + false positives zullen
moeten accepteren, en gebruikers (vooral het "zuig" type)
gewoon opgevoed moeten worden.
Erik van Straten
McAfee is gewoon meuk.. detecteerd allerlei legale programma's als Serv-
U en Remote Administrator die gewoon gebruikt worden door sysops...
Die gasten moeten zich bezighouden met virussen en niet met mogelijke
hacktools.. dan zijn gewoon geen virussen, ook al wordt ermee gehackt.
U en Remote Administrator die gewoon gebruikt worden door sysops...
Die gasten moeten zich bezighouden met virussen en niet met mogelijke
hacktools.. dan zijn gewoon geen virussen, ook al wordt ermee gehackt.
13-02-2005, 14:23 door
Zarco.nl
Door Anoniem
Het betreft hier wel het Windows NT dat niet meer door
Microsoft ondersteund wordt:
http://www.tiscali.nl/content/article/cmult/532551.htm
Volgens mij betreft het het Windows NT platform, waaronderHet betreft hier wel het Windows NT dat niet meer door
Microsoft ondersteund wordt:
http://www.tiscali.nl/content/article/cmult/532551.htm
ook Win 2k/XP/2k3 vallen.
Op zondag 13 februari 2005 14:23 schreef ZZ:
> Volgens mij betreft het het Windows NT platform,
> waaronder ook Win 2k/XP/2k3 vallen.
Ik denk dat ze wel degelijk onder NT4 hebben getest (dat MS
overigens nog wel support, mits je vet betaalt):
http://www.virusbtn.com/vb100/latest_comparative/index.xml
"Windows NT is an environment which can be considered
mature. Furthermore, there were no major problems
encountered during the latest comparative review to be
carried out on this platform"
http://www.virusbtn.com/vb100/about/schedule.xml
noemt expliciet XP voor een volgende test:
"June 2005: Windows XP"
Los van het platform, voordat je een beslissing voor een
product baseert op de einduitslag van deze test,
d.w.z. zonder de volledige review te hebben gelezen (heb ik
ook niet), lees eerst de disclaimer onder "VB 100%
award" onderaan:
http://www.virusbtn.com/vb100/about/100procedure.xml
Erik van Straten
> Volgens mij betreft het het Windows NT platform,
> waaronder ook Win 2k/XP/2k3 vallen.
Ik denk dat ze wel degelijk onder NT4 hebben getest (dat MS
overigens nog wel support, mits je vet betaalt):
http://www.virusbtn.com/vb100/latest_comparative/index.xml
"Windows NT is an environment which can be considered
mature. Furthermore, there were no major problems
encountered during the latest comparative review to be
carried out on this platform"
http://www.virusbtn.com/vb100/about/schedule.xml
noemt expliciet XP voor een volgende test:
"June 2005: Windows XP"
Los van het platform, voordat je een beslissing voor een
product baseert op de einduitslag van deze test,
d.w.z. zonder de volledige review te hebben gelezen (heb ik
ook niet), lees eerst de disclaimer onder "VB 100%
award" onderaan:
http://www.virusbtn.com/vb100/about/100procedure.xml
Erik van Straten
Reageren
Deze posting is gelocked. Reageren is niet meer mogelijk.
Junior DevOps Engineer
Certified Secure is op zoek naar een Junior DevOps Engineer. Deze functie is een stuk interessanter dan de term doet vermoeden! Om jou als potentiële nieuwe collega meteen te laten zien wat we doen hebben we speciaal voor jou een selectie gemaakt van een aantal leuke security challenges. Are you ready for a challenge?
Cybersecurity Trainer / Streamer
Toe aan een nieuwe nieuwe job waarmee je het verschil maakt? In de Certified Secure trainingen laat je deelnemers zien hoe actuele kwetsbaarheden structureel verholpen worden. Ook werk je actief mee aan de ontwikkeling van onze gamified security challenges. Bij het maken van challenges kom je telkens nieuwe technieken tegen, van Flutter tot GraphQL, van Elastic Search tot Kubernetes.
