Er zitten gewoon wat foutjes in, maar emulatie kan per definitie superieur
en ondetecterbaar voor malware zijn.

Juist andersom.

Hmm, da's jammer. Hoe zit het dan met sandboxie? Heeft dat
geen zin meer om te gebruiken?

er zit nogal een gat tussen het detecteren van een sandbox
en het uitbreken. De demo toont alleen de detectie van de
Norman sandbox. De rest is pure ononderbouwde speculatie.
Voorlopig is de sandbox nog veilig, maar moet je er wel
rekening mee houden dat malware zich anders gedraagt in de
zandbak.

Mee eens.
Omdat de malware zich anders gedraagt kan het niet meer
gebruikt worden om te analyseren wat de malware doet.

Voor de duidelijkheid: ik ben werkzaam bij Norman!

Dit is typisch een geval van de wereldberoemde klok en klepel. Deze
demonstratie is van Februari 2007, het is inmiddels Juli 2007 (wat een
nieuws), dus het is ook nog komkommertijd door de vakantie. Het
gebruikelijke “niet om comentaar vragen bij het betreffende bedrijf door de
redactie” en we hebben we een “spraakmakend” artikel.

Het klopt dat via de genoemde demonstratie de Norman SandBox te
detecteren was. Deze bug is inmiddels verholpen, temeer omdat de
functionaliteit de Norman SandBox op een dwaalspoor kon zetten.

Het blijft echter zo dat er altijd manieren blijven om de Norman SandBox te
detecteren. Vanuit een detectie-oogpunt is dat GEEN probleem. Als wij een
nieuwe truc vinden die de Norman SandBox detecteert, dan zorgen wij dat
we detecteren dat we gedetecteerd worden. Malware schrijvers zijn zelden
innovatief. Er is er een, die heeft een helder idee, duizenden anderen
kopieren dat idee. Door de Norman Scanner Engine te laten detecteren dat
de Norman SandBox ‘gedeteceerd’ wordt, vinden we alle varianten die
proberen de detectie-code te gebruiken (dit is inmiddels een paar keer
gebeurd). De Norman Scanner Engine scant de bestanden namelijk eerst
via de geeigende methoden alvorens het bestand naar de Norman
SandBox door te sturen. Indien het bestand al als verdacht of besmet
wordt aangemerkt, dan komt dat bestand nooit in de Norman
SandBox.

Dit soort ‘aanvallen’ zoals de redaktie het noemt, komt al jaren voor,
doordat VMWare al jaren op de markt is. Er zijn dan ook gedocumenteerde
mogelijkheden om VMWare te detecteren en zelfs uit een VMWare sessie
te breken, om dan daarna op de fysieke CPU te werken (en mogelijke
schadelijke aanvallen uit te voeren). In vergelijking tot VMWare en VirtualPC
wordt in de Norman SandBox de code niet uitgevoerd maar gesimuleerd.
Er is hier dan ook geen mogelijkheid om uit de Norman SandBox te
breken. Het principe van de Norman SandBox is namelijk heel anders.

Een bijkomstig voordeel is dat Norman de enige gebruiker is van de
Norman SandBox. In het geval van calamiteiten, zoals de demonstratie uit
Februari 2007 die dient als de basis van dit artikel, dan kunnen wij daar
direkt op inspelen door de Norman SandBox aan te passen. Een
definitiebestand-update later zijn alle produkten dan voorzien van een
nieuwe Norman SandBox. Dit kunnen VMWare en VirtualPC niet aangezien
zij rekening moeten houden met backwards compatablity en 3rd party
software. De Norman SandBox is overigens continu onderhevig aan
veranderingen omdat wij zeer nauwkeurig letten op de ontwikkelingen in
de malware wereld en willen zorgen dat de Norman SandBox zoveel
mogelijk detecteert en analyseert.

Overigens zijn er steeds meer en meer bedrijven die de Norman SandBox
Analyzer produkten gebruiken. Ondere andere MessageLabs:

http://www.norman.com/News/Press_releaseslocal/48252/nl

en die zijn niet over een nacht ijs gegaan voordat zij deze forensische
utilities gebuiken. Typisch dat de redaktie van Security.nl dan dit weer niet
meldt.

Righard J. Zwienenberg
Norman Data Defense Systems
Chief Research Officer

^^^^
Dat was een zeer informatieve reply, thanks.

Ik vraag me alleen wel af waarom andere virus
scanners betere resultaten halen dan Norman,
denk aan AntiVir en Kaspersky. Heeft
waarschijnlijk te maken met de hoeveelheid
signatures, neem ik aan? En als ik het goed
heb, heeft NOD32 nog altijd de beste heuristics.

Wat betreft Sandboxie, er zullen vast wel
manieren zijn om deze tool te omzeilen (sterker
nog, de Bifrose trojan kan dit al), maar ook
dat kan gefixed worden. En de meeste malware
schrijvers gaan denk ik geen moeite doen om
security tools die eigenlijk alleen maar door
geeks gebruikt worden, te omzeilen.

Rasheed

Hallo Righard,

Wij weten heel goed dat geen systeem onkraakbaar is, maar
dat wil inderdaad niet zeggen dat er opeens geen
tegenmaatregelen te nemen zijn. En dat geldt ook voor de
sandbox affaire.

Keep on the good work!

De detectie resultaten hangen erg af van de tester. Bijna alle produkten
hebben goede test resulaten op de virussen/malware waar het om gaat, er
zijn nagegenoeg geen verschillen.

Er zijn goede en slechte testers. De slechte testers kunnen de malware
niet analyseren. Zij gaan uit van de resultaten van bepaalde scanners. Dat
houdt in dat indien alleen Norman vindt dat een bestand een virus is en de
4 scanners die zij als basis gebruiken niet, dit bestand niet in de testset
komt. Omgekeerd, als Norman iets mist en een van de vier scanners wel,
dan komt zo'n bestand wel in de testset. Een bepaald testlab in Belgie
hanteert deze methode, waarbij het resultaat natuurlijk altijn in het voordeel
is van de vier scanners die zij gebruiken.

Dan is er een andere tester die absoluluut geen verstand van malware
heeft, maar wel de collecties van verschillende antivirus huizen. Daarbij
komem deze huizen natuurlijk al voordelig uit de bus, je stuurt hem geen
virussen die je niet vind. Het grootste probleem bij die testen is overigens
dat het altijd over 'gemiste sampels' gaat. Dus Norman kan 1000 samples
missen en produkt A maar 500. Maar de 1000 samples kunnen dan allen
van een polymorfisch virus zijn (dus 1 gemist virus) terwijl de 500 samples
van 500 verschillende virussen gemist.

Er zijn ook weer scanners die een hoop rotzooi detecteren (bestanden die
niet (meer) geinfecteerd zijn, foutief gecleaned, bescahdigd, etc). Nadat wij
van een bepaalde tester alle geinfecteerde bestanden kregen die Norman
miste, konden er bij een eerste inspectie 10,000 zo de prullenbak in. De
tester vroeg ons ook vooral te vertellen wat beschadigd was zodat hij deze
kon verwijderen.

Daarbij is een andere graad die zelden goed wordt meegenomen de false
positive rate (aantal virusmeldingen op schone bestanden). Het is voor mij
geen probleem om een scanner te maken die 100% van alle malware
detecteert, maar ook zeer vele fp's heeft.

Er is een tester die bij de virus-detectie de scanner in de hoogste heuristic
zet, maar voor de fp-test de standaard instellingen aanhoud. Zo krijg je ook
een scheef beeld.

Alle bonafide produkten zijn gecertificeerd bij oa ICSALabs (US) en West
Coast Labs (UK) en halen keer op keer de VB100%.

Ik zou zo een tijd door kunnen gaan over de problemen met
testers.Gelukkig zijn er ook goede testers. Maar die zijn duur en dus zie je
vaak dat de consumentbladen de wat goedkopere testers nemen, met
alle 'resultaten' van dien.

Ik loop sinds 1988 in de anti-virus wereld mee en heb vele conflicten met
testers achter de rug. Er zullen er vast meer volgen. We proberen altijd de
testers te vertellen wat ze fout doen, dat werkt vak, maar helaas soms ook
niet.

Let wel: dit is geen repliek om te zeggen dat Norman nooit iets mist. Dat is
niet zo. Er is geen een anti-virus produkt dat ten alle tijden alles vind. Er is
altijd wel een keer iets.

Righard J. Zwienenberg
Norman Data Defense Systems
Chief Research Officer

Sorry Heer Zwienenberg,

ICSALABS(US) en West Coast Labs zijn niet meer dan min of
meer betaalde certificaten. Daarnaast is het in uw wereld
genoegzaam bekend dat de VB100% Award in feite niet meer dan
een marketing ploy is.

En die mening zijn Andreas Marx van av-test.org alsmede
Andreas Clementi van av-comparatives.org al jaren toegedaan.

Ze staan daarin niet alleen; vooraanstaande experts van
bijvoorbeeld Kasperky, ESET/NOD32, Frisk etc. kwamen tijdens
een bijeenkomst georganiseerd door Frisk in Reykjavik tot
dezelfde conclusie.

Marketing: OK. Maar vertel dat er even bij - want meer houdt
uw verhaal niet in.

Righard,

Ik denk inderdaad zoals je zegt de meeste virusscanners hun werk
behoorlijk goed doen, het gaat er natuurlijk alleen om de beste
scanner te vinden voor ieder zijn situatie.

Ik denk inderdaad dat als je kijkt naar uitslagen in commerciele bladen
(die door het grote publiek geloofwaardig gevonden worden) je vaak
vertekende uitslagen ziet.

Mij bekruipt dan ook altijd het gevoel dat er commerciele belangen in
zitten, vandaar dat ik het op mijn eigen test resultaten houdt.

test machines live in het veld, bij de over het internet raggende jeugd,
meer besmette bestanden tegenkomend dan mening tester in zijn
bestand heeft staan, ja natuurlijk moet je dit met een knipoog lezen.

Wat ik wel serieus meen is dat ik vertrouw op praktijk situaties, wat betreft
norman heb ik eigenlijk geen ervaring met jullie sandbox techniek
( misschien wel een gemiste kans) wel ken ik van dichtbij een bedrijf die
naar volle tevredenheid norman gebruikt.

Verder weet natuurlijk iedereen onderhand wel dat ik vertrouw op eset
nod32, waarom ? door lange tijd testen in praktijk situaties.

Ook kaspersky draag ik een warm hart toe.

Ik hoop dat het op een dag nogeens zover zal komen dat we eerlijke test
resultaten te zien krijgen, waarin commerciele belangen geen rol spelen.
Ik denk echter dat het nooit zover zal komen.

PS: ik ben al eerder afgeschoten over mijn opvattingen over testen qua
virus detectie, maar ik ben nou eenmaal een eigenwijs iemand die
vertrouwd op zijn eigen ik en niet zomaar om te praten is.

Groet van de virusman

Bedankt voor deze uitgebreide info; één ding: ik had een tijdje hardnekkig
die Bifrose trojan, gedetecteerd door ClamAv. Echter - ik ben
geabonneerd op de Nieuwsbrief Norman - waar op de lijst met virussen
wel degelijk de Bifrose stond vermeld - maar toen ik bij de helpdesk
Norman vroeg hoe dit op te lossen werd me enkel verwezen naar degeen
die dit had gedetecteerd, ClamAv dus! Vond ik níet echt sterk van Norman.
Heb het uiteindelijk zelf kunnen oplossen, maar het heeft me wél heel
veel tijd gekost. Jammer, zou toch denken dat anti-virusbedrijven eerder
samen een front - zouden - willen vormen dan dat - kennelijk -
commerciele belangen voorgaan.
Euphema