image

Microsoft legt uit waarom Defender malware tijdens test miste

zondag 22 juli 2018, 08:15 door Redactie, 3 reacties

Het Duitse testlab AV-Test publiceerde onlangs de resultaten van een anti-virustest waarbij Windows Defender twee van de 5680 gebruikte malware-exemplaren miste. Hierdoor haalde de virusscanner die standaard in Windows 10 zit ingebouwd niet de maximale score voor de detectie van malware.

Aanleiding voor Microsoft om een uitleg te geven (pdf). Bij de detectie van malware werd gekeken naar 196 "zero-day" malware-exemplaren en bijna 5500 malware-exemplaren die in de laatste vier weken voor de test werden ontdekt. Zero-day malware is in de definitie van AV-Test onbekende, nieuwe malware. Op dit onderdeel miste Windows Defender de twee malware-exemplaren.

Het eerste exemplaar werd door Windows Defender gedetecteerd, maar door een bug die zich in bepaalde gevallen kon voordoen werd de malware niet volledig verwijderd. Het gedrag van de tweede malware werd niet als kwaadaardig beschouwd. Microsoft zegt de bug te hebben verholpen en heeft nieuwe gedragstriggers toegevoegd om malware zoals het tweede exemplaar te detecteren.

Naast de detectie van malware werd Windows Defender ook getest op 'false positives'. In deze gevallen beschouwt de virusscanner schone software als malware of schone websites als besmet. Windows Defender ging in totaal bij zeven schone bestanden de fout in. Al deze bestanden waren niet gesigneerd door de ontwikkelaar en drie ervan waren in maart en april niet bij Windows Defender-gebruikers waargenomen. Twee van de bestanden zijn daadwerkelijk bij zakelijke Windows Defender-gebruikers geblokkeerd. Het ging in totaal om twaalf machines.

Volgens Microsoft hoeft het verkeerd classificeren tijdens een synthetische test niet meteen te duiden op missers in echte scenario's. "We hebben gevallen zien waarbij een klant een schoon programma via de website van de leverancier downloadde. Wanneer een tester echter het bestand een willekeurige naam geeft, het mark of the web verwijdert en het bestand niet downloadt van de website van de leverancier, kunnen onze agressievere machinelearningmodellen bestanden blokkeren dat in het echt niet zou gebeuren", aldus Microsoft.

Reacties (3)
22-07-2018, 10:59 door Anoniem
"maar door een bug die zich in bepaalde gevallen kon voordoen"

spin spin spin draaien in de ronde en spin

en die laatste paragraaf is onduidelijk en op meerdere manieren te lezen (oh, ik vraag dus niemand mij hun persoonlijke interpretatie te geven, ik constateer dat die paragraaf onduidelijk).
22-07-2018, 13:07 door Anoniem
Door Anoniem: "maar door een bug die zich in bepaalde gevallen kon voordoen"

spin spin spin draaien in de ronde en spin

en die laatste paragraaf is onduidelijk en op meerdere manieren te lezen (oh, ik vraag dus niemand mij hun persoonlijke interpretatie te geven, ik constateer dat die paragraaf onduidelijk).
Het enige wat ik er onduidelijk aan vond is "mark of the web". Die term kende ik niet. Het blijkt in de MS-wereld echt iets te zijn, hier kan je er meer over lezen:
https://blogs.msdn.microsoft.com/ieinternals/2011/03/23/understanding-local-machine-zone-lockdown/

Verder is die alinea duidelijk als je het originele document erbij pakt en niet alleen kijkt naar het deel dat hier is geciteerd. Dat doe je toch hopelijk voor je besluit dat een geciteerde partij onduidelijk is? Ze hebben het erover dat niet alleen de bytes in een bestand een basis zijn voor een beoordeling maar ook de context, bijvoorbeeld waar een bestand vandaan komt (website van een bekende leverancier bijvoorbeeld) en de naam die het bestand bij die leverancier heeft. Als een test zo is opgezet kan een fout-positief optreden (het blokkeren in de laatste zin van het artikel) die in de praktijk nauwelijks voorkomt.

Ik vind de spin wel meevallen, dit ziet eruit alsof ze reageren op de test en verklaringen aandragen voor wat je daar ziet.

En die verklaringen zijn best informatief. De leveranciers die in die test beter scoren zijn kennelijk in staat zijn om die hogere score te halen zonder de contextuele informatie waar Microsoft's benadering van afhangt. Daaruit leid ik af dat hun inhoudelijke scans kennelijk geavanceerder zijn dan die van Microsoft. Als deze leveranciers daarnaast ook gebruik maken van die contextuele informatie (geen idee of dat zo is) dan zou het wel eens kunnen dat ze nog een slag beter zijn dan Microsoft maar dat een test met een kleine 6000 malware-exemplaren niet groot genoeg is om die verschillen nog zichtbaar te maken.
22-07-2018, 13:31 door Anoniem
Door Anoniem: "maar door een bug die zich in bepaalde gevallen kon voordoen"

spin spin spin draaien in de ronde en spin

en die laatste paragraaf is onduidelijk en op meerdere manieren te lezen (oh, ik vraag dus niemand mij hun persoonlijke interpretatie te geven, ik constateer dat die paragraaf onduidelijk).
Vind je? MS zegt dat testresultaten niet direct zijn te vertalen naar de real world.
Reageren

Deze posting is gelocked. Reageren is niet meer mogelijk.