Knallende ruzie tussen Comodo en antivirus-tester
Er is knallende ruzie ontstaan tussen beveiligingsbedrijf Comodo en het Oostenrijkse testorgaan AV-Comparatives, waarbij interne e-mails zijn gepubliceerd en er zelfs van afpersing wordt gesproken. Comodo, onder andere bekend van de gratis beveiligingssoftware, uitte vorige week kritiek op de testwijze van AV-Comparatives. De manier waarop het testorgaan zou testen was volgens oprichter Melih Abdulhayoglu gedateerd. "Geef gebruikers informatie over wat ertoe doet, namelijk bescherming en niet detectie, door het plaatsen van dode virussen op je harde schijf en ze vervolgens te testen."
Abdulhayoglu deed zijn beklaag in het forum van Comodo. Daar merkt hij ook op dat het testen van anti-virus gratis zou moeten zijn. "Elke financiële relatie tussen testorganisaties en anti-virusbedrijf moet als negatief worden beschouwd." De man achter Comodo vindt niet dat testorganisaties geld van anti-virusbedrijven moeten krijgen.
Afpersing
Vervolgens stuurde Peter Stelzhammer van AV-Comparatives verschillende e-mails naar Umesh Kumar Gupta van Comodo, waarin om een rectificatie van de forumposting van Abdulhayoglu werd gevraagd. Stelzhammer stelt dat er wel degelijk op bescherming wordt getest en dat Comodo besloot om de testresultaten niet te publiceren. "Je weet hoe het werkt. We kunnen het bewijzen. We kunnen het publiceren. Geld heeft geen invloed. Je hebt betaald en je kreeg slechte resultaten. Dat is voldoende bewijs. We zijn onafhankelijk not profit, geld dekt alleen onze kosten.", schrijft Stelzhammer.
Abdulhayoglu reageert op de eigen website dat het zich niet laat pesten om zo de eigen mening te wijzigen. "Gelukkig leef ik in een vrij land, waar ik een eigen mening mag hebben. Pestkoppen die mensen proberen af te persen wegens het hebben van een mening worden in deze maatschappij niet getolereerd." Volgens de oprichter is het dan ook de hoogste tijd dat het handelen van AV-Comparatives wordt geopenbaard.
Zo zou AV-Comparatives grote bedragen van anti-virusbedrijven ontvangen, maar meldt het niet om wat voor bedragen het gaat. Daarnaast zou de informatie misleidend zijn, aangezien alleen gedetecteerd wordt wat virusscanners kunnen detecteren, niet waar ze tegen beschermen. Daarnaast zouden alle testexemplaren met de "deelnemers" worden gedeeld, aldus Abdulhayoglu.
Censuur
"Melih van Comodo speelt dit spel met alle testers die hem niet de testresultaten geven die hij wil", zegt Stelzhammer in een reactie tegenover Security.nl. "Het is slecht gedrag om vertrouwelijke e-mails te publiceren, dit is geen betrouwbaar gedrag in deze industrie"
Volgens Stelzhammer heeft het niets met censuur of pesten te maken. "Als Melih verkeerde dingen zegt, mag het nog steeds een mening of vrijheid van meningsuiting zijn, maar toch is het niet waar, en dan kan de beschuldigde partij het op een professionele manier proberen op te lossen. In plaats van het met ons op te lossen, gaan ze liever door met deze campagne."
Inmiddels heeft AV-Comparatives ook een eigen verklaring online gezet, waarin wordt gesteld dat het "triest van Comodo" is dat het de testorganisatie zwart maakt.
jammer dat de ranglijst vooraf bekend is..
ik vermoed dat hij bedoelt op het feit dat zijn product niet enkel virussen detecteerd, maar je ook beschermd tegen spam, aanvallen (dmv firewall), identiteitsdiefstal,... Al de extra features die sommige AV softwaremakers willen mee pushen met hun antivirus.
Hierdoor ervaar ik verschillende pakketten als veel te zwaar omdat ze veel toeters en bellen hebben (die misschien wel doen wat ze beweren), maar die ik niet nodig heb van een AV programma en als ik die wil zal ik ze wel apart installeren. Ik kan ze inderdaad ook allemaal gaan uitschakelen, maar dat is niet de manier waarop ik mijn programma's graag zie, ik zie liefst het omgekeerde, installeer en activeer wat je nodig hebt/wilt hebben en niet deactiveren wat je niet wilt hebben.
AV-Comparatives test met 'dode virussen' en matousec test met testscripts. Beide methoden hebben hun beperkingen en als Melih Abdulhayoglu kritiek heeft op AV-Comparatives moet hij ook zo eerlijk zijn om de nodige kanttekeningen te plaatsen bij de testresultaten van zijn software op matousec.com.
Uhm... bedoel je dat niet andersom?
Als alle geteste programma's bijvoorbeeld 60% van de dode samples detecteren tijdens een on-demand scan, dat dan enkele programma's het systeem ook alleen maar tegen die 60% kunnen beschermen wanneer de samples daadwerkelijk worden uitgevoerd. Maar dat er ook programma's tussen zitten die het systeem wel tegen 80% of zelfs 95% van de malware kunnen beschermen wanneer die malware samples ook daadwerkelijk worden uitgevoerd.
Dat is ook precies wat Melih bedoelt met "Geef gebruikers informatie over wat ertoe doet, namelijk bescherming en niet detectie, door het plaatsen van dode virussen op je harde schijf en ze vervolgens te testen".
Wat dat betreft heef Melih wel gelijk, maar dat wist hij natuurlijk al voordat hij besloot deel te nemen aan die on-demand test. Dat hij de resultaten niet gepubliceerd wilde hebben omdat zijn product 't voor elkaar kreeg tijdens zo'n simpele on-demand scan 513 False Positives te genereren, is hetgeen Melih liever verborgen wilde houden.
http://www.melih.com/wp-content/uploads/2011/11/avcomparitivesr.png
Melih heeft wel vaker ruzie gehad (BoClean, MRG, VB), en het ligt nooit aan Melih..... volgens Melih ;-)
Ik heb echt medelijden met andere mensen die bij Comodo werken en hun best doen om de naam van Comodo hoog te houden terwijl Melih 't imago steeds weer weet te verpesten.
Dat hij de resultaten niet gepubliceerd wilde hebben omdat zijn product 't voor elkaar kreeg tijdens zo'n simpele on-demand scan 513 False Positives te genereren, is hetgeen Melih liever verborgen wilde houden.
http://www.melih.com/wp-content/uploads/2011/11/avcomparitivesr.png
Je kunt nu wegens logistieke beperkingen nu eenmaal niet meer dan, zeg, 100 stuks malware in echte besmettingen testen. Dat wil niet zeggen dat gebreken aan detectie on demand acceptabel zijn. Dus zo'n test is net zo goed nuttige informatie.
AV fabrikanten: get over it en stel geen onhaalbare eisen.
Uhm... heb je door dat je naar Melih's website linkt? Wat je verder van hem en deze ruzie kan denken, hij heeft dit plaatje open en bloot in zijn blog gepubliceerd, en je weet er vermoedelijk alleen van omdat het daar staat. Een beetje raar om hem ervan te beschuldigen dat hij liever verborgen houdt wat hij juist zelf in de openbaarheid gooit.
Anoniem, op welke datum beschikte Melih over die gegevens en op welke datum heeft hij ze in zijn blog gepubliceerd?
Zou 't zo kunnen zijn dat hij dit al meer dan 9 maanden verborgen hield totdat AV-Comparatives heeft gedreigd de gegevens openbaar te maken?
Deze posting is gelocked. Reageren is niet meer mogelijk.
Junior DevOps Engineer
Certified Secure is op zoek naar een Junior DevOps Engineer. Deze functie is een stuk interessanter dan de term doet vermoeden! Om jou als potentiële nieuwe collega meteen te laten zien wat we doen hebben we speciaal voor jou een selectie gemaakt van een aantal leuke security challenges. Are you ready for a challenge?
Cybersecurity Trainer / Streamer
Toe aan een nieuwe nieuwe job waarmee je het verschil maakt? In de Certified Secure trainingen laat je deelnemers zien hoe actuele kwetsbaarheden structureel verholpen worden. Ook werk je actief mee aan de ontwikkeling van onze gamified security challenges. Bij het maken van challenges kom je telkens nieuwe technieken tegen, van Flutter tot GraphQL, van Elastic Search tot Kubernetes.
