De Spaanse virusbestrijder Panda Security noemt de Security Suite test van het Deense Secunia absurd, sensationeel en misleidend. Een opmerkelijke uitspraak, aangezien de Spanjaarden zelf ook graag met cijfers spelen. Secunia nam een Windows XP SP2 systeem waar verschillende updates ontbraken en voerde daarna 300 exploits uit. Panda wist net als tien andere aanbieders nog geen vier procent van de exploits te detecteren. Volgens marketing director Pedro Bustamante moet men bij het testen van exploits niet vergeten dat veel virusscanners niet alleen van signatures afhankelijk zijn. "Toch kijkt Secunia's test alleen naar het handmatig scannen van 144 verschillende inactieve exploits. Dit is hetzelfde als het houden van een remtest voor auto's door ze van een tweehonderd meter hoge klif te hogen. Absurd, sensationeel en misleidend."

Bustamante vindt het idee achter de test, het vergelijken van technologieën, interessant en is dan ook voorstander dat die werd uitgevoerd. Secunia had de test echter beter moeten uitvoeren. "Als je één gedeelte van het product op exploits test, dat ook nog eens het gedeelte is dat NIET ontworpen is om hiermee om te gaan, en je daarna niet het gedeelte test dat WEL met exploits en beveiligingslekken om kan gaan, dan is er een goede kans dat je resultaten misleidend zijn. Secunia had dit moeten weten en moet zich bewust zijn van de gevolgen van een foute testmethode." Volgens Bustamante is het dan ook de vraag waarom de Deense beveiliger dit negeerde en meteen voor de sensationele aanpak ging.

Misleidend
De Spanjaard heeft het ook erg moeilijk met de conclusie van het onderzoek, namelijk dat virusbestrijders zich niet op de detectie van exploits richten, waardoor hun klanten gevaar lopen. "Duh, als je alleen traditionele signatures test en de technologieën negeert die juist ontworpen zijn om exploits te blokkeren, wat verwacht je dan? Oh, wacht, ik zie net op hun website dat Secunia een kwetsbaarheden scanner verkoopt. Hmmm, misschien heeft dat iets te doen met de foute conclusies van deze test." Volgens Panda zou hun product als die goed zou zijn getest, 143 van de 300 kwetsbaarheden detecteren.

Security.nl nam contact op met Secunia die het niet eens zijn met de kritiek van Panda. "Als consument verwacht ik dat als ik een Excel sheet met een exploit op mijn harde schijf bewaar, mijn Security Suite die herkent en alarm geeft," aldus Thomas Kristensen. Volgens Panda had Secunia elk bestand moeten openen, zoda de Security Suite z'n werk kon doen. De CTO van Secunia kan zich gedeeltelijk in die kritiek vinden, maar laat weten dat in het geval van de 156 website exploits dit wel gebeurde en de Security Suites daar ook dramatisch scoorde.

Bewustzijn
De test is voornamelijk bedoeld om consumenten het belang van patching bij te brengen, omdat Security Suites hier geen adequate bescherming tegen bieden. Het Deense beveiligingsbedrijf is deze maand samen met de overheid daar een campagne gestart om mensen dit belang bij te brengen. Uit onderzoek blijkt dat de meeste consumenten alleen de Windows patches geïnstalleerd hebben en voor de rest geheel ongepatcht zijn. Kristensen merkt op dat men bij toekomstige tests wel elk bestand zal openen, maar dat dit niets wegneemt van de perceptie van de gebruiker, die van het idee af moet dat alleen een virusscanner of Security Suite voldoende is.

Veel critici vonden dat deze test een hoog "WC-eend" gehalte heeft. "Het maakt ons niet uit waar mensen hun patches vandaan halen, zolang ze maar patchen." De Personal Software Inspector die Secunia aanbiedt is daarnaast gratis voor consumenten. "Wij kunnen er niets aan doen dat we de enige zijn die een applicatie hebben ontwikkeld die het makkelijk maakt om de updates voor je systeem in de gaten te houden."