Computable heeft Ernst & Young uitgeroepen tot de beste Security adviseur van 2009. De Top 7 bestaat verder uit Deloitte, Microsoft, KPN, Cap, IBM en onderaan Atos. Dit is natuurlijk drie keer slikken voor alle hooggespecialiseerde bedrijven die het beveiligingsvak bevolken; alle bedrijven in de Top 7 zijn generalist. Blijkbaar zijn generalisten ook beter in specialismen dan de specialisten. Nu heb ik wel eens uitstekend werk gezien van mensen die namens deze spelers werkten, maar het ruikt hier wel sterk naar WC-eend. En dat spul meurt.

In opdracht van Computable voerde TNS NIPO het onderzoek in februari en maart uit onder 1913 ICT-managers en 'ambitieuze ICT-professionals'. In de gids worden onder andere per topic rapportcijfers gegeven voor dienstverleners die actief zijn in dat ICT-deelgebied. Respondenten konden per topic alleen de bedrijven waarderen waarmee ze daadwerkelijk ervaring hadden opgedaan.

Enquêtes houden is een behoorlijke wetenschap, waar veel over te leren valt. Daarbij worden we overigens goed op weg geholpen door TNS NIPO zelf, die in haar confrontaties met Maurice de Hond regelmatig tal van kundige opmerkingen plaatst over hoe enquêtes uit te voeren en de gegevens te interpreteren.

In de aankondiging van het voorlaatste onderzoek uit 2007 staat te lezen: 'onderzocht TNS NIPO in opdracht van Computable alle belangrijke ICT-dienstverleners'. Om te kwalificeren als belangrijke dienstverlener en in de lijst te staan zal een bedrijf een bepaalde economische omvang moeten hebben. Daarmee valt het overgrote deel van de specialistische bedrijven af, zo niet alle. E&Y heeft in Nederland een paar honderd man op Security zitten en is daarmee zeker een hele grote, en voor zover ik weet zelfs de grootste speler. Dus het aantal mensen dat zaken heeft gedaan met E&Y zal ook groot zijn. E&Y heeft, naast beveiligingsspecialisten in allerlei smaken, veel auditoren op de loonlijst. Veel meer dan de anderen in de Top 7. Een auditor doet meer verschillende klanten per jaar aan dan bijvoorbeeld een consultant, een programmeur of een cryptograaf. En met bovengemiddeld veel auditoren zal dat oordeel vaker positief zijn dan bij alle andere soorten diensten; audits mislukken zelden. Software- en bouwprojecten daarentegen, nu ja dat weten we allemaal. Dit alles leidt tot een sterke vertekening in de statistiek. Wie de beste is zul je er niet mee kunnen vaststellen.

En waarin eigenlijk? Wat is Security eigenlijk in dit onderzoek. Auditing, het schrijven van beleid, het inrichten van processen of een firewall, forensisch onderzoek of antivirus? Vallen clustering en uitwijkvoorzieningen er ook onder? Blijkbaar is Security zodanig onderdeel van de kennis van ICT-managers en ambitieuze ICT-professionals dat het niet gespecificeerd hoefde te worden.

Als ik kijk naar de andere 'net iets minder goede' Security Adviseurs wordt duidelijk dat Computable ook dezelfde misser maakt als de meeste aanbestedende diensten en subsidieverstrekkers; het subtiele verschil tussen iets kunnen en iets kunnen leveren ontgaat ze. De grote spelers werken allemaal met onderaannemers, wanneer ze zelf de expertise niet in huis hebben. Voor vier van de zeven heb ik zelf in die hoedanigheid gewerkt en van de andere weet ik ook zeker dat ze regelmatig werken met free-lancers, allerlei smaken partners en andere sub-contractors. Dit wordt de klant er in de regel niet bij verteld, het is vaak zelfs geheim. Dus bij deze enquete komt dat ook niet op tafel.

Kortom. Het onderzoek van TNS NIPO meet percepties rond een niet nauwkeurig afgebakende productgroep, sluit het grootste deel van het gebied uit en telt wederverkopers gewoon mee als experts. Ik kan me niet voorstellen dat de winnaar van dit onderzoek blij zal zijn met deze 'verkiezing', behalve als hij een enorme plaat voor de kop, of geen enkele integriteit heeft. TNS NIPO brengt haar geloofwaardigheid op deze manier grote schade toe. De 'business insights' waar ze zelf zo prat op gaat, ontbreken in dit onderzoek overduidelijk. Met deze onderzoeksmethode kan je ook vaststellen dat Volkswagen, Gazelle en Peugeot de beste auto's maken. Op de voet gevolgd door de Lidl, Opel en Boeing.

Ernst & Young rept overigens nergens van deze uitverkiezing. Dat pleit dan weer voor ze.

Door Peter Rietveld, Senior Security consultant bij Traxion - The Identity Management Specialists -

Vorige columns van Peter