WildList voor virusscanners met uitsterven bedreigd
De in 1993 opgerichte lijst met virussen die geldt als dé testmethode voor virusscanners is achterhaald, en moet ingrijpend worden aangepast als het in de toekomst nog een zinnige rol wil vervullen. De WildList is al jaren een begrip in de anti-virus industrie, en wordt bij menig test ingezet. De lijst geeft geen goede weergave van de werkelijkheid, want veel van de hedendaagse malware is niet in het overzicht terug te vinden. De nadruk lag altijd op virussen en malware die zichzelf konden verspreiden, maar dat is vandaag de dag niet meer de grootste dreiging.
Een ander probleem is het aantal malware exemplaren dat wordt aangetroffen. Eind 2006 stond de teller op 7500 exemplaren per dag, die allemaal onderzocht moeten worden. Het is echter onduidelijk wanneer een WildList reporter een malware exemplaar kan aanmelden. Het derde punt is dat het aantal reporters door de jaren heen is toegenomen, het aantal mensen dat daadwerkelijk iets doet, ligt op het niveau van 1995. Oftewel negen mensen die malware rapporteren. Het laaste probleem is dat de lijst achterloopt zodra die gepubliceerd is. Hoewel die elke maand verschijnt, krijgen anti-virusaanbieders en testers die pas na veertig dagen.
Het kan dus allemaal beter, aldus Andreas Marx van AV-test.org. Marx gaf tijdens de recente VirusBulletin conferentie in Oostenrijk deze presentatie, waarin hij verschillende suggesties doet om de lijst nieuw leven in te blazen.
Reacties (14)
29-09-2007, 01:37 door
Righard J. Zwienenberg
Even voor de duidelijkheid: buiten werkzaam te zijn voor Norman, ben zit ik
oa in de Technical Oversight Board voor de WildList. Dit betekent:
a) ik ben bevooroordeeld
b) ik heb meer inzicht in de materie
Helaas is het zo dat Andreas Marx hier enigszins de boot mist. De dag voor
de Virus Bulletin Conferentie was er in Wenen (waar ook de conferentie
gehouden werd) een grote bijeenkomst van alle WildList reporters waar
deze geinformeerd werden over de op handen zijnde veranderingen in de
WildList. Zonder nog in details te kunnen treden, de WildList zal
veranderen in een daily WildList en wordt de rapportage vereenvoudigd (in
tegenstelling tot wat Andreas Marx beweert zijn de criteria voor rapportage
zeer duidelijk).
Grappig detail is dat Andreas Marx voor zijn werk als tester ook bouwt op
de WildList. Andreas Marx is ook rapporteur voor deze WildList.
Voorafgaand aan zijn presentatie heeft hij 3 dagen eerder zijn laatste
rapport ingestuurd met virussen(malware) die hij in het wild vindt. Zijn
rapport van daarvoor dateert van 22 maander geleden(!). Hij is dus debet
aan zijn eigen kritiek.
Ik heb hem ter plekke met deze kritiek geconfonteerd en hij beweert dat hij
wel degelijk raporteerde, maar dat ergens een gateway scanner zijn
bericht wiste vanwege de attachments met virussen (bewijs dmv
attachments is een van de criteria voor rapportage) en dat daarom zijn
meldingen nooit zijn opgenomen in de WildList.
Wetende dat er inderdaad gateway scanners zijn die dit gedrag vertonen,
is dit geen excuus voor Andreas Marx. Immers: in het geval dat dit mij zou
treffen had ik na het verschijnen van de eerstvolgende WildList direkt
kontakt opgenomen met de organistie van de WildList waarom mijn
meldingen niet zijn opgenomen. Dit heeft hij niet gedaan.
Voor de duidelijkheid: Andreas zijn presentatie bevat ook vele goede
aanbevelingen. Wat Andreas niet wist (en ook niet kon weten) is dat vele
van zijn aanbevelingen inmiddels in de nieuwe setup van de WildList
zitten.
Eind November is in Korea de AVAR Conferentie die wordt voorafgegaan
door een WildList Reporter Meeting. Op deze meeting zullen de finale
verandering gepresenteerd worden waarnaar er een tijd wordt vastgesteld
voor de definieve overgang.
Righard Zwienenberg
Chief Research Officer
Norman
oa in de Technical Oversight Board voor de WildList. Dit betekent:
a) ik ben bevooroordeeld
b) ik heb meer inzicht in de materie
Helaas is het zo dat Andreas Marx hier enigszins de boot mist. De dag voor
de Virus Bulletin Conferentie was er in Wenen (waar ook de conferentie
gehouden werd) een grote bijeenkomst van alle WildList reporters waar
deze geinformeerd werden over de op handen zijnde veranderingen in de
WildList. Zonder nog in details te kunnen treden, de WildList zal
veranderen in een daily WildList en wordt de rapportage vereenvoudigd (in
tegenstelling tot wat Andreas Marx beweert zijn de criteria voor rapportage
zeer duidelijk).
Grappig detail is dat Andreas Marx voor zijn werk als tester ook bouwt op
de WildList. Andreas Marx is ook rapporteur voor deze WildList.
Voorafgaand aan zijn presentatie heeft hij 3 dagen eerder zijn laatste
rapport ingestuurd met virussen(malware) die hij in het wild vindt. Zijn
rapport van daarvoor dateert van 22 maander geleden(!). Hij is dus debet
aan zijn eigen kritiek.
Ik heb hem ter plekke met deze kritiek geconfonteerd en hij beweert dat hij
wel degelijk raporteerde, maar dat ergens een gateway scanner zijn
bericht wiste vanwege de attachments met virussen (bewijs dmv
attachments is een van de criteria voor rapportage) en dat daarom zijn
meldingen nooit zijn opgenomen in de WildList.
Wetende dat er inderdaad gateway scanners zijn die dit gedrag vertonen,
is dit geen excuus voor Andreas Marx. Immers: in het geval dat dit mij zou
treffen had ik na het verschijnen van de eerstvolgende WildList direkt
kontakt opgenomen met de organistie van de WildList waarom mijn
meldingen niet zijn opgenomen. Dit heeft hij niet gedaan.
Voor de duidelijkheid: Andreas zijn presentatie bevat ook vele goede
aanbevelingen. Wat Andreas niet wist (en ook niet kon weten) is dat vele
van zijn aanbevelingen inmiddels in de nieuwe setup van de WildList
zitten.
Eind November is in Korea de AVAR Conferentie die wordt voorafgegaan
door een WildList Reporter Meeting. Op deze meeting zullen de finale
verandering gepresenteerd worden waarnaar er een tijd wordt vastgesteld
voor de definieve overgang.
Righard Zwienenberg
Chief Research Officer
Norman
Zwienenberg,
Persoonlijk ben ik niet zo'n fan van Andreas Marx. Maar
gezegd moet worden dat de WildList al jaren niet meer
serieus wordt genomen - onder andere door diverse collega's
van je bij andere (niet de minste) Antivirus Companies.
Het zal me benieuwen of jullie komende acties daadwerkelijk
tot een significante verbetering zal leiden. Ik hoor het
t.z.t. wel van Marx en Clementi. Ik heb mijn gegronde twijfels.
Persoonlijk ben ik niet zo'n fan van Andreas Marx. Maar
gezegd moet worden dat de WildList al jaren niet meer
serieus wordt genomen - onder andere door diverse collega's
van je bij andere (niet de minste) Antivirus Companies.
Het zal me benieuwen of jullie komende acties daadwerkelijk
tot een significante verbetering zal leiden. Ik hoor het
t.z.t. wel van Marx en Clementi. Ik heb mijn gegronde twijfels.
Zwienenberg,
Lees Vesselin er eens op na:
http://www.people.frisk-software.com/%7Ebontchev/papers/wildlist.html
Ietwat gedateerd, maar inhoudelijk staat het nog steeds als
een huis.
Lees Vesselin er eens op na:
http://www.people.frisk-software.com/%7Ebontchev/papers/wildlist.html
Ietwat gedateerd, maar inhoudelijk staat het nog steeds als
een huis.
Hee Anoniem op zondag 30 september 2007 02:17,
Denk je niet dat Righard Zwienenberg dat stuk van Vesselin al gelezen
heeft toen het net nieuw was? Hij werkt bij Norman en daarvoor werkte hij
aan ThunderByte.
Wat Andreas Clementi hier mee te maken heeft weet ik niet (niets denk ik).
Andreas Marx heeft in grote lijnen gelijk met de kritiek en het is goed dat hij
dat als onafhankelijke presenteert op een conferentie. Het bevestigd het
beeld dat hij niet aan het handje loopt van anti-virus bedrijven en
daadwerkelijk onafhankelijk is.
Natuurlijk zullen enkele anti-virus ontwikkelaars in dienst bij anti-virus
bedrijven protesteren, het grijpt namelijk direct in op productbeoordelingen
die door de censuur een overmatig positief beeld gaven.
Zo wilde de Wildlist lange tijd geen trojans op de lijst zetten om allerlei
politiek gekunstelde redenen. Het is een publiek geheim dat de Wildlist
slecht is in het ontvangen en verwerken van rapportages en dat de overige
communicatie ook zeer slecht verloopt (geen antwoord). Dat dit
demotiverend werkt voor de rapporteurs is niet meer dan logisch.
Hopelijk wordt het snel beter in de toekomst en wordt de problematiek die
Andreas Marx heeft aangekaart punt voor punt beoordeeld en opgelost.
Denk je niet dat Righard Zwienenberg dat stuk van Vesselin al gelezen
heeft toen het net nieuw was? Hij werkt bij Norman en daarvoor werkte hij
aan ThunderByte.
Wat Andreas Clementi hier mee te maken heeft weet ik niet (niets denk ik).
Andreas Marx heeft in grote lijnen gelijk met de kritiek en het is goed dat hij
dat als onafhankelijke presenteert op een conferentie. Het bevestigd het
beeld dat hij niet aan het handje loopt van anti-virus bedrijven en
daadwerkelijk onafhankelijk is.
Natuurlijk zullen enkele anti-virus ontwikkelaars in dienst bij anti-virus
bedrijven protesteren, het grijpt namelijk direct in op productbeoordelingen
die door de censuur een overmatig positief beeld gaven.
Zo wilde de Wildlist lange tijd geen trojans op de lijst zetten om allerlei
politiek gekunstelde redenen. Het is een publiek geheim dat de Wildlist
slecht is in het ontvangen en verwerken van rapportages en dat de overige
communicatie ook zeer slecht verloopt (geen antwoord). Dat dit
demotiverend werkt voor de rapporteurs is niet meer dan logisch.
Hopelijk wordt het snel beter in de toekomst en wordt de problematiek die
Andreas Marx heeft aangekaart punt voor punt beoordeeld en opgelost.
Denk je niet dat Righard Zwienenberg dat stuk van
Vesselin al gelezen
heeft toen het net nieuw was?
Vesselin al gelezen
heeft toen het net nieuw was?
Dat valt te bezien: ik wacht het antwoord van Zwienenberg
met belangstelling af.
Hij werkt bij Norman en daarvoor werkte hijaan
ThunderByte.
ThunderByte.
En wat is de relevantie in deze context? Ik ken nog
tientallen collega's van Zwienenburg van bepaald niet de
minste Antivirus companies. 95% staan nog steeds voledig
achter het artikel van Vesselin Bontchev.
Andreas Marx heeft in grote lijnen gelijk met de
kritiek
kritiek
De kritiek is al zo oud als de weg naar Rome. Jaren en
jarenlang is er totaal niets mee gedaan (sic).
en het is goed dat hij dat als onafhankelijke
presenteert op een conferentie.
presenteert op een conferentie.
Uhm..goed dat hij een oud probleem aan de orde stelt - dat
in ieder geval.
Het bevestigd het beeld dat hij niet aan het handje
loopt van anti-virus bedrijven en daadwerkelijk
onafhankelijk is.
loopt van anti-virus bedrijven en daadwerkelijk
onafhankelijk is.
Helaas wijst de praktijk hier wat anders uit. Marx en zijn
organisatie voeren door Antivirus companies stevig betaalde
tests uit: "U vraagt, wij draaien". Onafhankelijk? Bepaald niet.
Wat je overige commentaar betreft: da's intrappen van open
deuren.
Ik zie een commentaar an Zwienenburg met belangstelling
tegemoet.
30-09-2007, 22:28 door
Righard J. Zwienenberg
Door Anoniem
Persoonlijk ben ik niet zo'n fan van Andreas Marx. Maar
gezegd moet worden dat de WildList al jaren niet meer
serieus wordt genomen - onder andere door diverse collega's
van je bij andere (niet de minste) Antivirus Companies.
Het zal me benieuwen of jullie komende acties daadwerkelijk
tot een significante verbetering zal leiden. Ik hoor het
t.z.t. wel van Marx en Clementi. Ik heb mijn gegronde twijfels.
Persoonlijk ben ik niet zo'n fan van Andreas Marx. Maar
gezegd moet worden dat de WildList al jaren niet meer
serieus wordt genomen - onder andere door diverse collega's
van je bij andere (niet de minste) Antivirus Companies.
Het zal me benieuwen of jullie komende acties daadwerkelijk
tot een significante verbetering zal leiden. Ik hoor het
t.z.t. wel van Marx en Clementi. Ik heb mijn gegronde twijfels.
Zoals ik begon: "Helaas is het zo dat Andreas Marx hier enigszins de boot
mist", waar ik dus al mee aan geef dat er niet niks mis is met de huidge
WildList. ik onderken dat probleem dus ook niet. Wat ik aan gaf met mijn
repliek op het bericht is dat Andreas Marx debet is aan de huidige staat van
de WildList en dan is het goedkoop scoren om daar dan over te klagen.
Temeer omdat hij voor zijn tests altijd(!) gebruik maakt van de WildList
Dat U gegronde twijfels heeft, daar heb ik geen probleem mee. Dat is
typisch iets voor Nederland met zijn 16 miljoen bondscoaches :-) Mijn
advies: probeer het zelf beter te doen en geaccepteerd te krijgen. Dan
praten we verder.
Andreas Clementi is weer een 'heel ander' probleem.
Righard Zwienenberg
Chief Research Officer
Norman
30-09-2007, 22:55 door
Righard J. Zwienenberg
Denk je niet dat Righard Zwienenberg dat stuk van Vesselin al gelezen
heeft toen het net nieuw was? Hij werkt bij Norman en daarvoor werkte hij
aan ThunderByte.
Ik was zelfs bij de presentatie ervan :-)
Andreas Marx heeft in grote lijnen gelijk met de kritiek en het is goed dat hij
dat als onafhankelijke presenteert op een conferentie. Het bevestigd het
beeld dat hij niet aan het handje loopt van anti-virus bedrijven en
daadwerkelijk onafhankelijk is.
De kritiek staat en is grotendeels gefundeerd, op mijn kritiek na.
Natuurlijk zullen enkele anti-virus ontwikkelaars in dienst bij anti-virus
bedrijven protesteren, het grijpt namelijk direct in op productbeoordelingen
die door de censuur een overmatig positief beeld gaven.
Die mag U uitleggen. Als U bedoelt dat (onder andere) ik tegen de kritiek
zullen protesteren omdat de produkten dan slechter uit de bus zouden
komen, dan slaat U geheel de plank mis. Ik streef zelf al jaren naar een
meer omvattende WildList die meer de werkelijkheid weergeeft. Toe nde
1e WildList werd gereleased, was deze redelijk adequaat. Maar toen was
een update per kwartaal vaak nog genoeg.
Zo wilde de Wildlist lange tijd geen trojans op de lijst zetten om allerlei
politiek gekunstelde redenen.
De trojan lijst komt eraan, maar dan nog zal er worden 'gekunsteld'. Het is
makkelijk om als buitenstaander daar een oordeel op te vellen, maar U
verkeert dan ook niet ide positie dat U wordt aangeklaagd door bedrijven
van welke de software als trojan wordt geclasificeerd. Er zijn een reeks
jurisische uitspraken waardoor verschillende anti-virus bedrijven oa Back
Orifice 2000 niet meer detecteren (of niet meer in de standaard installtie)
omdat deze - met succes - zijn aagkeklaagd door de fabrikant omdat het
om commerciele produkten gaat (de aard doet er dan niet toe). Er is zelfs
malafide software voor het Symbian OS dat digitaal gesigneerd (nodig voor
Symbian 9) is omdat de software doet wat de specificatie zegt (ook al is
het een trojan). Wanneer deze trojans op de WildList komen te staan, dan
creeert de WildList weer een probleem voor de anti-virus bedrijven en de
gebruikers van deze.
Het is een publiek geheim dat de Wildlist
slecht is in het ontvangen en verwerken van rapportages en dat de overige
communicatie ook zeer slecht verloopt (geen antwoord). Dat dit
demotiverend werkt voor de rapporteurs is niet meer dan logisch.
inmiddels bij is. Het is zeker zo geweest dan een ondercapaciteit heeft
geleid tot veel (communicative) problemen. Gelet op het feit dat de WildList
niets oplevert is het moeilijk om de toenemende stroom van malicious
code bij te benen (het is zelfs al moeilijk genoeg voor de anti-virus
bedrijven met veel meer capaciteit). Sinds ICSALabs het aantal personen
heeft verdrievoudigd (en zij betalen dat uit eigen zak), is de achterstand
ingelopen.
Hopelijk wordt het snel beter in de toekomst en wordt de problematiek die
Andreas Marx heeft aangekaart punt voor punt beoordeeld en opgelost.
Dat hoop ik ook. Niet op alle punten wellicht omdat Andreas ook wat foute
aannames heeft gemaakt, maar de tijd al het leren wat de verbeteringen
gaan opleveren.
Righard Zwienenberg
Chief Research Officer
Norman
02-10-2007, 11:16 door
spatieman
norman ??
Het vroegere shark ??
tering, dat was vroeger nog eens een goede virus scanner.
heb ik ook altijd graag voor betaald, maar toen het norman
geworden is, waren in een klap mijn licenties (die ik toen
pas gekocht had) niet meer geldig, en kon ik voor 400 gulden
weer nieuwe kopen..
tja,..
toen waren virusen nog om te vinden met shark..
Het vroegere shark ??
tering, dat was vroeger nog eens een goede virus scanner.
heb ik ook altijd graag voor betaald, maar toen het norman
geworden is, waren in een klap mijn licenties (die ik toen
pas gekocht had) niet meer geldig, en kon ik voor 400 gulden
weer nieuwe kopen..
tja,..
toen waren virusen nog om te vinden met shark..
From Virus Bulletin
After morning coffee, Andreas Marx and Frank Dessmann took
to the stage in the corporate stream. Such was the interest
(and controversy) surrounding their presentation that there
was standing room only at the back of the conference hall.
Their talk focused on what they (and others) perceive to be
the current problems with the WildList, and on what can be
done to turn it back into a useful metric. Andreas condemned
the current WildList for having too few active reporters of
new samples (meaning that the number of malicious programs
on the list is several orders of magnitude lower than the
actual number of malicious programs circulating), for the
fact that copies of the list are issued only monthly, and
for the fact that the list reports only self-replicating
malware – which represents the minority of the threats seen
by vendors every day.
However, the room was not without a number of vehement
supporters of the WildList, who argued that the current
system of requiring each sample to be verified by skilled
reporters ensures that the quality of samples is very high,
and that the automated systems and processes proposed by
Marx and Dessmann to improve the WildList could actually
have the converse effect, making it difficult to verify
whether all samples are actually malicious. The session
concluded with a fairly heated debate, but thankfully no
weapons were drawn.
After morning coffee, Andreas Marx and Frank Dessmann took
to the stage in the corporate stream. Such was the interest
(and controversy) surrounding their presentation that there
was standing room only at the back of the conference hall.
Their talk focused on what they (and others) perceive to be
the current problems with the WildList, and on what can be
done to turn it back into a useful metric. Andreas condemned
the current WildList for having too few active reporters of
new samples (meaning that the number of malicious programs
on the list is several orders of magnitude lower than the
actual number of malicious programs circulating), for the
fact that copies of the list are issued only monthly, and
for the fact that the list reports only self-replicating
malware – which represents the minority of the threats seen
by vendors every day.
However, the room was not without a number of vehement
supporters of the WildList, who argued that the current
system of requiring each sample to be verified by skilled
reporters ensures that the quality of samples is very high,
and that the automated systems and processes proposed by
Marx and Dessmann to improve the WildList could actually
have the converse effect, making it difficult to verify
whether all samples are actually malicious. The session
concluded with a fairly heated debate, but thankfully no
weapons were drawn.
Door Anoniem
However, the room was not without a number of vehement
supporters of the WildList, who argued that the current
system of requiring each sample to be verified by skilled
reporters ensures that the quality of samples is very high,
and that the automated systems and processes proposed by
Marx and Dessmann to improve the WildList could actually
have the converse effect, making it difficult to verify
whether all samples are actually malicious. The session
concluded with a fairly heated debate, but thankfully no
weapons were drawn.
However, the room was not without a number of vehement
supporters of the WildList, who argued that the current
system of requiring each sample to be verified by skilled
reporters ensures that the quality of samples is very high,
and that the automated systems and processes proposed by
Marx and Dessmann to improve the WildList could actually
have the converse effect, making it difficult to verify
whether all samples are actually malicious. The session
concluded with a fairly heated debate, but thankfully no
weapons were drawn.
Andreas Marx did not condemn the WildList per se, he wants
improvements and these are long overdue.
Members of the WildList can get samples and verify them personally. If
they find a sample that is not malicious, the samples can be removed.
Sample quality can only be a minor consideration because the importance
of having a list of trojans found in the wild is far greater than such
academic problems.
Door Anoniem
Helaas wijst de praktijk hier wat anders uit. Marx en zijn
organisatie voeren door Antivirus companies stevig betaalde
tests uit: "U vraagt, wij draaien". Onafhankelijk? Bepaald niet.
Helaas wijst de praktijk hier wat anders uit. Marx en zijn
organisatie voeren door Antivirus companies stevig betaalde
tests uit: "U vraagt, wij draaien". Onafhankelijk? Bepaald niet.
av-test.org is tegenwoordig een commercieel bedrijf dat tests uitvoert maar
dat is bepaald niet stevig betaald. Daarvoor moet je bij de Amerikaanse
testers zijn.
Als av-test.org niet onafhankelijk zou zijn, zou Andreas Marx niets hebben
gezegd over deze Widlist problemen. Hij deed het wel en dat is omdat hij
zichzelf niet afhankelijk acht. Het getuigt van durf en het is een sterk bewijs
dat hij niet afhankelijk is.
05-10-2007, 23:19 door
Righard J. Zwienenberg
Ook van Virus Bulletin:
Righard ziet een preview van de presentatie:
http://www.virusbtn.com/conference/vb2007/photos.xml?dis=VB2007_AM_103
Righard's reaktie (en van anderen, want het is niet mijn voet :-) :
http://www.virusbtn.com/conference/vb2007/photos.xml?dis=VB2007_AM_104
Righard Zwienenberg
Chief Research Officer
Norman
Righard ziet een preview van de presentatie:
http://www.virusbtn.com/conference/vb2007/photos.xml?dis=VB2007_AM_103
Righard's reaktie (en van anderen, want het is niet mijn voet :-) :
http://www.virusbtn.com/conference/vb2007/photos.xml?dis=VB2007_AM_104
Righard Zwienenberg
Chief Research Officer
Norman
Zwienenberg,
"probleem"? Boter bij de vis graag - of weerhoudt u van dit
soort uitspraken.
Leuk en aardig, die presentaties. Da's voor het grote
publiek. U, ik en velen met mij weten hoe het daadwerkelijk
in elkaar steekt - achter de schermen. En dat lijkt in de
verste verte niet op de "officieele presentaties".
Andreas Clementi is weer een 'heel ander'
probleem.
probleem.
"probleem"? Boter bij de vis graag - of weerhoudt u van dit
soort uitspraken.
Leuk en aardig, die presentaties. Da's voor het grote
publiek. U, ik en velen met mij weten hoe het daadwerkelijk
in elkaar steekt - achter de schermen. En dat lijkt in de
verste verte niet op de "officieele presentaties".
08-10-2007, 00:32 door
Righard J. Zwienenberg
Door Anoniem
Zwienenberg,
"probleem"? Boter bij de vis graag - of weerhoudt u van dit
soort uitspraken.
Zwienenberg,
Andreas Clementi is weer een 'heel ander'
probleem.
probleem.
"probleem"? Boter bij de vis graag - of weerhoudt u van dit
soort uitspraken.
Hele stoere taal voor een 'anoniem'... Graag even melden wie U bent dan
weet ik met wie ik het genoegen heb, of weerhoudt U van dit soort reakties...
Ik heb eerder dit jaar ergens op dit forum al eens gereageerd op de testen
van Andreas Clementi (en de kwaliteit daarvan), dus ik zal zeggen: zoek het
op. Bovendien was Clementi geen onderdeel van het originele bericht, dus niet relevant voor deze thread, vandaar dat ik er verder niet op in zal gaan.
Typisch trouwens dat U niet door heeft dat het grootste gedeelte van de
foto's op de site van Virus Bulletin over de VB Conferentie gewoon grappig
bedoeld zijn... Ondanks een verschil van mening/inzicht met Andreas Marx, waardeer ik hem nog steeds, en dat is werderzijds. Anders komen dit soort in scene gezette foto's echt niet tot stand.
Righard Zwienenberg
Chief Research Officer
Norman
Reageren
Deze posting is gelocked. Reageren is niet meer mogelijk.
Cybersecurity Trainer / Streamer
Toe aan een nieuwe nieuwe job waarmee je het verschil maakt? In de Certified Secure trainingen laat je deelnemers zien hoe actuele kwetsbaarheden structureel verholpen worden. Ook werk je actief mee aan de ontwikkeling van onze gamified security challenges. Bij het maken van challenges kom je telkens nieuwe technieken tegen, van Flutter tot GraphQL, van Elastic Search tot Kubernetes.
Junior DevOps Engineer
Certified Secure is op zoek naar een Junior DevOps Engineer. Deze functie is een stuk interessanter dan de term doet vermoeden! Om jou als potentiële nieuwe collega meteen te laten zien wat we doen hebben we speciaal voor jou een selectie gemaakt van een aantal leuke security challenges. Are you ready for a challenge?