Maakt digitale postzegel einde aan spam?
Dagelijks worden meer dan 90.000.000.000 (90 miljard) spamberichten verstuurd. Omdat spammers ook lukraak e-mailadressen verzinnen wordt het overgrote deel verstuurd naar niet bestaande adressen. Een grote en onnodige belasting van de computers van thuisgebruikers en bedrijven. Het bestrijden van spam is dus belangrijk. Niet alleen door de overbelasting van computers en netwerken, maar ook door de irritatie die het oproept bij gebruikers, en de tijd die men kwijt is bij het (handmatig) behandelen van spam.
Waarom verstuurd men spam als iedereen zich hieraan ergert? Spammers claimen dat wanneer 0,001% tot 0,01% van de verstuurde spam een response oplevert, ze de kosten er uit hebben. Uit onderzoek blijkt dat 5% van de ontvangers daadwerkelijk een aankoop doet bij de spammer. Spamfilters moeten dus 5.000x tot 50.000x beter worden dan dat ze nu al zijn, om spammen financieel niet meer aantrekkelijk te maken.
Spammers vs Spamfilters
Momenteel is 90% van alle mailboxen in de wereld voorzien van een spamfilter - hetzij door de internet provider (ISP) of door gebruikers zelf geplaatst. Een redelijk goed spamfilter houdt 90% van de spam tegen. Dit betekent dat effectief 80% van de spam wordt tegenhouden en 20% de inbox bereikt. Spammers hoeven dus 5x beter hun best doen om de inbox van alle mailboxen in de wereld te bereiken.
Stel dat de spamfilters op deze mailboxen verbeteren, en dat ze 99% van alle spam tegenhouden. Dan wordt effectief bijna 90% van de spam geblokkeerd.
Dit betekent dat spammers 2x beter moeten worden (dan ze nu al zijn) om deze spamfilters te verslaan.
Stel dat alle mailboxen in de wereld (100%) worden voorzien van spamfilters. Dan wordt effectief 96% van de spam tegengehouden. Dan moeten spammers 5x beter worden dan ze nu al zijn.
Stel dat alle mailboxen in de wereld worden voorzien van de beste spamfilters, dat dus 99% van alle spamberichten wordt geblokeerd. Dan moeten spammers 20x beter worden dan ze nu al zijn.
Hoe verhogen spammers hun volume?
De vraag is dus: hoe lastig is het voor spammers om 5 tot 20x het volume te versturen van wat ze nu versturen? Overigens, de ontwikkeling van technologie werkt in het voordeel van de spammer. We geven hier drie voorbeelden:
De conclusie is duidelijk: spammers hoeven dus slechts geduld te hebben:
Met andere woorden: spam gaat voorlopig niet weg!
Bayesian Poisoning
Bayesian-filtering is een statistische analyse van e-mailbericht waarbij de mogelijkheid bestaat het filter te leren wat wel en géén spam is. Een Bayesian filter kan leren te kijken naar woorden in de tekst en het onderwerp, de headers, maar ook zaken zoals HTML code, combinaties van woorden en zinnen en meta informatie (waar een bepaalde zin bijvoorbeeld voorkomt). Een woord als Viagra komt bijvoorbeeld veel voor in spamberichten, maar niet in legitieme (ham) e-mail. Het filter weet dit niet van tevoren, maar kan dit wel leren. De volgende keer dat een bericht met het woord Viagra verschijnt weet het filter dit en zal het als spam bestempelen.
Spammers voegen tegenwoordig grote hoeveelheden legitieme tekst (bijvoorbeeld passages uit boeken) toe aan hun berichten:
Dit doen ze om de Bayesian spamfilters om de tuin te leiden. Immers, als het filter genoeg legitieme woorden herkent zal het bericht niet meer als spam herkend en dus doorgelaten worden.
Omdat het bericht hierdoor de inbox bereikt zal de gebruiker het bericht willen leren (bestempelen als spam), om te zorgen dat volgende spamberichten niet meer binnenkomen. Bijna alle spamfilters hebben hiervoor een knop.
Omdat het Bayesian leerproces het gehele bericht leert worden ook de legitieme woorden en zinnen bestempeld als spam. Dit verhoogt de kans dat legitieme berichten als spam worden bestempeld en dus zogenaamde false positives in de hand werkt. Om het aantal false positives terug te dringen zet de gebruiker zijn filter dan maar minder strikt. Hierdoor heeft de spammer weer meer kans gekregen om door te dringen tot de inbox van de gebruiker. Een vicieuze cirkel.
Probing
Momenteel worden veel spamberichten verstuurd waar eigenlijk niets in wordt aangeboden. Dit zijn zogenaamde probes. Deze worden gebruikt om te kijken of het bericht überhaupt aankomt. De spammer weet dan dat het adres bestaat (er komt geen undelivered bericht terug).
Verder bestaat het vermoeden dat deze probes worden gebruikt om te achterhalen of het bericht wordt toegevoegd aan collaboratieve spamfilters. Dit zijn filters met een centraal gedeelde database waarbij mensen over de hele wereld gezamenlijk berichten bestempelen als spam, om elkaar te helpen spam terug te dringen. Cloudmark en SPAMfighter bezitten een dergelijke functie.
Natuurlijk hebben spammers zelf ook (deze) spamfilters. Dus als een paar dagen na het versturen van het spambericht deze ineens niet meer door de eigen spamfilter komt (de ontvanger heeft het bericht bestempeld als spam), dan weet de spammer dat de geadresseerde bestaat. De spammer kan deze gebruiken in zijn volgende echte spam-run. Mocht de ontvanger alleen (of tevens) een Bayesian spamfilter gebruiken, dan heeft de spammer ook bereikt dat deze database verder vervuild is geraakt. Dit soort spam is zeer moeilijk te stoppen omdat er zeer weinig aanknopingspunten zijn. Vaak bestaat de e-mail uit slechts één zin of slechts enkele woorden.
Hashcash
Om legitieme e-mail van spam te onderscheiden moet elk bericht onderworpen worden aan het spamfilter. Met Hashcash is het mogelijk om sneller en eenvoudiger legitieme e-mail te herkennen.
Het principe van het vrij beschikbare Hashcash berust op het feit dat de afzender een investering in rekentijd moet doen die door de ontvanger eenvoudig gecontroleerd kan worden. Bij het versturen van elk e-mailbericht, moet de verzender een rekensommetje maken dat enige tijd kost.
Een spammer wil deze berekening niet doen omdat deze dan niet genoeg berichten kan versturen om de gewenste effectiviteit te behalen. Je pakt de spammer aan op zijn inkomsten van de spam (minder gespamd = minder inkomsten).
Werking
Met Hashcash wordt een extra header door de versturende partij aan het e-mailbericht toegevoegd. De zogenaamde postzegel. Bijvoorbeeld:
X-Hashcash: 1:22:070507:mark@surfright.nl::8BD6F813DBAC51A4:001B954EAls de ontvanger de SHA-1 hash (160 bits) waarde hierover berekent dan zijn de eerste 22 bits 0. De ontvanger weet hierdoor dat de verzender tijd heeft besteed om de Hashcash te berekenen.
In het maken van een Hashcash-header gaat de tijd zitten. Men stelt het begin van de Hashcash waarde samen (oranje gedeelte) door:
Vervolgens volgt een waarde (blauwe gedeelte) die telkens opgehoogd wordt totdat de SHA 1 hash over de hele gehele waarde begint met 22 0-bits.
Het berekenen van een 22-bits Hashcash duurt op een 2GHz machine zo’n 1 a 2 seconden (gemiddeld 222 / 2 iteraties). De tijd die nodig is om een dergelijke Hash collision te berekenen verloopt dus exponentieel met het aantal 0-bits.
Mochten spammers besluiten Hashcash postzegels gaan gebruiken zullen de computers die onderdeel zijn van een botnet (zombie-pc's) nog eens extra opvallen door hun continu hoge processorbelasting.
Normaal moeten fabrikanten van e-mailprogramma's en spamfilters de ondersteuning voor een postzegel als Hashcash implementeren. Deze fabrikanten maken echter onderling geen afspraken, of verzinnen zelf een eigen variant, terwijl grote spamfilters al wel de open-sourcestandaard Hashcash gebruiken. Veel providers gebruiken het filter SpamAssassin, welke sinds 2004 al overweg kan met Hashcash.
Microsoft Office Outlook 2007 en Microsoft Exchange 2007 hanteren een eigen poststempel genaamd E-Mail Postmark, die niet publiekelijk beschikbaar is. Hierdoor moet zowel de versturende als ontvangende partij over een van deze twee producten beschikken.
Door Erik Loman en Mark Loman van SurfRight.
100.000 pc's heeft zal het diegene boeien dat die machines iets langer
moeten doen over het versturen van een mail met een "hashcash
gegenereerde postzegel". De computers die nu al deel uitmaken van een
botnet, worden al bijna niet opgemerkt, en de mensen die er achter zitten
hebben te weinig clue om door te hebben dat de computer traagt wordt
doordat er ineens digitale postzegels gegenereerd worden.
Die klagen alleen maar dat Windows zo enorm traag is geworden, en
geven de schuld aan Microsoft (want dat doet iedereen toch al en microsoft
is de grote boze windowsleverancier en zij zorgen ervoor dat de computer
na een tijdje trager wordt).
En daarnaast wordt in het artikel al uitgelegd waarom dit nooit zal gaan
werken:
spamfilters de ondersteuning voor een postzegel als Hashcash
implementeren. Deze fabrikanten maken echter onderling geen afspraken,
of verzinnen zelf een eigen variant,
e-mail te herkennen.
Dit werkt eigenlijk al een soort witte lijst. Gebruikers met dezelfde paketten
(technologie) laten elkaars email makkelijker door.
Verder is de kans op false positives een stuk kleiner door dergelijke
postzegels toe te voegen.
Van de digitale postzegels is Hashcash de enige die vrij beschikbaar is en
op meerdere platformen werkt.
Zolang er mensen zijn die bij de spammers iets kopen (!) zullen
spammers gemotiveerd blijven om zoveel mogelijk inboxen te breiken.
Wel wordt het ze een stuk lastiger gemaakt door een spamfilter te
installeren. En dan maak ik uit de tekst op dat het er niet toe doet dat je de
beste spamfilter gebruikt. Je bereikt meer door zoveel mogelijk mailboxen
te voorzien van een spamfilter.
digitale postzegel hebt geen zin, email belasting ook niet,
want als je moet betalen voor ieder emailtje wat je
binnenkrijgt, wordt de lul die het verzonnen heeft zelf
zwaar de lul, die kan zijn baan op gaan zeggen :)
paranoide lokale spamfilters zijn het beste.
en meerdere mailboxen gebruiken, heeft geen zin, want dan
moet je voor iedere mailbox weer specifieke mailfilter moet
gebruiken.
in mailwasher, heb ik de spammende landen kompleet op /8
subnet geblokeerd.
ben van 900 email (a 700 spam, waarvan 650 op email accounts
die ik wel heb, maar nooit gebruikte) terug gegaan naar 200
emails, a 50 spam berichten.
oh, de meest spammende landen..
polen.
rusland.
america
brazilie
china
japan
hongarije
italie
spanje
frankrijk.
sow..
Feit is (en dat staat ook aan het begin):
Zolang er mensen zijn die bij de spammers iets kopen (!)
zullen
spammers gemotiveerd blijven om zoveel mogelijk inboxen te
breiken.
Wel wordt het ze een stuk lastiger gemaakt door een
spamfilter te
installeren. En dan maak ik uit de tekst op dat het er niet
toe doet dat je de
beste spamfilter gebruikt. Je bereikt meer door zoveel
mogelijk mailboxen
te voorzien van een spamfilter.
Helemaal mee eens. Als mensen kopen blijft de reclame komen.
Kijk maar eens naar je normale brievenbus. Stapels folders
komen er binnen.
Er is GEEN technische oplossing mogelijk om SPAM uit te bannen.
_verzonden_ bericht? Iedere (privé)gebruiker heeft een
account van zeg 10 euro, en kan 10000 berichten versturen.
Maandelijks wordt zijn account weer op 10 euro gezet. Een
gehackte computer is in no time door dat account heen, en
kan geen e-mail meer versturen. Dan gaat zijn eigenaar wel
klagen.
En dat moet dan voor alle ISPs verplicht worden (ofwel: elke
ISP die niet meedoet komt op de zwarte lijst).
sturen naar de mailserver van hun eigen provider. Korte metten !!
ISP's moeten poort 25 blokkeren. Gebruikers zouden alleen mail mogen
sturen naar de mailserver van hun eigen provider. Korte metten !!
Een fatsoenlijke ISP met een goede abuse afdeling heeft niet veel problemen met botnets en zombies.
Als je als provider vind dat het blokkeren van poort 25 de oplossing is, dan ben je ook niet helemaal wijs. Je ontneemt je klanten hiermee een stukje internet, niet alleen de persoon met een eigen mailserver, maar bijvoorbeeld ook de hobbyist die een domein heeft geregistreerd bij hosting provider X en van deze hosting provider ook hun mailserver mag gebruiken.
Op deze manier los je ook het zombie probleem niet op, je verschuift het probleem alleen maar. Steek liever tijd en geld in een fatsoenlijke abuse afdeling die de meldingen die binnen komen begrijpt en hier gepaste actie op neemt.
Op die manier voedt je je klanten op, houdt je je netwerk schoon en voorkom je dus zombie netwerken.
Blokkeren van poorten is voor luie, domme en goedkope ISP's. (en ja, dit is subtiel uitgedrukt).
ISP's moeten poort 25 blokkeren. Gebruikers zouden alleen mail mogen
sturen naar de mailserver van hun eigen provider. Korte metten !!
Kijk dat zijn opmerkingen daar hebben we iets aan! Dit lost niet alles op,
maar wel een heel groot deel! Een aantal ISP's in NL doen dit al op deze
manier zoals: planet en orange, en mogelijk nog wel meer die ik dan niet
weet. Met alleen poort 25 blocken ben je er niet. Je zult als ISP het verkeer
op poort 25 van je klanten moeten meten: hoeveel berichten worden er
verstuurd in welk tijdsbestek. En wanneer een bepaalde 'trigger' wordt
bereikt zal ook de mailserver voor deze klant tijdelijk niet meer toegankelijk
zijn. De klant moet dan eerst zijn pc ontdoen van malware en andere
rommel die deze SPAM verstuurd. Is de klant in kwestie een 'bewuste'
spammer, dan zal deze een andere ISP moeten gaan zoeken.
Dit is een arbeidsintensief klusje voor de ISP, maar wel een van de
middelen om SPAM in te perken. Wanneer daarnaasy alle ISP's *gratis*
een grey-listing systeem zouden invoeren ben je vervolgens nog meer
rommel kwijt, maar helaas zien veel marketingafdelingen van ISP's hier
weer brood in en willen dan zo'n grey-listing systeem verkopen aan de
klant. In mijn beleving is dit een service naar de klant toe en een goeie
verbetering in de 'internetervaring' van de klant. Biedt het kosteloos aan en
je hebt tevreden klanten!
Daarnaast zijn er nog tal van truckjes die je kunt toepassen in de
configuratie van de mailserver. Maar of SPAM ooit helemaal uitgebannen
zal worden? Ik hoop het...
Martin
Op deze manier los je ook het zombie probleem niet op, je verschuift het
probleem alleen maar. Steek liever tijd en geld in een fatsoenlijke abuse
afdeling die de meldingen die binnen komen begrijpt en hier gepaste actie
op neemt.
Op die manier voedt je je klanten op, houdt je je netwerk schoon en
voorkom je dus zombie netwerken.
Blokkeren van poorten is voor luie, domme en goedkope ISP's. (en ja, dit is
subtiel uitgedrukt).
Naar mijn idee een erg kortzichtige reactie van volgens mij een techneut.
Begrijp mij goed ik hebt niets tegen techneuten, in tegendeel ik ben er zelf
ook een ;)
Je lijkt te vergeten dat het gros van de gebruikers op internet, met alle
respect, eenvoudige en niets vermoedende gebruikers zijn die niet eens
willen weten hoe een mailserver werkt of wat dan ook. Die willen gewoon
hun paginatjes bekijken, mail lezen en lekker kunnen MSN-en.
Een klant kun je niet 'opvoeden' tenzij je een 'bewijs van internetgebruik'
zou gaan invoeren. Dat is er niet, en dat gaat ook nooit gebeuren. Wat is er
dan mis om de als ISP kleine beperkingen op te leggen waar de doorsnee
klant geen enkele last van heeft? Immers de klant gebruikt gewoon de
uitgaande mailserver van de ISP. En wanneer je normaal gebruik maakt
van deze mailserver is er niks aan de hand.
Slechts een handje vol mensen maakt gebruik van een eigen mailserver.
Het gros weet niet eens hoe ze zo'n mailserver goed moeten configureren,
met alle spam gevolgen van dien. Het kleine technische deel van de
mensen die wél weten hoe ze een mailserver moeten configureren, die
weten ook precies hoe ze de mail via hun eigen ISP-mailserver kunnen
laten lopen.
Ergo: ik zie hier geen enkel probleem!
Dan blijft nog steeds het probleem bestaan van de onwetende klanten die
bv met een zombie pc zitten. Dat is een probleem wat je niet oplost. Het
enige wat je kunt doen als ISP is goede voorlichting. Meestal komt het aan
op investeringen van de klant voor bv een virusscanner/firewall achtige
oplossingen. Aangezien gratis programma's niet bestaan (There ain't no
such thing as a free lunch) moet de knip open. En dat is precies waar de
schoen wringt. De meeste klanten willen hier het liefste geen euro in
investeren. Hiermee zijn we weer terug bij af.
De klant kun je niet opvoeden, hooguit informeren!
Martin
Zo kortzichtig is het niet. Een goede abuse afdeling is namelijk zelf ook pro-
actief bezig, en heeft contacten met netwerk en systeembeheer. Als die
vreemde dingen in logs tegen komen (ineens gigantisch veel specifieke
data van enkele IP adressen of een toename van 50% in een bepaald
subnet vallen er dingen op), de drie afdelingen kunnen samen er achter
komen wa er mis gaat.
Abuse is niet alleen reageren op klachten, maar ook in de gaten houden
wat er op je netwerk gebeurd.
Toegegeven, opvoeden is een moeilijke taak, informeren is inderdaad
meer haalbaar.
En als jij geen probleem ziet voor mensen die een eigen mailserver
gebruiken, gebruiken deze wellicht om een goede reden (bijvoorbeeld
omdat de mailserver van de provider niet betrouwbaar is). En je hebt
gewoon het recht om je internet verbinding te gebruiken zoals jij dat wilt
(binnen de regels van de wet en de voorwaarden van je provider), als daar
niets staat over het gebruk van eigen mailservers (misschien zijn er nog 5
providers in NL die daar moeilijk over doen) hebben ze dit gewoon toe te
staan.
Over gratis virussoftware en firewall, een pro-actieve provider levert een
service aan zijn klanten waarmee een goede firewall/virusscanner te
downloaden en gebruiken is (McAfee/xs4all bijvoorbeeld). Daarnaast zijn
er behoorlijk wat goede gratis anti-virus en firewall oplossingen (AntiVir,
Clam AV, AVG, Zone Alarm, Filseclab)
Nogmaals: Blokkeren van poorten op het netwerk van een provider is een
bewijs van onvermogen en een lakse manier van omgaan met de
problemen die je op je netwerk kunt tegenkomen.
Nogmaals: Blokkeren van poorten op het netwerk van een provider is een
bewijs van onvermogen en een lakse manier van omgaan met de
problemen die je op je netwerk kunt tegenkomen.
Dan verschillen wij daarover compleet van mening.
Martin
spammers, en die mensen dan allemaal valse bestellingen te laten doen
bijvoorbeeld door producten te laten sturen naar adressen (straten
waarvan het nummer niet bestaat etc etc, dan gaat ze dit enorm veel
kosten! ik heb laatst weer een partij viagra besteld, en naar een niet
bestaand adres verstuurd, verder heb ik het emailadres, dat ik pas na mijn
bestelling heb gekregen : medsupport@gmail ingevuld op heel veel sites
op internet, zodat ze ook nig eens heel veel tijd kwijt zijn met de mail :)
Groeten, Sjaak
worden sjaak :--)
PC's hebben geen MX record in de DNS server van de ISP.
Blokkeer E-mail van IP adressen welke MX record hebben en je
houdt al veel tegen, kost geen enkele moeite maar je weet
dat alleen post van legitieme relays binnen komt. Als dat
niet genoeg blijkt te zijn, kun je E-mail alleen toelaten
van domeinen waarvan het IP adres toebehoort. Op deze manier
heb ik simpel een klant van 450.000 ontvangen spammailtjes
per dag naar 20 gebracht. En spammers klagen niet dat hun
mailtjes niet aankomen :-)
kijken of het ding geen MX hebt, wordt 70% van de legetieme
zooi tegengehouden.
werkt dus ook niet.
Deze posting is gelocked. Reageren is niet meer mogelijk.
Junior DevOps Engineer
Certified Secure is op zoek naar een Junior DevOps Engineer. Deze functie is een stuk interessanter dan de term doet vermoeden! Om jou als potentiële nieuwe collega meteen te laten zien wat we doen hebben we speciaal voor jou een selectie gemaakt van een aantal leuke security challenges. Are you ready for a challenge?
Cybersecurity Trainer / Streamer
Toe aan een nieuwe nieuwe job waarmee je het verschil maakt? In de Certified Secure trainingen laat je deelnemers zien hoe actuele kwetsbaarheden structureel verholpen worden. Ook werk je actief mee aan de ontwikkeling van onze gamified security challenges. Bij het maken van challenges kom je telkens nieuwe technieken tegen, van Flutter tot GraphQL, van Elastic Search tot Kubernetes.
