Gelukkig is bijna alle ham die ik krijg text/plain, en bijna
alle andere types die ik krijg spam. Als deze soort spam een
vlucht neemt valt dat voor mij in elk geval erg makkelijk te
herkennen.

Ik vraag me af of dit bericht van CipherTrust wel juist is. De spamfilter van mijn
ISP heeft geregeld "plaatjes-spam" onderschept. De filter
kijkt niet alleen naar html-code, maar ook of de header
gespoofd is. De eigen e-mailclient (Outlook
Express) onder Windows XP SP2 heeft een extra filter om dit
soort spam te onderscheppen.

Ciphertrust probeert hun onvermogen te verbloemen door te zeggen dat
iedereen er last van heeft. Dat is dus niet zo, er is wel anti-spam dat
plaatjes spam kan detecteren - zonder false positives.

Het is natuurlijk weer een stap verder en toch een stuk
lastiger omdat je weer extra intelligente in de filter moet
hebben. Wat ook minder is, is dat het meer bandbreedte kost.

Ik heb verder weinig problemen met spam, krijg ook 5
berichten per dag, sinds kort ook op ons schoolaccount
dankzij een of andere klojo die alle leerlingen van de 3
vestigingen mooi via het Aan veld een mailtje stuurt. Stopte
ie er ook nog een 700 kB wegende PowerPoint bij... 20.000
mails x 700 kB x 900 kB aan emailadressen + naam = 32 GB aan
mail...

Dus de mailserver had weer wat te doen. En er hoeft maar een
andere klojo te zijn die alle 20.000 emailadressen
doorverkoopt aan spammers of wat dan ook...

Mailscanner.info......en de rest van de filters! Ik krijg nooit SPAM 1 op de
10000 misschien dat is bij mij nooit!

Anoniem op zaterdag 10 juni 2006 15:21:
> Dat is dus niet zo, er is wel anti-spam dat plaatjes
> spam kan detecteren - zonder false positives.

Als je bedoelt "of er een plaatje in de email zit": ja, dat
kan simpel en snel, en heel betrouwbaar. Maar ik zou niet
alle mail met een plaatje er in die ik ontvang als spam
willen bestempelen (evt. wel die van afzenders die ik niet
ken, maar dat weten bedrijven als CipherTrust en ISP's weer
niet, dus daar zul je zelf op moeten filteren).

Als je bedoelt dat spamscanners plaatjes op inhoud checken:
no way. Kost veel te veel performance en zal veel te veel
false positives opleveren (denk maar eens aan de problemen
die OCR software heeft met slechte scans en "lastige"
lettertypes). Je kunt in een plaatje bijna eindeloos
varieeren met kleuren en patronen. Als jij een product kent
dat dit toch goed zou kunnen is dat nieuws voor mij
en hoor ik graag welk product dat is.

De beste remedie tegen dit soort spam is, na het uit de
lucht halen van zombie PC's (wat nauwelijks gebeurt), het
gebruik van blacklists zoals XBL en Spamcop.

Het nadeel van het gebruik van blacklists is dat het even
duurt voordat een zombie PC daarop is aangemeld, en er is
een kleine kans dat legitieme mailservers onterecht op zo'n
lijst worden gezet. Het voordeel in dat laatste geval is dat
de afzender weet dat zijn mail niet gelezen zal worden
indien de ontvangende mailserver dergelijke mails "aan de
poort" weigert, waarop de afzender zijn server bij genoemde
blacklists kan afmelden.

Helaas zijn veel IT managers kortzichtig en vinden dit type
false positives (MTA onterecht op blacklist) een groter
probleem dan false positives t.g.v. content scanners,
waarbij de email doorgaans in de spam-map van de ontvanger
belandt en daardoor te laat of nooit gelezen wordt. Mede
doordat dit slecht meetbaar is zien dergelijke IT-ers
dat niet als "hun probleem".

Het gevolg van content scanners is echter dat de
betrouwbaarheid van e-mail, die ooit zeer goed was, flink is
afgenomen. Wat mij betreft houden we op met nog meer tijd en
geld verspillen aan symptoombestrijding (die sowieso niet
voor iedereen werkt of acceptabel is) en gaan we het
probleem "spam" eindelijk eens zo dicht mogelijk bij de bron
aanpakken.

Hoe kun je spam mails dan het beste traceren tot de bron?

Erik, ik bedoel "plaatjes spam" met "plaatjes spam". D.w.z. spam met
plaatjes, spam waarin plaatjes zitten, ik bedoel maar: le spam avec les
images.

Ik bedoel niet het detecteren van plaatjes in e-mail. Dat kan uiteraard niet
zonder fp's.

Ik heb ook niet gezegd dat de inhoud van de plaatjes gecheckt wordt. Al is
dat wel goed mogelijk en het kost niet teveel processortijd. Dat is een
sprookje. Je gaat er vanuit dat het OCR moet zijn. Dat kan worden gebruikt,
maar je mag er niet van uitgaan dat dat zo is. Er hoeft ook niets nieuws
voor uitgevonden te worden, de technologie is al lang bekend, ook onder
security specialisten. Dit is werk voor de engine ontwerper.

Ik ben het volledig met je eens dat IT managers te hard gillen wanneer er
een enkel spamberichtje op hun laptop verschijnt. Ze beseffen inderdaad
niet dat spamvrij niet bestaat en dat het "duizend maal" belangrijker is
false positives te vermijden. Vandaar de toevoeging "- zonder false
positives".

Mijn stelling is: een anti-spam bedrijf is onbekwaam als ze plaatjes spam
niet kunnen detecteren zonder false positives. Zeker als ze daarover
beginnen te piepen naar de pers. Dan denk ik dat ze last kregen van
klagende gebruikers en dat ze hen proberen te misleiden door te claimen
dat het een algemeen probleem is. Het is waar dat de detectiegraad van
een aantal grote merken achteruit is gegaan, maar het is niet waar dat
plaatjes spam detecteren niet kan of dat het heel moeilijk is.

De anti-spam die ik gebruik heeft een intrinsieke false positive rate van ca
1 op 10.000 en een detectieniveau tot >99% (YMMV). De fp rate is vele
malen lager dan het verlies van mails wegens andere oorzaken, zoals
mail server storingen, foute adressen, name server problemen, netwerk
storingen, etc.

Het zijn vaak de Bayesiaanse content scanners hebben moeite met
plaatjes spam. Je bent kennelijk een gebruiker van dit soort anti-spam.
Bayes is al verbeterd door header informatie mee te nemen. Die komt
immers vaak uit een woordenlijst.
Maar Bayes is gewoon statistiek, er zitten per definitie fouten in. Een 99%
Bayes score wil zeggen dat gemiddeld 1 op de 100 een false positive is.
Bayes is een "dom" systeem met te weinig associativiteit. Een
scoringssysteem kan wel de fp rate positief beïnvloeden maar het blijft
een "domme" oplossing. Met dom bedoel ik dat er weinig intelligentie in
schuilt, niet dat de makers ervan dom zijn.

Ik denk dat het een onmogelijke opgave is zombies uit te roeien. Ze
moeten zeker worden opgeruimd, maar het is geen haalbare oplossing.

False positives vormen geen grote ramp bij malware bestrijding. In
tegenstelling to spam is malware dermate schadelijk dat het al snel
verstandiger is te blokkeren i.p.v door te laten.

E-mail is en blijft een onveilig systeem. Het is één van de grootste gaten in
vrijwel elke organisatie. Er bestaat geen enkele content/malware scanner
die in staat is alle dreigingen tegen te houden, al blokkeer je alle
executables. Maar je kunt wel het nodige doen om het risico te verkleinen
tot een aanvaardbaar niveau.

Ik zie liever 5 spam mails erdoor komen dan 5 niet-spam
mails te blokkeren. Roepen dat uw spam filters heel goed
zijn omdat je geen spam aankrijgt, is een beetje gevaarlijk..

Een tijdje konden ze die plaatjesspam gemakkelijk stoppen
door gewoon op binaire patronen te matchen, maar spammers
beseften dat ze de data sterk konden veranderen zonder dat
dit echt zichtbaar was voor de gebruiker. En dat maakte die
filters natuurlijk waardeloos.
De nieuwste versies van de antispam engines kunnen hier
ondertussen al wel wat beter mee om, maar waterdicht is het
natuurlijk nooit. Spam afblokken voordat het moet worden
gescanned is natuurlijk altijd beter, en het vraagt ook
minder resources.
Het probleem met blacklists is dan weer dat ze heel slecht
onderhouden worden. Veel mail admins kennen het fenomeen,
een paar keer naar een spam trap bouncen, een concurrent die
wat spam reports namaakt en hopla, ge staat op een paar
lijsten. En daarop geraken is veel eenvoudiger dan er vanaf
geraken ;)

Och ja, het blijft een kat en muis spelletje.

In het begin werden simpele checksums gebruikt om de plaatjes te
matchen, daarna kwamen de file signatures (soms ook checksums, maar
dan partieel) en wat het nu is ga ik niet aan de grote klok hangen -
spammers lezen mee.

De trucs die spammers proberen zijn oblique aanzichten, hard copy
scans, oprekking, pixel vervuiling. In het algemeen geldt: hoe meer trucs,
hoe makkelijk detectie wordt.

Ik heb zelf een paar jaar geleden meegemaakt dat SpamCop vervalste
headers voor echt aanzag. Ze reageren wel op je klacht daarover, maar
men denkt vervolgens dat hun auto-expiry wel voldoende is. Dat is het dus
niet, je kunt niet even een paar dagen of langer alle e-mail van
tienduizenden gebruikers blokkeren omdat jij een interpretatiefout hebt
gemaakt. Dit soort incidenten tonen aan dat sender IP RBL's van
belachelijk slechte kwaliteit zijn. De beste onder sender IP RBL's is
Spamhaus, maar die is ook niet onfeilbaar.

URL RBL is nauwkeuriger. SURBL bijvoorbeeld heeft lage fp scores,
hoewel OB beter zou moeten kunnen. URIBL detecteert meer en vooral
sneller, maar het heeft een te hoge false positive rate.

Anoniem op zondag 11 juni 2006 12:11
> Hoe kun je spam mails dan het beste
> traceren tot de bron?

Hoewel de laatste tijd in de USA en Europa een aantal
spammers flink zijn aangepakt, is de echte bron, de spammer
"aan de knoppen", vaak moeilijk te pakken; niet zelden omdat
ze vanuit landen opereren waar geen goede wetten zijn op dit
gebied (ik schreef dan ook "zo dicht mogelijk bij de bron").
Wel eenvoudig is het traceren van zombie PC's die veelal
voor het spammen worden misbruikt.

Ik vind het bizar dat we met z'n allen wel betalen (of we
willen of niet) voor de bandbreedte die spam kost (ook
indirect doordat bedrijven zich genoodzaakt zien uit te
wijken naar filterbedrijven zoals CipherTrust, MessageLabs
en Postini), het installeren en steeds updaten van
spamfilters, het opruimen van spam en secondaire problemen
zoals Joe-jobs, maar het zombie probleem gewoonweg negeren.
Zombies die ook voor DDoS attacks worden gebruikt, en
waarbij het ook nog eens in het belang van de eigenaar kan
zijn dat z'n PC wordt afgesloten (d.w.z. voordat z'n
rekening geplunderd is en de serienummers van z'n legale
games aan een internet zwerftocht beginnen).

Zie ook http://www.security.nl/article/13609/
"Negeren zombie PC's is goedkoper voor ISPs" van 26 mei j.l.

Anoniem op zondag 11 juni 2006 13:21:
> Mijn stelling is: een anti-spam bedrijf is onbekwaam
> als ze plaatjes spam niet kunnen detecteren zonder
> false positives.

Wat voor de een spam is, is dat niet voor een ander. Dus 0
false positives haal je sowieso nooit, ook niet bij
tekst-only mails.

> Ik heb ook niet gezegd dat de inhoud van de plaatjes
> gecheckt wordt.

Stel, een vriendje (ook handig met computers) stuurt jou een
plaatje met een uitnodiging voor een feestje via z'n
mailserver thuis (dynamisch IP) waarop een Beertender te
zien is, een ander een vakantiekiekje met daarop de naam van
het hotel, en een derde stuurt een foto van een nep-Rolex,
met daaronder, slecht leesbaar, een URL. Stel dat die
laatste twee verzonden zijn via Hotmail accounts, geen van
de emails bevat begeleidende tekst, en het onderwerp is in
alle gevallen "Check this out!".

Hoe denk jij dan dat een bedrijf als CipherTrust, notabene
zonder in die plaatjes te 'kijken" (wat op MTA's echt veel
te veel performance kost, overtuig me van m'n ongelijk door
een product te noemen dat dit kan), zonder false positives,
spam van legitieme mail zou moeten kunnen onderscheiden?

Ik vermoed dat jij, net als andere gebruikers van dit forum,
nooit op spam ingaat, maar het feit dat spam bestaat
betekent dat het klanten oplevert. Dus misschien heeft
iemand die spammer wel gevraagd "stuur eens een foto van
zo'n ding". Stel dat plaatjes wel geanalyseerd zouden
kunnen worden, is die nep-Rolex dan spam of niet?

Erik, je noemt allerlei oude en achterhaalde technieken. Geen enkele anti-
spam tool zou zo te werk moeten gaan (bv. weigeren op grond van
dynamisch IP of een "check this out" tekst). Het gaat ook niet om de
grafische voorstelling.

Wat betreft het scannen van plaatjes en de performance daarvan: dat kost
niet veel tijd als het door een goed doordachte engine wordt gedaan. Het
is vergelijkbaar met anti-virus.

Een MTA is geen scanner en vice versa. Je huidige MTA is niet
maatgevend voor scan performance. Een scanner moet zowel MTA als
scanner zijn, het is dus altijd veel trager.
Een scanner als Spam Assassin gebruikt veel trage technieken zoals
allerlei lookups op blacklists. De duur van de meeste cpu intensieve
methoden is veel korter. Bayes is trager dan het scannen van een plaatje.

Een snelle scanner is vaak slechter dan een trage scanner. Snelheid is
dus vaak direct te relateren aan grondigheid, maar niet altijd, traagheid kan
ook ontstaan door een slecht ontwerp.

Er zijn "moderne" detectie technieken die e.e.a. mogelijk maken. Ik kan die
technieken wel uitleggen maar het lijkt me niet zinvol voor spambestrijding
om die bekend te maken.

Productnamen zal ik niet noemen, spammers lezen mee. Het is helaas zo
dat ze anti-spam aanschaffen en gebruiken om hun nieuwe spam tegen te
testen.

De meeste grote anti-spam bedrijven gebruiken de nieuwe(re) technieken.
Je kunt bij productselectie een onderscheid maken tussen aanbieders die
SA in een nieuwe verpakking stoppen en aanbieders die een eigen
product hebben ontwikkeld. SA zelf hoef je als groot bedrijf niet te
overwegen, daar is het niet voor geschikt omdat het open source is en het
veel wordt gebruikt door ISP's. Test langdurig in een live omgeving voordat
je koopt. Lees alle reviews over het product die je kan vinden. Producten
kunnen beter of slechter worden naarmate de tijd vordert, lees daarom ook
de oudere reviews.

Wees kritisch t.o.v. de testers en tesmethoden. Sommige testers gaan uit
van een bepaalde veronderstelde werking van een anti-spam (zoals
Bayes) en ze testen met oude spam. Anti-spam moet altijd in een live
omgevingen zonder vertraging worden getest, de spam moet direct van de
bron worden ontvangen. Realiseer je dat sommige spammers de
bestemming hard coden. Als je een MX record wijzigt ben je direct een
groot deel van je spam kwijt, althans voor zolang het duurt. Laat geen
servers draaien die de mail ook kunnen aannemen.

Realiseer je ook dat een product de ene week goed kan scoren en de
volgende week slecht. Het spamaanbod en de origine is sterk wisselend.

Anoniem op maandag 12 juni 2006 12:30:
> Geen enkele anti-spam tool zou zo te werk moeten
> gaan (bv. weigeren op grond van dynamisch IP of
> een "check this out" tekst).

Doen ze meestal wel hoor, d.w.z. door strafpunten toe te kennen. Moet ook wel want het aantal beschikbare criteria om te "ontdekken" of iets spam is of niet, is beperkt. En juist het benutten van zoveel mogelijk criteria helpt om -in de meeste gevallen- je detectionrate te verhogen. Dit is met name van belang als je een gevarieerde clientele hebt (waaronder bijv. medici die niet willen dat een email uitsluitend vanwege het voorkomen van de term viagra als spam wordt beschouwd, of IT-ers die wel reclame over toner cartridges willen ontvangen).

> als het door een goed doordachte engine wordt
> gedaan. Het is vergelijkbaar met anti-virus.

Ah, nu heb je het toch verklapt. Hash-based detection! Jammer dat het niet gaat werken, zeker niet met hoge detection rates (toevoeging om 01:19: wel geef ik je gelijk dat je bij grotere hashes extreem weinig false positives zult hebben). Je loopt echter, net als bij AV met dergelijke pattern-based detectie altijd achter de feiten aan. Zodra een spammer een nieuw plaatje verspreidt zal het enige tijd duren voordat dit door een spamtrap en/of een persoon als spam wordt aangemerkt, waarna de distributie van de hash van dat plaatje nog op gang moet komen (hetzelfde geldt voor real-time blacklists als XBL en Spamcop).

Een groter probleem, dat nu misschien nog niet bestaat maar wel gaat komen zodra meer spamhaters jouw techniek gaan toepassen, is dat spammers randomization zullen toevoegen. Ze varieeren spam-mail tekst al jaren om dergelijke detectie te omzeilen, en ik zie geen enkele reden waarom ze op zombie PC's geen randomness aan plaatjes zouden toevoegen.

> Productnamen zal ik niet noemen, spammers lezen mee.

AntiSpammity by Obscurity? Sorry dat ik je detectiemethode heb onthuld, en laten we vooral blijven denken dat het de spammers zijn die altijd achter de feiten aanlopen...

> SA zelf hoef je als groot bedrijf niet te overwegen,
> daar is het niet voor geschikt omdat het open source is

Sendmail/Postfix/Exim ook maar niet gebruiken dan?