Spamassassin 2.64 in KMail 1.7 --- Non-Spam geht nicht

phantasia-family · 15 Sep. 2004

Hallo an alle im Linuxland,

ich habe immer noch das Problemchen mit den Nicht-Spam-Mails - meine Eintragung in die Whitelist (Link) scheint nicht zu funktionieren --- in Zeile 54 eigener Eintrag, der Rest war schon drin... vielleicht liegt auch da ein Fehler --- aber --ham muss trotzdem funktionieren ?!.
der Befehl für die noch unerkannten Spams ist ja
sa-learn --spam --dir ~/Mail/Spam/cur ...in den Ordner Spam verschiebe ich noch unerkannte Spam-Mails --- da lernt er ja auch wieder
der Befehl für die falsch erkannten Mails - Spam, der kein Spam ist:
sa-learn --ham --dir ~/Mail/Spam-NO/cur ...in den Ordner Spam-NO verschiebe ich die Mails, die erhalten bleiben sollen
Er lernt aber nicht:

christine@boss:~/.kde/Autostart> sa-learn --ham --dir ~/Mail/Spam-NO/cur
Learned from 0 message(s) (4 message(s) examined).

Nach dem Lernen habe ich diese 4 Mails in den Ordner "Posteingang" verschoben, markiert und angeklickt: Nachrichten => Filter anwenden
was passiert? ... alle 4 wandern als erkannte Spam in den Spam-Ordner SPAMS

also dachte ich, Kmail hat ja die integrierte Spam-Abwehr, die habe ich dann eingestellt auf:
erkanntes Spam-Programm: Spamassassin = OK
Nachrichten von Hand als SPAM klassifizieren = OK
Klassifizieren von Nachrichten mit Anti-SPAM-Programmen = OK
Erkannte SPAM-Nachrichten in den ausgewählten Ordner verschieben = OK (Ordner SPAMS)
Erkannte SPAM-Nachrichten zusätzlich als gelesen markieren = OK

damit kann ich ja (dachte ich in meinem jugendlichen Leichtsinn) mit einem Rechtsklick auf die betreffende Mail anklicken:
Filter anwenden: Filter als Spam klassifizieren oder Filter als NON-Spam klassifizieren
das habe ich dann auch getan - alle 4 als NON-Spam klassifiziert - sie bekamen ein grünes Häkchen vorgesetzt

Wieder das gleiche Spiel: rein mit den 4 Mails in den "Posteingang" und alle markieren, Filter laufen lassen......
Alle 4 landeten wieder im Spam-Ordner SPAMS

Wo sitzt der falsche Fehler - eigentlich muss das doch funktionieren.
Ich leere zwar den Spam-Ordner nicht automatisch sondern manuell, aber dämlich ist es schon - die Tagesübersicht von Ebay ist ja nicht das Thema, aber inzwischen markiert er auch "Auktionsende" und die "Zahlungshinweise" als Spam

Aber vielleicht hate ja noch einer das gleiche Problem und weiß Abhilfe, ich bedanke mich schon jetzt

viele Grüße
Christine

oc2pus · 15 Sep. 2004

1.) poste mal die /etc/mail/spamassassin/local.cf hierher
evtl existiert auch eine $HOME/.spamassassin/user_prefs Datei, diese dann ebenfalls posten

2.) poste mal den Nachrichtenheader eine als SPAM erkannten Mail
3.) poste mal den Nachrichtenheader einer nicht erkannten Mail
(die Nachrichtenheader erhälst du in Kmail mit Klick auf den Mail-Body und dann die Option Nachrichten-Code anzeigen)

schau dir man spamassasin an, dort findest du detailiert erklärt in welcher Reihenfolge die Konfigdateien verarbeitet werden (Kapitel CONFIGURATION FILES)

es kann auch sein das dein spamassasin noch nicht lernen will

man braucht defaultmässig 4000 Mails um den zu trainieren. Diese Schwellwerte können ebenfalls in der Konfig eingestellt werden.

phantasia-family · 15 Sep. 2004

Hallo oc2pus,

die /etc/mail/spamassassin/local.cf:

Code:

# This is the right place to customize your installation of SpamAssassin.
#
# See 'perldoc Mail::SpamAssassin::Conf' for details of what can be
# tweaked.
#
###########################################################################
# SpamAssassin config file for version 2.5x
# generated by http://www.yrex.com/spam/spamconfig.php (version 1.01)
# How many hits before a message is considered spam
required_hits   5.0
# Whether to change the subject of suspected spam
rewrite_subject 1
# Text to prepend to subject if rewrite_subject is used
subject_tag     *****SPAM*****
# Encapsulate spam in an attachment
report_safe     1
# Use terse version of the spam report
use_terse_report        0
# Enable the Bayes system
use_bayes       1
# Enable Bayes auto-learning
auto_learn      1
# Enable or disable network checks
skip_rbl_checks 1
use_razor2      1
use_dcc 1
use_pyzor       1
# Mail using languages used in these country codes will not be marked
# as being  possibly spam in a foreign language.
ok_languages    all
# Mail using locales used in these country codes will not be marked
# as being possibly spam in a foreign language.
ok_locales      all

$HOME/.spamassassin/user_prefs:

Code:

# SpamAssassin user preferences file.  See 'perldoc Mail::SpamAssassin::Conf'
# for details of what can be tweaked.
###########################################################################

# How many hits before a mail is considered spam.
# required_hits         5

# Whitelist and blacklist addresses are now file-glob-style patterns, so
# "friend@somewhere.com", "*@isp.com", or "*.domain.net" will all work.
# whitelist_from        someone@somewhere.com

# Add your own customised scores for some tests below.  The default scores are
# read from the installed spamassassin rules files, but you can override them
# here.  To see the list of tests and their default scores, go to
# http://spamassassin.org/tests.html .
#
# score SYMBOLIC_TEST_NAME n.nn

# Speakers of Asian languages, like Chinese, Japanese and Korean, will almost
# definitely want to uncomment the following lines.  They will switch off some
# rules that detect 8-bit characters, which commonly trigger on mails using CJK
# character sets, or that assume a western-style charset is in use.
#
# score HTML_COMMENT_8BITS      0
# score UPPERCASE_25_50         0
# score UPPERCASE_50_75         0
# score UPPERCASE_75_100        0

eine erkannte (falsche) Spam-Mail:

Code:

Received: from localhost [127.0.0.1] by boss
 with SpamAssassin (2.55 1.174.2.19-2003-05-19-exp);
 So, 15 Aug 2004 18:44:36 +0200
From: Auktionsende@ebay.de
To: phantasia-family@web.de
Subject: *****SPAM***** eBay - Gekaufter Artikel: BRAUN HLH  20 TROCKENSCHWEBEHAUBE GEMINI TOP!!! (Artikelnummer 3832096443)
Date: Sun, 15 Aug 2004 09:00:33 -0700
Message-Id: <299755437.1092585633502.JavaMail.ebayapp@sj-v3eoa04>
MIME-Version: 1.0
Content-Type: multipart/mixed;
  boundary="----------=_411F92F4.6E970956"
Status: RO
X-Status: OHC
X-KMail-EncryptionState: N
X-KMail-SignatureState: N
X-UID: 
X-KMail-MDN-Sent:  
X-Spam-Level: *
X-Spam-Checker-Version: SpamAssassin 2.64 (2004-01-11) on boss.WORKGROUP
X-Spam-Status: No, hits=1.9 required=5.0 tests=HTML_50_60,HTML_FONT_BIG,
 HTML_MESSAGE,NO_REAL_NAME,PLING_PLING autolearn=no version=2.64

This is a multi-part message in MIME format.

Details der Inhaltsanalyse: (6.50 Punkte, 5 benoetigt)
NO_REAL_NAME       (0.8 points)  From: enthaelt keinen echten Namen
MIME_BOUND_DIGITS_7 (2.9 points)  Spam tool pattern in MIME boundary
HTML_50_60         (0.5 points)  BODY: Message is 50% to 60% HTML
HTML_MESSAGE       (0.1 points)  BODY: HTML included in message
HTML_FONT_COLOR_GRAY (0.1 points)  BODY: HTML font color is gray
HTML_WEB_BUGS      (0.1 points)  BODY: Image tag with an ID code to identify you
HTML_FONT_BIG      (0.3 points)  BODY: FONT Size +2 and up or 3 and up
MAILTO_WITH_SUBJ   (0.0 points)  URI: Includes a link to send a mail with a subject
PLING_PLING        (1.7 points)  Subject: enthaelt mehrere Ausrufezeichen

eine saubere Mail:

Code:

Received: from [194.64.234.152] (helo=nl02.ebay.ision.net)
 by mx04.web.de with esmtp (WEB.DE 4.101 #87)
 id 1C4gkX-00042t-00; Tue, 07 Sep 2004 16:15:09 +0200
Received: from nl08 by nl02.ebay.ision.net with local (Exim 4.34)
 id 1C4gdG-0002pk-UL
 for ebay-040907_wmige.19@nl02.ebay.ision.net; Tue, 07 Sep 2004 16:07:38 +0200
From: "eBay.de-Team" <newsletters@ebay.de>
To: "eBay-Mitglieder" <mitglieder@ebay.de>
Subject: Anbieten fuer nur 10 Cent, einen Smart gewinnen uvm.
MIME-Version: 1.0
Content-Type: multipart/alternative;
  boundary="=_fde39f11c126d93fcac250d54a8be152"
Message-Id: <E1C4gdG-0002pk-UL@nl02.ebay.ision.net>
Date: Tue, 07 Sep 2004 16:07:38 +0200
Sender: bounce_040907_wmige@newsletter.ebay.easynet.de
X-UID: 
Status: RO
X-Status: RC
X-KMail-EncryptionState: N
X-KMail-SignatureState: N
X-KMail-MDN-Sent:  
X-Spam-Level: 
X-Spam-Checker-Version: SpamAssassin 2.64 (2004-01-11) on boss.WORKGROUP
X-Spam-Status: No, hits=0.8 required=5.0 tests=HTML_60_70,HTML_MESSAGE,
 MIME_QP_LONG_LINE autolearn=no version=2.64

die CONFIGURATION FILES: --- komplett man spamassassin

Code:

CONFIGURATION FILES
       The rule base, text templates, and rule description text are loaded from
       the configuration files.

       By default, configuration data is loaded from the first existing direc
       tory in: /usr/share/spamassassin; /usr/share/spamassassin;
       /usr/local/share/spamassassin; /usr/share/spamassassin .

       Site-specific configuration data is used to override any values which
       had already been set.  This is loaded from the first existing directory
       in: /etc/mail/spamassassin; /usr/etc/mail/spamassassin; /usr/etc/spamas
       sassin; /usr/local/etc/spamassassin; /usr/pkg/etc/spamassassin;
       /usr/etc/spamassassin; /etc/mail/spamassassin; /etc/spamassassin .

       Spamassassin will read *.cf in these directories, in alphanumeric order
       within each directory (similar to SysV-style startup scripts).  In other
       words, it will read 10_misc.cf before 50_scores.cf and 20_body_tests.cf
       before 20_head_test.cf.  Options in later files will override earlier
       files.

       The user preferences (such as scores to attach to each rule), are loaded
       from the file specified in the -p argument.  If this is not specified,
       ~/.spamassassin/user_prefs is used if it exists.  "spamassassin" will
       create this file if it does not exist, using user_prefs.template as a
       template.  This file will be looked for in: /etc/mail/spamassassin;
       /usr/etc/mail/spamassassin; /usr/share/spamassassin; /etc/spamassassin;
       /etc/mail/spamassassin; /usr/local/share/spamassassin; /usr/share/spa
       massassin.

Ich muss gestehen, dass ich nicht viel verstehe von den Inhalten.

Danke und viele Grüße
Christine

oc2pus · 16 Sep. 2004

generated by http://www.yrex.com/spam/spamconfig.php (version 1.01)

wieso hast du diese generierte Datei nach /etc .. geschrieben?
da fehlt die Hälfte der Optionen

Ersetze die mal wieder durch das Original, dann klappt das auch wieder mit dem spamassassin.

phantasia-family · 16 Sep. 2004

Hallo oc2pus,

die Dateien sind Originale - ich habe meine Finger noch nicht drin gehabt. Einzige Änderung: in der Whitelist Zeile 54 eigener Eintrag.

viele Grüße
Christine

oc2pus · 17 Sep. 2004

ok, dann füge diese beiden Optionen in der master.cf ein:

Code:

bayes_min_ham_num             (Default: 200)
bayes_min_spam_num       (Default: 200)
To be accurate, the Bayes system does not activate until a certain number of ham (non-spam) and spam have been learned.  The default is 200 of each
ham and spam, but you can tune these up or down with these two settings.

diese Info stammt aus man Mail::SpamAssassin::Conf

Und verfüttere mindestens so viele ham und spam wie du als min_hm_num/min_spam_num angegeben hast in EINEM sa-learn Aufruf.

Tip: gib ihm ALLE deine mails zum lernen (HAM)
bei spamm einfach sammeln und dann lernen lassen

phantasia-family · 17 Sep. 2004

Hallo,

ich habe die local.cf geändert:

Code:

# This is the right place to customize your installation of SpamAssassin.
#
# See 'perldoc Mail::SpamAssassin::Conf' for details of what can be
# tweaked.
#
###########################################################################
# SpamAssassin config file for version 2.5x
# generated by http://www.yrex.com/spam/spamconfig.php (version 1.01)
# How many hits before a message is considered spam
required_hits   5.0
# Whether to change the subject of suspected spam
rewrite_subject 1
# Text to prepend to subject if rewrite_subject is used
subject_tag     *****SPAM*****
# Encapsulate spam in an attachment
report_safe     1
# Use terse version of the spam report
use_terse_report        0
# Enable the Bayes system
use_bayes       1
# Enable Bayes auto-learning
auto_learn      1
# Enable or disable network checks
skip_rbl_checks 1
use_razor2      1
use_dcc 1
use_pyzor       1
# Mail using languages used in these country codes will not be marked
# as being  possibly spam in a foreign language.
ok_languages    all
# Mail using locales used in these country codes will not be marked
# as being possibly spam in a foreign language.
ok_locales      all
bayes_in_ham_num 200
bayes_min_spam_num 30

dann:
christine@boss:/etc/mail/spamassassin> sa-learn --ham --dir ~/Mail/Spam-NO/cur
Learned from 56 message(s) (272 message(s) examined).

christine@boss:/etc/mail/spamassassin> sa-learn --spam --dir ~/Mail/Spam/cur
Learned from 28 message(s) (32 message(s) examined).

Was das bringt, wird die Zukunft zeigen - soviele richtige und falsche Spam-Mails kommen ja auch nicht ;-)

viele Grüße und Danke für die Hilfe
Christine

Mad Elk · 18 Sep. 2004

Hi,
also ich hab mir mal von jemand ein Skript zum Lernen von neuem, nicht erkanntem SPAM kopiert.

Code:

#! /bin/sh --

#Ordner, in dem der neue SPAM gespeichert wird
SPAMLEARN=$HOME/Mail/spamneu
MAILTO="`basename $HOME`"


PATH="$HOME/bin:/usr/local/bin:/usr/bin:/usr/X11R6/bin:/bin:/usr/games:/opt/gnome/bin:."
export PATH

cd $HOME

# Check if there is something to do
[ ! -s $SPAMLEARN ] && exit 0

(

#If so, clean out SpamAssassin marks, then learn it
mv $SPAMLEARN $SPAMLEARN.work
touch $SPAMLEARN
cat $SPAMLEARN.work | formail -s spamassassin --remove-markup > $SPAMLEARN.clean
sa-learn --spam --showdots --mbox $SPAMLEARN.clean
rm -f $SPAMLEARN.clean
rm -f $SPAMLEARN.work
) 2>&1 | mailx -s "`date +%Y-%m-%d`: learned spam" $MAILTO

Diesen Code habe ich in /usr/local/bin/ als spamlearn.sh gespeichert. In die Datei $HOME/.profile die folgenden Zeilen eingefügt

Code:

/usr/local/bin/spamlearn.sh

Meine neuen, nicht erkannten SPAM-Mails verschiebe ich inKMail in den Ordner "spamneu" und nach jeden Neustart des KDM wird der SPAM gelernt.

Vielleicht hilft Dir das ja.

Gruß
Mad Elk