peter.honka
Newbie
Hallo,
habe immer mal wieder das Problem, dass manche Suchmaschinen und Offline-Reader es mit dem Scan meiner Webseite massiv übertreiben und
dann pro Sekunde eine Vielzahl von Seiten anfordern.
Natürlich will ich Suchmaschinen nicht in Ihrem Scan behindern - so manchen schlecht konfigurierten Offline-Reader allerdings schon.
Daher frage ich mich, ob es nicht Sinn macht, eine Obergrenze für die Anzahl der Objekte einzurichten, die pro Client in einem Zeitraum X abgefragt werden können.
Da ist mir bei der SuSEfirewall2 die Option "FW_SERVICES_ACCEPT_EXT" ins Auge gefallen. Folgende Regel würde dann wohl alle Ips, die pro 10 Sekunden mehr als 500 Objekte über http anfordern, blockieren.
FW_SERVICES_ACCEPT_EXT="0/0,tcp,80,,hitcount=500,blockseconds=10,recentname=www"
Ich habe das allerdings noch nicht getestet und frage mich, ob hier noch andere mitlesen, die Ähnliches ausprobiert haben und mir dazu etwas sagen können.
Danke & Gruss
Peter
habe immer mal wieder das Problem, dass manche Suchmaschinen und Offline-Reader es mit dem Scan meiner Webseite massiv übertreiben und
dann pro Sekunde eine Vielzahl von Seiten anfordern.
Natürlich will ich Suchmaschinen nicht in Ihrem Scan behindern - so manchen schlecht konfigurierten Offline-Reader allerdings schon.
Daher frage ich mich, ob es nicht Sinn macht, eine Obergrenze für die Anzahl der Objekte einzurichten, die pro Client in einem Zeitraum X abgefragt werden können.
Da ist mir bei der SuSEfirewall2 die Option "FW_SERVICES_ACCEPT_EXT" ins Auge gefallen. Folgende Regel würde dann wohl alle Ips, die pro 10 Sekunden mehr als 500 Objekte über http anfordern, blockieren.
FW_SERVICES_ACCEPT_EXT="0/0,tcp,80,,hitcount=500,blockseconds=10,recentname=www"
Ich habe das allerdings noch nicht getestet und frage mich, ob hier noch andere mitlesen, die Ähnliches ausprobiert haben und mir dazu etwas sagen können.
Danke & Gruss
Peter