htaccess + webcrawler

[somnambulist]

bietet eine htaccess-access-datei einen wirksamen schutz von indexierung durch suchmaschinen?


grüße -
somnambulist

 

[nbkr]

Erstell einfach ne robots.txt - die "legalen" Suchmaschinen halten sich dran. Mit .htaccess kannst Du das wahrscheinlich auch machen ist aber bestimmt 3x so kompliziert.

 

[somnambulist]

ja, die robots.txt ist mir bekannt. ich wollte nur wissen, ob ich meinen bereits bestehenden htaccess-schutz für normale user noch irgendwie besonders für webcrawler anpassen müsste oder nicht.
ich dachte mir halt: crawler benutzen auch http(?), htaccess ist
eine http-authentifikation => crawler können meinen ordner trotz verlinkung nicht indexieren lieg ich da richtig?

( es handelt sich um ein nicht-öffentliches user-forum, dessen html-verzeichnis mit den postings ich per
htaccess gesperrt habe)

 

[panamajo]

( es handelt sich um ein nicht-öffentliches user-forum, dessen html-verzeichnis mit den postings ich per
htaccess gesperrt habe)

Öhm ... wenn das Forum nicht-öffentlich ist (man also nur mit Login & PW reinkommt) dann hat der Robot ja nicht viel zu indizieren (ausser er kennt ein Login), oder?