Kaum drei Tage online, schon kriege ich unge­bete­nen Besuch — es ist ein biss­chen wie bei Oggy und den Kak­er­lak­en. In diesem Fall ist der »Gast« ein Crawler aus der Ukraine, den ich — bevor er es sich richtig gemütlich machen kon­nte — auch schon wieder vor die Tür geset­zt habe.

Los­geschickt hat das Biest, das in mein­er Sta­tis­tik per­son­al­isierte Back­links wie 79.semalt.com/crawler.php?u=https://krikkit.uber.space hin­ter­lässt, die Fir­ma Semalt, die nach eige­nen Angaben ein SEO-Tool für Seitenbetreiber*innen anbi­etet (Par­don, aber einen Back­link will ich Euch nicht auch noch spendieren):

Ich möchte gar nicht wis­sen, wie viele Neugierige auf diesen Crawler schon reinge­fall­en sind. Der näm­lich scheint lei­der nicht ganz so harm­los zu sein wie die Fir­ma aus Kiew vorgibt. Vom Refer­rer-Spam mal ganz abge­se­hen, scheint der Semalt-Crawler auch fleißig Dat­en zu sam­meln, Nutzer auszus­pähen und gegen gel­tendes Recht zu ver­stoßen, wie Joram van den Boezem her­aus­ge­fun­den hat. Er ver­mutet hin­ter Semalt ein Bot­net, das vor allem über Rech­n­er in der Drit­ten Welt und in Schwellen­län­dern läuft — wie The New Fron­tier (inzwis­chen offline) schreibt, scheint sich ein Großteil der Aktiv­itäten in Brasilien zu bün­deln. Weit­er heißt es dort:

Rewrite für den Semalt-Crawler: »It’s just not ethical«

Zwar bietet das Unternehmen selb­st auch einen Ser­vice an, um Seit­en manuell aus dem Semalt-Index zu nehmen, dieses Ange­bot aber erscheint mir in etwa so ver­lock­end wie der Trichter eines Ameisen­löwen für Insekten.

Jet­zt gibt es zwei Möglichkeit­en, über die .htac­cess mit solchen Gästen umzuge­hen. Möglichkeit 1: Man lässt sie gar nicht erst rein.

RewriteEngine on
RewriteCond %{HTTP_REFERER} semalt\.com [NC]
RewriteRule .* — [F]

Möglichkeit 2: Man schickt sie post­wen­dend wieder nach Hause (und leit­et den Crawler ein­fach auf die Semalt-Seite »zurück«). Ich finde die zweite Möglichkeit lustiger.

RewriteEngine on
RewriteCond %{HTTP_REFERER} semalt\.com [NC]
RewriteRule (.*) https://www.semalt.com [R=403,L]

Natür­lich sieht Semalt das ganz anders. Noch grotesker: Eine auch an anderen Stellen im Netz mehr als umtriebige Mitar­bei­t­erin hält dieses Vorge­hen sog­ar für unethisch (Wobei sich das Unternehmen in der Ethik-Frage am Ende wohl doch nicht ganz sich­er war — inzwis­chen wurde der Tweet wieder gelöscht).

Klingt schw­er nach einem Trep­pen­witz der Netzgeschichte.

P.S.: Es gibt auch zwei GitHub-Pro­jek­te, um den Semalt-Crawler zu block­en, eines davon von van den Boezem selb­st. Ich habe bei­de nicht aus­pro­biert, aber der Voll­ständigkeit hal­ber sollen sie hier nicht fehlen.