Alternative zu robots.txt?
Robots.txt-Dateien sind – vereinfacht gesagt – eine Art Türwächter für Crawler, die den Suchrobotern mitteilen, was sie auf einer Website suchen dürfen und was nicht. Suchmaschinenbetreiber...
View ArticleFlash-Dateien online auf Crawler-Tauglichkeit testen
Sistrix-Betreiber Johannes Beus bietet ein Tool an, mit dem man online überprüfen kann, wie viel verwertbare Information ein Suchmaschinen-Crawler aus einer Flash-Datei extrahieren kann. Eine der...
View ArticleUpdate bei Crawler für Live Search
MSN hat bekannt gegeben, dass sie mit dem Update ihres Crawlers für die Live Search einige Verbesserungen implementieren. Die beiden neuen Features sollten zukünftig die Server von Seitenbetreibern...
View ArticleClik here to view.
Gestatten: Die Google Cloaking-API
Seit mehr als einem Jahr bietet Google eine offizielle Cloaking-API an. Überraschenderweise hat das bisher kaum jemand bemerkt. Das könnte auch daran liegen, dass die API den komischen Namen...
View ArticleClik here to view.
robots.txt vs. noindex
Es ist eigentlich ein alter Hut, aber regelmäßig stolpere ich über Fälle, wo Webmaster oder SEOs Probleme mit dem korrekten Einsatz von robots.txt und dem noindex-Metatag haben. Das größte Problem...
View Article
