Ein Crawler ist eine automatisierte Software, mit der alle Seiten im Internet durchsucht werden. Ein Crawler überprüft jede Zeile des Inhalt auf einer website und folgt jeder dofollow Hyperlink zu einer anderen Seite oder Website. Sie können einen Crawler am besten vergleichen mit Roboter die automatisch eine lange Liste URLs durchsucht. Jede Suchmaschine besitzt einen eigenen Crawler, so hat Google der Googlebot.
Über Crawler werden sowohl neue als auch bestehende Seiten indiziert, damit diese Seiten auffindbar sind in der Suchergebnisse. Deshalb ist es wichtig, eine klare interne Linkstruktur und ein Seitenverzeichnis von großer Bedeutung bei Suchmaschinenoptimierung.
Die Begriffe Crawler und Spinne worden vaak door elkaar gebruikt. Toch zit er wel degelijk een verschil in beide termen. Een crawler wordt namelijk gebruikt voor het doorzoeken van gehele zoekmachines, terwijl een spider wordt gebruikt voor het doorzoeken van een website.
Eine sorgfältig erstellte Anleitung mit den wesentlichen Aufmerksamkeitspunkten und bewährten Schritten für maximale Wirkung.
