Crawler

Ein Crawler oder auch Spider und Robot genannt, ist ein Programm, welche die von Suchmaschinen indexierten Webseiten aufruft und diese an die Suchmaschinen weiterleitet.  Die Crawler wandeln dabei jede Internetadresse in eine IP-Adresse um, damit sie mit den jeweiligen Servern in Verbindung treten können. Um die Übertragungdauer zu verkürzen und damit die Server nicht zu überlastet werden, öffnet ein Crawler mehrere hundert Verbindungen gleichzeitig. Treten bei einer Verbindung Probleme auf, kann er ohne großen Zeitverlust auf die nächste Verbindung zugreifen. Durch dieses Rotationsverfahren kann nur ein Robot bis zu 30 Seiten pro Sekunde erfassen.