Robot

Ein Robot, auch Spider oder Crawler genannt, ist ein Programm, welches die bei Suchmaschinen angemeldeten bzw. eingetragenen Webseiten aufruft, deren Inhalte abruft, und diese an die Suchmaschinen weiterleitet.  
Die Robots wandeln dabei jede Url in eine IP-Adresse um, damit sie mit den jeweiligen Servern in Verbindung treten k?nnen.
Um die Dauer der ?bertragung zu verk?rzen, bzw. um die Server nicht zu ?berlasten, ?ffnet ein Robot oftmals mehrere hundert Verbindungen gleichzeitig. Treten bei einer Verbindung Probleme auf, kann er ohne gro?en Zeitverlust auf die n?chste Verbindung zugreifen. Durch dieses Rotationsverfahren kann nur ein Crawler bis zu 30 Seiten pro Sekunde erfassen.