Ein Spider ist ein Programm meist eines Suchmaschinenbetreibers, welches die Seiten im Internet besucht, diese indiziert und die gewonnenen Daten dem Suchindex des Betreibers zur Verfügung stellt.
Neben dem Begriff Spider gibt es auch noch die analoge Verwendung von Robot, da diese Programme in aller Regel automatisiert und selbstständig durchs WWW wandern.
Auch kommen Spider meist regelmäßig wieder, um zum Beispiel auch Veränderung auf der Seite festzustellen. Gerade Blogs, die auch sehr lebendig sind, werden daher mehrmals täglich von verschiedenen Spiders besucht.
Ein weiteres Synonym ist auch Crawler. (to crawl = robben, kriechen, krabbeln; also frei interpretiert: sich durch eine Seite wühlen)
Symbolbild: Erfassung der Seitenvernetzung, Beispiel flickr (via flickr)
RSS-Feed
RDF-Feed