Crawling
Crawling bezeichnet den Prozess, den Suchmaschinen nutzen, um Webseiten im Internet zu entdecken und zu indexieren. Dabei kommen automatisierte Bots, oft als Crawler oder Spider bezeichnet, zum Einsatz, die systematisch das Web durchsuchen, um Daten über Websites und deren Inhalte zu sammeln.