Crawler znany również jako pająk lub bot indeksujący, to program komputerowy używany głównie przez wyszukiwarki do przeglądania sieci w celu indeksowania zawartości stron internetowych. Jego zadaniem jest systematyczne przeszukiwanie Internetu, odwiedzanie stron, czytanie ich zawartości, a następnie zapisywanie informacji w bazie danych wyszukiwarki. Dzięki temu, gdy użytkownik wpisuje zapytanie w wyszukiwarkę, może otrzymać relewantne i aktualne wyniki wyszukiwania.
Crawler działa poprzez odwiedzanie linków znalezionych na stronach internetowych, ciągle przechodząc od jednej strony do drugiej i zapisując lub aktualizując informacje o nich. Proces ten pozwala wyszukiwarkom na utrzymanie aktualnej bazy danych zawartości dostępnej w sieci, co jest kluczowe dla efektywnego dostarczania informacji użytkownikom. Crawlers są niezbędne do funkcjonowania wyszukiwarek internetowych, pomagając im zrozumieć i organizować zawartość Internetu.