Webcrawler?

När du söker efter något på webben beror det snabba sökresultatet bland annat på ett litet program som kallas för "webcrawler", eller som man också kallar dem - "spindlar". Dessa jobbar åt sökmotorerna och samlar in den senaste informationen som skrivs på webbsidor. De skapar även innehållsförteckningar så att det blir lättare för oss att hitta rätt information.