"Big Brother is watching You"- Georges orwell
Avant de pouvoir faire une recherche, le moteur de recherche doit d'abord recenser les sites
La première étape de ce recensement est appelé exploration.
Elle consiste en une surveillance permanente du web. En effet un robot, est chargé de suivre tous les liens qu'il trouve sur internet, ce dans le but de trouver de nouvelles pages, de nouveaux sites
Voici une image de wikipédia représentant une "remontée de liens" d'un robot crawler a partir du site wikipédia
Comme on peut s'en appercevoir, a partir d'une seule page, on retrouver une multitude d'autres pages. Ce systeme est particulièrement efficace.
Une fois que de nouvelles pages ou bien qu'un nouveau site a été trouvé par ce robot, ceux-ci sont prêts a être indéxer.
Un robot d'exploration a une signature qui lui est propre. Par exemple, celui de google a pour signature googlebot.
Voici a quoi ressemble les 3 différentes signatures googlebot:
Ce site a été écrit par Alexandre.B et Maxime.H dans le cadre de notre projet d'ISN pendant les vacances de noël 2014/2015
Nous espérons que notre site vous permettra d'en savoir davantage sur les moteurs de recherches. Nous vous souhaitons une bonne lecture sur nôtre site internet.
Réalisé par Alexandre.B et Maxime.H pour l'ISN
Toutes les photos de ce site sauf le logo sont libres de droits d'usage ou de distribution.
Mise en page à partir d'une idéee de G. Mesnil pour les élèves d'ISN du lycée Queneau (Yvetot),
d'après © 2008 Elephorm et Alsacréations