Los motores de búsqueda tradicionales (Google, Yahoo, etc.) sólo ofrecen acceso a una pequeña parte de lo que existe online, lo que se ha comenzado a llamar la web superficial o visible. Lo que resta, la Web profunda, es un amplísimo banco de información ubicado en catálogos, revistas digitales, blogs, entradas a diccionarios y contenido de sitios que demandan un login (aunque sea gratuito), entre otros tipos de contenido que no aparecen entre los resultados de una búsqueda convencional.
¿Cómo se diferencian?
Bueno, la Web visible comprende todos aquellos sitios cuya información puede ser indexada por los robots de los buscadores convencionales y recuperada casi en su totalidad mediante una consulta a sus formularios de búsqueda. Entre las características principales de estos sitios encontramos que su información no está contenida en bases de datos, son de libre acceso (no hay que registrarse para acceder), en general están formadas por páginas Web estáticas (páginas o archivos con una URL fija y accesibles desde otro enlace.).
Para poder entender un poquito más la diferenciación entre la web superficial y la web profunda, citaremos una caracterización de la Web invisible o profunda de Sherman y Price (2001), en la cual identifican cuatro tipos de contenidos invisibles en la Web:
- la Web opaca
- la Web privada
- la Web propietaria
- y la Web realmente invisible
La Web opaca: Se compone de archivos que no están incluidos en los motores de búsqueda por alguna de estas razones:
- Extensión de la indización
- Frecuencia de la indización
- Limitación del Número máximo de resultados visibles
- URL’s desconectadas
La web privada: Se compone de archivos que no están incluidos en los motores de búsqueda por alguna de estas razones:
- La
- ntienen un archivo “robots.txt” para evitar ser indizadas.
- Contienen un campo “noindex” para evitar que el buscador indice la parte correspondiente al cuerpo de la página
La Web propietaria: Incluye aquellas páginas en las que es necesario registrarse para tener acceso al contenido, ya sea de forma gratuita o paga. Se dice que al menos 95% de la Web profunda contiene información de acceso público y gratuito
La Web realmente invisible: Se compone de páginas que no pueden ser indizadas por limitaciones técnicas de los buscadores, como las siguientes: - Páginas web que incluyen formatos como PDF, PostScript, Flash, Shockwave, programas ejecutables y archivos comprimidos.
- Páginas generadas dinámicamente, es decir, que se generan a partir de datos que introduce el usuario.
- Información almacenada en bases de datos relacionales.
