Web Superficial (Lo que Vemos):
Es la porción de Internet que es indexada por las arañas de los motores de búsqueda. Las arañas de los buscadores van recorriendo las páginas web, almacenando información que contienen y buscando enlaces a otros sitios web para seguir actualizando sus bases de datos. Con el tiempo acaban recorriendo todas las páginas de Internet que tienen enlaces desde otras. Pero por distintos motivos (enlaces generados por JavaScript y Flash, páginas protegidas con contraseña, fichero de exclusión de robots, etc.) algunas páginas no pueden ser alcanzadas por las arañas de los buscadores.
Características de la Web Superficial:
Las características principales de los sitios de la Web visible son:
su información no está contenida en bases de datos
- es de libre acceso
- no se requiere la realización de un proceso de registro para acceder a la información.
- mayoritariamente está formada por páginas Web estáticas, es decir páginas o archivos con una URL fija y accesibles desde otro enlace.
Web Profunda (lo que no vemos... pero podríamos ver):
Es el término utilizado para describir toda la información disponible en Internet que no se recupera interrogando a los buscadores convencionales. Generalmente es información almacenada y accesible mediante bases de datos. Parte de la información es "invisible" a los robots de los buscadores convencionales, ya que los resultados se generan en la contestación a una pregunta directa mediante páginas dinámicas (ASP, PHP, etc.) es decir páginas que no tienen una URL fija y que se construyen en el mismo instante (temporales) desapareciendo una vez cerrada la consulta. Esta también es conocida como Deep Web.
Según Sherman y Price existen cuatro tipos de contenidos invisibles en la Web:
La Web opaca está compuesta por archivos que, si bien podrían estar incluidos en los
índices de los buscadores, no lo están por alguno de los siguientes motivos:
Extensión de la indización: a veces, por economía, no todas las páginas de un sitio son
indizadas en los buscadores.
- Frecuencia de la indización: los buscadores no poseen la capacidad de indizar todas las páginas existentes; a diario se agregan y modifican muchas y la indización no se realiza al ritmo que permita incluirlas a todas.
- Número máximo de resultados visibles: aunque los motores de búsqueda arrojan a veces un gran número de resultados, generalmente limitan el número de documentos que se muestran (entre 200 y 1000).
- URL desconectadas: las generaciones más recientes de buscadores, presentan los documentos por relevancia basada en el número de veces que aparecen referenciados en otros. Si un documento no tiene un link a él, desde otro documento, será imposible que la página sea encontrada, pues no se encuentra indizada.
La Web privada consiste en las páginas Web que podrían estar indizadas en los
buscadores pero son excluidas deliberadamente por alguno de estos motivos:
- Las páginas están protegidas por contraseñas.
- Contienen un archivo “robots.txt” para evitar ser indizadas.
- Contienen un campo “noindex” para evitar que el buscador pueda indizar la parte correspondiente al cuerpo de la página.
La Web propietaria incluye aquellas páginas en las que es necesario registrarse para tener
acceso al contenido, ya sea de forma gratuita o arancelaria.
La Web realmente invisible se compone de páginas que no pueden ser indizadas por
limitaciones técnicas de los buscadores, programas ejecutables y archivos comprimidos,
páginas generadas dinámicamente, es decir, que se generan a partir de datos que
introduce el usuario, información almacenada en bases de datos relacionales, que no
puede ser extraída a menos que se realice una petición específica.
- Contenido privado protegido con contraseña.
- Documentos en formatos no indexables.
- Enlaces generados mediante JavaScript o Flash.
- Contenidos que usan protocolos diferentes a HTTP o HTTPS.
- Contenidos no enlazados.
- Contenido que varía según el dispositivo que accede.
- Contenido dinámico generado como respuesta a un formulario.
- Restricciones de acceso a documentos mediante robots.txt o captchas.
- Información a la que sólo se puede acceder consultando bases de datos.
En conclusión, y a manera de ejemplo podríamos visualizar la imagen que se muestra al principio de la entrada, e imaginarnos en tal situación... Si extendemos la vista solo a nuestro alrededor veremos la punta del iceberg, es decir la web superficial que representa solo el 4% de la información contenida en la red. Ahora bien, si decidimos sumergirnos (ingresar con una cuenta registrada), podremos ver el resto del iceberg, o la web profunda que representa el 96% de la información. Pero esto no queda allí, pues si usamos equipo especial podemos sumergirnos aun mas y descubrir mucho mas que el iceberg; como la Dark web la red TOR la Web opaca... pero en su mayoría estas son de carácter ilegal, así que mejor seguimos investigando la surface web y la deep web...
Les dejo algunos enlaces que me fueron útiles en la investigación:
