Eletrica

Você já deve ter se deparado com esta analogia cafona um sem-número de vezes: "a internet é como um oceano". Sim, a internet é um verdadeiro oceano de informações, cultura e entretenimento. E, para navegar neste oceano e ter acesso a tudo o que ele é capaz de oferecer, nos tornamos reféns dos chamados motores de busca (search engines); mais precisamente, do mais famoso deles, o Google.

Porém, ao contrário do que muitos pensam e por razões que fogem ao conhecimento da maior parte dos internautas, o Google, e outros mecanismos de busca populares, não são capazes de lhe mostrar exatamente tudo o que existe na rede mundial de computadores.

Na verdade, mecanismos como o Google, o Bing e o Yahoo são capazes de lhe mostrar apenas o que há na superfície deste oceano, ou seja, uma parte muito pequena do que realmente é a Internet.

Infográfico DeepWeb

Exagero? Nem um pouco...

Para se ter uma ideia melhor do quão superficial é sua experiência na Web ao utilizar um desses mecanismos de busca, vamos apresentar um dado realmente impressionante: um estudo feito pela Universidade da Califórnia no ano de 2001, estimou que toda a Internet apresentada pelos mecanismos de busca corresponde a bem menos de 1% do tamanho real. A conclusão é que a "internet invisível" é entre 400 e 550 vezes maior do que estes mecanismos nos fazem crer.

A falta de indexação de todo este conteúdo nos motores de busca populares ocorre por inúmeras razões:

Determinação do dono do conteúdo: existem algumas 'metatags' (tipo de instrução HTML) que podem ser usadas no cabeçalho de um site para instruir os mecanismos de busca a não indexar seu conteúdo, tornando-os, desta forma, inacessíveis ao grande público.
Violação de algum termo de indexação: os mecanismos de busca podem deixar de indexar um site se o mesmo infringir algumas de suas regras. Por exemplo, um sitemap1 mal feito.
Dificuldade de acesso ao conteúdo dinâmico: A maior parte das informações da Web estão enterradas muito abaixo