WoW! Wouter over het Web

Het diepe of onzichtbare Web is ondertussen een begrip dat nog geen tien jaar oud is, maar helaas lijkt de aandacht voor het onderwerp de laatste jaren eerder af dan toe te nemen. Het heilige geloof dat met Google alles te vinden is wordt bij iedere zoekactie verder versterkt wanneer binnen een fractie van een seconde de volgende tienduizenden resultaten op je computerscherm prijken.

Inderdaad zal het diepe Web, sinds Bergman in 2001 voor het eerst de problematiek grondig onderzocht en beschreef, wat minder diep geworden zijn. Ook Google doet er alles aan om de schatten van het diepe Web boven water te krijgen. Sinds vorig jaar indexeert de grote G daarom flash files en ook de externe content van flash files, is het druk bezig om tekst te herkennen in grafische files –ze zijn dus vooral aan het OCR-en van gescande files van snelle en slordige digitaliseringsprojecten- en ze zijn bovenal aan de slag gegaan het invullen van webformulieren om informatie uit databases te trekken, te ontleden en te indexeren.

Google is daar vorig jaar mee begonnen en zal ongetwijfeld voortvarend mee aan de slag zijn gegaan. Maar kunnen we daarom binnenkort verwachten dat Google gaat verklaren dat het probleem van het Diepe Web of Onzichtbare Web opgelost is? Nee. Helaas niet. Het Sociale Web zorgt er juist weer voor dat het Diepe Web op andere plekken juist weer dieper wordt, of onzichtbaarder.

Een social bookmarking website als delicious bijvoorbeeld. Goed voor miljoenen door vrijwilligers geannoteerde websites, wordt door Google of amper geïndexeerd. Het meest populaire sociale netwerk van Nederland: Hyves met bijna 9 miljoen leden, is sinds februari dit jaar slechts deels voor Google toegankelijk. Krabbels, tips en dat soort dingen worden door Google nog niet of slechts zeer spaarzaam geïndexeerd. Een site als Flickr passeerde vorig jaar november de 3 miljard opgeslagen foto’s. Slechts een fractie daarvan is te vinden met Google of de Google image search. En er zijn zoveel verschillende social software sites. Maar allemaal slecht of matig geindexeerd door de gangbare zoekmachines.

Kortom het Diepe Web is here to stay with us. We kunnen daarom beter leren om met gevorderde zoektechnieken en veel bronnenkennis die informatie boven water te krijgen.

Literatuur
Bergman, K.T. (2001). The deep web : surfacing hidden value. The Journal of Electronic Publishing 7(1). http://dx.doi.org/10.3998/3336451.0007.104

Labels: Diepe Web, Social Web, Web 2.0