Indexeringsfrekvensen på Yahoo, Google och MSN testat av tyska forskare
I en test publicerad under titeln “The freshness of web search engines” [PDF] gjord av de tyska forskarna Dirk Lewandowski, Henry Wahlig och Gunnar Meyer-Bautor vid Henriech- Heine-universitet i Düsseldorf, Tyskland, har man kommit fram till att Google, i jämförelse med MSN och Yahoo, omindexerar flest webbsidor varje dag. MSN är dock, i motsats till Google och Yahoo, den enda sökmotor som omindexerar alla sina sidor inom 20 dagar. Räknat med medianvärde på alla undersökta webbsidor ligger dock MSN och Google lika medan Yahoo släpar efter en bit.
Som alla studier finns det ju alltid lite om och men och några kommentarer följer här. De tyska forskarna gjorde mellan 18 december 2004 och 19 januari 2005 ett preliminärt test där man bl.a. upptäckte problem med både Yahoo och även MSN att de ena dagen visade en cache-version och nästa dag en äldre cache-version. S. k. “refreshment gaps” med andra ord.
Det riktiga uppdateringstestet började 14 februari och pågick under 42 dagar. Sidorna kollades varje dag vid ungefär samma tidpunkt, runt 18.00, för att det inte skulle bli så missvisande. 38 tyska webbplatser valdes ut och cacheversionens datum i Google.de, MSN.de och Yahoo.de jämfördes med existerande dags datum. 38 webbsidor x 3 sökmotorer x 42 dagar innebar 4674 enskilda sidor. Vissa gånger gick det inte att komma åt cahce-versionen vilket reducerade antalet till 4572 och när en webbsida efter en omdesign tog bort datumet så blev det omöjligt att kolla datumet på caheversionen i Yahoo, vilket ytterligare reducerade antalet till 4556 sidor.
Ca 83% av alla sidor i Google var inte äldre än en dag, ca 42% för Yahoo och 48% för MSN. Av alla webbsidor var de i genomsnitt omindexerade efter 3,1 dagar för Google, MSN 3,5 dagar och Yahoo efter 9,8 dagar. Räknat med medianvärde blev utfallet istället 1 dag för Google och MSN median och 4 dagar för Yahoo. Medelvärdet för Google blir marginellt bättre än MSN beroende på s.k. “outliers”, dvs. några enstaka sidor som är väldigt gamla och drar ned medelvärdet, trots att de flesta är mer väluppdaterade än MSN. I studien finns också utvärderingar där man valt att sortera varje webbsida efter företeelse/ämne, t.ex. nyhetssidor för sig och vetenskapliga sidor för sig etc
Märk väl att det här är en studie som utvärderar enbart utvalda tyska sidor som uppdateras dagligen. Många sökmotorer ställer in indexeringsfrekvensen efter hur ofta en sida uppdateras och efter “statusen” på sidan, vilket det senare forskarna också tror. Sökmotorerna är nämligen lika förtegna om kriterierna för indexeringsfrekvensen som relevansalgoritmen. En stor nyhetstidning kanske indexeras oftare än ett obetydligt diskussonsforum. Forskarna tror att Yahoo och Google skulle visa på ännu sämre indexeringsfrekvens om man analyserade sidor som inte uppdateras dagligen, vilket också är min ovetenskapliga erfarenhet.
Forskarna säger också:
“Only an engine guaranteeing constant updates of its index can maintain full credibility towards the users”.
Men frågan är hur stor medvetenheten hos användarna är? Min erfarenhet i undervisningen är att medvetenheten är mycket låg, t.o.m. (om jag törs svära i kyrkan) hos min egen yrkesgrupp: bibliotekarierna. Om man är medveten om problemet är det ändå inte säkert att man vet hur man kan utvärdera detta.