Yahoo-ägda Inktomi har mot betalning gett VeriTest uppdraget att undersöka vilken av följande sökmotorer som presenterar de mest relevanta träffarna: Inktomi, Google, Teoma, FAST(Alltheweb), Wisenut, Altavista. Vinnare blev Inktomi tätt följd av Google, med övriga sökmotorer en bit längre ned.
Vad betyder då ett sånt här test? Både Altavista, AskJeeves och Google har tidigare betalat VeriTest(tidigare eTestinglabs) för att utföra liknande tester som naturligtvis visat att just de har mest relevanta träffar. Vad kan det bero på? Paralleller går att dra med de kliniska prövningar som läkemedelsföretag brukar göra för sina läkemedel. Negativa resultat presenteras aldrig, bara de positiva. Därför får man ta dessa tester med en nypa salt. För att få trovärdighet i sådana här tester borde de stora sökmotorerna tillsammans betala för en gemensam rankingtest som alla skriver under på att de ska presenteras oavsett resultat.
Är då Inktomis test meningslöst? Kanske inte. Låt oss titta på hur VeriTest kommit fram till resultatet. VeriTest har fått 7 miljoner loggade sökfrågar av Inkomi och med hjälp av ett program tog man bort dubletter, icke-engelska sidor, porrsidor m.m. 1 miljoner frågor blev kvar och av dessa har 100 frågor valts ut som VeriTest kört mot alla undersökta sökmotorer och de tio första träffarna har värderats. Inktomi’s högre oviktade poäng (54.33%) är så marginell gentemot Googles (53.23%) att man måste anse att Googles och Inktomis ranking ligger på samma nivå. Övriga sökmotorer hamnar inom spannet 39% till 43%.
Vilken metodik har man då använt när man väljer ut vilka sidor som anses relevanta? Varje träff har bedömts som antingen accepterad eller avslagen beroende på om sidan varit relevant utifrån sökfrågan eller inte. I bedömningen har de fått vägledande frågeställningar som:”Om jag var intresserad av detta ämne skulle jag bokmärka sidan?”. Varje bedömd sida har också fått en viss bedömningsgrad där “Excellent” och “Good” innebär att sidan är accepterad och “Fair”, “Poor”, “Spam” etc innebär avslagen. Alla sökmotorerna visar sig faktiskt ge väldigt relevanta träffar när det gäller träff 1. WiseNut hamnar t.o.m. på andra plats före Google men efter Inktomi.
VeriTests rankingtest beställt av Inktomi mars 2003
VeriTests rankingtest beställt av Google september 2000
VeriTests rankingtest beställt av Altavista maj 2000
VeriTests rankingtest beställt av AskJeeves april 2002