Microsoft säger sig har gjort den största uppdateringen av söktjänsten Live.com sedan starten i januari 2005. Innan dess förlitade de sig på licensierad sökmotorteknologi. Vad har då hänt? Vi har kikat lite på utvecklarbloggen, pressmeddelandet och det nya faktabladet och försöker sammanfatta.

• En fyrdubbling av indexets storlek. Det skulle betyda att man är i paritet med Yahoo och Google med uppskattningsvis 20 miljarder webbsidor?
• Bättre rankingalgoritmer, bättre hantering av stoppord, rättstavningshjälp. SvÃ¥rt att bedöma. Redan tidigare hade dock Live.com som vi rapporterat presterat bäst av alla i ett par undersökningar om relevans.
• Förbättrad förmÃ¥ga att förstÃ¥ användarens sökfrÃ¥ga. Det blir en utmaning att testa.
• Mer fokus pÃ¥ hjälp att precisera sökuttryck. Man fÃ¥r en lista med Related Searches väl synlig till höger. Det tycker jag är bra och har varit standard länge hos t.ex. Ask och Exalead.
• Snabbare gränssnitt. Är böjd att gÃ¥ med pÃ¥ att det känns som en piggare sökmotor nu med snabbare svarstider.
• En satsning pÃ¥ mer vertikalt innehÃ¥ll. Lätt tillgÃ¥ng till träffar frÃ¥n specialiserade sökindex som t.ex. bilder, video, nyhetsartiklar, akademiska artiklar, produkter och nyare “vertikala” index som frÃ¥getjänsten QnA och Health. Ibland sprängs vertikalt innehÃ¥ll in i den vanliga träfflistan.
• Man ska ocksÃ¥ ha arbetat pÃ¥ att göra typografi, färger, kontraster och annat i gränssnittet tydligare. Jag kan ju tycka att det är rätt sÃ¥ lättarbetat men lite smÃ¥trÃ¥kigt. Fast Google är ju ännu tristare.

Det är för tidigt att säga vad helhetsintrycket är men visst blir Live.com allt bättre. Det finns idag fem stora sökmotorindex. Google, Yahoo och Microsoft har de absolut största och har ganska likartade gränssnitt. Ask och Exalead har mindre index men vågar betydligt mer vad gäller gränssnitt och funktioner. Jag ser ingen förändring av Googles dominans på kartan just nu men är man intresserad av relevantare träffar så kan de finnas i Live.com. Vill man ha mer verktyg, hjälp och roligare sökning ska man strunta i de tre dominanterna och använda Ask och Exalead.

Uppdatering: I senaste blogginlägget på Live Search påstås MSN indexera 20 miljoner webbsidor.

Att surfa med mobilen kan vara oroande om man är kostnadsmedveten. Åtminstone om man inte använder WLAN eller 3:s fasta kostnadspris utan en 3G eller kanske GPRS-uppkoppling (som i mitt fall) som tickar pengar som på den gamla goda tiden i mitten av 90-talet när man surfade med slöa modem. Letar man fram en webbsida vet man inte i förväg hur många KB som kommer att laddas. Ett säkrare sätt är därför att hålla sig till sidor som är mobilanpassade och inte lika tunga. De är förhoppningsvis lättare att läsa och sidan laddas fortare.

Detta är ett av argumenten som amobil.no använder i sitt test av mobilsök i Google, Sesam, Yahoo, Kvasir. Om vi kollar jämförelsen de har gjort mellan Google mobilsök och Sesam norska mobilsök (wap.sesam.no). Det finns även en svensk (wap.sesam.se). De hävdar följande:

“Sesams søkemotor er den desidert beste hvis du vil søke pÃ¥ wap-sider og ikke store internettsider. Her fÃ¥r du nemlig flest relevante treff pÃ¥ wap-sider, bÃ¥de norske og engelske”.

En sökning på Zlatan i Sesams norska mobilsök ger träffar på webbsidor, bilder, nyheter, företag, personer, wikpedia, ringtoner. Webbsidorna hänvisar till mobilanpassade sidor, men jag häpnar över relevansen som hålls uppe i norska testet. Första träffan i mobilindexet på sökningen Zlatan ger en länk till en wap-porrsida(!), liksom sjunde träffen.

I övrigt visas också mycket annat irrelevant. Naturligvis måste fler sökuttryck testas, men det ger en fingervisning om att det norska testet kan ha dragit lite förhastade slutsatser om att Sesams relevans skulle vara bättre än Googles.

Betydligt mer relevant blir en sökning på zlatan via Googles mobila index:

I Sesams mobila nyhetssökning extraheras i de flesta fall enbart texten frÃ¥n respektive nyhetssida sÃ¥ att man inte gÃ¥r inte pÃ¥ en eventuellt “tung” webbsida. Bra, men om man gillar nÃ¥n bild som illustrerar nyheten? Wikipediaträffarna hänvisar till mobilanpassade versionen av wikipedia som heter wapedia (wapedia.mobi). Informationen om Zlatan Ibrahimovic är densamma bÃ¥de pÃ¥ norska wapedia som i norska wikipedia.

4.090 mobila sidor i Google mot 3.801 i Sesam. Störst är inte alltid viktigast, men som jag har pläderat tidigare har indexstorleken absolut betydelse.

Sesam är bra på att göra det lättare för användaren att undvika att hamna på tunga sidor, men Googles träffar från nätet i mobilsök anpassas till XHTML och gör det enklare att läsa i mobilen än om du gick direkt till den icke-anpassade sidan. Om man tar förstasidan på DN som exempel blir det 7 KB via Google mobila sökning på vanliga webbsidor och om man går direkt till ww.dn.se blir det 184 KB. Stor skillnad och Google bryr sig.

Amobil.no skriver:

“Googles Wap-søk kan ikke mÃ¥le seg med Sesam. Hvis du søker etter wap-sider er det større sjans for Ã¥ fÃ¥ arabiske treff enn Ã¥ fÃ¥ norske. Og selv engelske treff er søkemotoren dÃ¥rlig pÃ¥”.

Jag söker pÃ¥ “Toronto Maple Leaf News” och “discovery of rnai” i bÃ¥de Google och Sesam mobilsök och Google ger fullt acceptabel relevans. Sesam mobilsök svarar:”Tjenesten er midlertidig utilgjengelig, prøv senere. Intern søkemotorfeil”.

Jag skulle gärna se hur amobil.no kommit fram till sin relevansbedömning. Prova själva och döm!

Den tyska sökbloggen @-web skrev nyligen om en intressant forskningsartikel författad av tvÃ¥ israeler vid namn Ziv Bar-Yossef och Maxim Gurevich. Detta paper heter Random Sampling from a Search Engine’s Corpus och har publicerats i en preliminär version i ett konferenstryck till 15th International World-Wide Web Conference (WWW20006). Egentligen handlar den 70-sidiga framställningen om att hitta den perfekta metoden att kunna göra slumpmässiga stickprov pÃ¥ sökmotorers index och upptas nästan enbart av matematiska formler. Men i avsnittet 9.5 Exploration experiments (s. 47-53) har man presenterat nÃ¥gra exempel pÃ¥ vad algoritmerna kan ge för resultat när de släpps loss pÃ¥ de tre största sökmotorerna Google, Yahoo och MSN Search. Här är nÃ¥gra “godbitar”:

• Googles index har runt 2 % döda länkar medan MSN Search och Yahoo bägge bara har runt 0,5-0,7 %
• MSN Search har de fräschaste indexerade versionerna av webbsidorna och Google de äldsta
• Yahoo har det största indexet som är 28 % innehÃ¥llsrikare än Googles medan MSN Search är ca 3/4 sÃ¥ stort som Googles
• Yahoo indexerar flest .com-domäner medan Google är dÃ¥liga pÃ¥ att indexera .info-domäner
• Överlappningen mellan de tre sökmotorerna varierar mellan 30,8 % och 52,8 % beroende pÃ¥ vilkens index man jämför med vilken annans

I måndags kom ett pressmeddelande som tillkännagav att den franska sökmotorn Exalead har utökat sitt index över webbsidor till 4 miljarder. Med hjälp av ett nytt datacenter och övergången till 64-bitarsteknik menar man dessutom att man ska kunna dubblera siffran till juli.

Det här med antal sidor i indexet är väldigt svårt att bedöma men förmodligen betyder detta att Exalead tillsammans med AskJeeves är en bit under de tre största sökmotorerna Yahoo, Google och MSN Search i storlek. Det är bra med ett stort webbindex och det gläder oss att Exalead utvecklas på detta sätt. Ur andra synvinklar har ju Exalead mycket att ge vad gäller avancerade sökfunktioner och gränssnitt som ovan nämnda sökmotorer inte har.

Personligen är jag väldigt förtjust i möjligheten att snabbt växla mellan träfflistor som innehåller bara textinfo, textinfo + tumnagelsbilder av webbplatserna eller bara tunmnagelsbilderna. Detta snabbar upp att få en överblick över träffarnas karaktär. På samma sätt är rutan till vänster om träffarna mycket trevlig och användbar. Här får man relaterade söktermer, träffar per språk, träffar per land, träffar per dokumentformat, lämpliga kategorier från Open Directory, möjlighet att köra sökningen fonetiskt eller att söka bland träffarna. Lättfattligt och lättillgängligt.

Överst i vänsterrutan fÃ¥r man ocksÃ¥ praktiska söktips under rubriken “Did you know?”. Ett besök pÃ¥ det avancerade sökformuläret kan ocksÃ¥ löna sig - här fÃ¥r man tillgÃ¥ng till stemming, trunkering, närhetssökning, sökning pÃ¥ ungefärlig stavning och som om inte detta vore nog t.o.m. sökning pÃ¥ reguljära sökuttryck. Med det sistnämnda menas det som pÃ¥ engelska heter regular search expressions och som används av skriptsprÃ¥k som Perl och PHP.

En annan av fördelarna med Exalead är att om man klickar på någon av tumnagelsbilderna i träfflistan visas sidan ifråga i ett fönster under träfflistan. Man behöver därför inte navigera fram och tillbaka till sökmotorn som i de flesta andra sökmotorer. Ännu bättre är det faktum att i denna ruta är sökorden uppmarkerade med gult på webbsidan ifråga. I raden alldeles ovanför ser man hur många gånger man har fått träff på sökordet och med pilikonerna kan man snabbt navigera mellan förekomsterna av sökordet. Det ska noteras att det är den cachade kopian som utnyttjas i detta preview-fönster.

Den franska sökmotorn Exalead som vi tidigare hyllat för sina avancerade sökfunktioner som trunkering, närhetssökning, stemming, fonetisk sökning, fältsökning för språk, har gjort en uppgradering. Bland annat har indexet ökat och ligger över 2 miljarder sidor, ungefär lika mycket som Gigablast, vilket är dubbelt som mycket som tidigare. Den exakta siffran på storleken är inte så viktig men om det är ca 1 miljard eller 2 miljard är av betydelse, som vi tidigare argumenterat för.

Sedan december 2004 har det funnits möjlighet att lägga in egna länkar till sidor under själva sökrutan. Förändringen är nu att man kan lägga in upp till 18 genvägar. Med fördel kan man lägga in sökvägen till andra söktjänster, vilket gör det möjligt att utföra samma sökning på ytterligare söktjänster genom att klicka på genvägen som utformas som en liten bild under sökrutan. I hjälpen i Exalead under Miscellaneous och rubriken Smart bookmarks kan man se hur det går till. Här finns också en mer pedagogisk förklaring från Search Engine Watch blog.

Det finns många fler bra funktioner i Exalead och den är väl värd att testa. I hjälpen under Keyboard shortcuts finns instruktioner till genvägar för att lättare navigera i träfflistan. Med Enter eller genom att klicka nånstans på träffen (dock inte på själva länken) kan man få en liten förhandstitt på sidan utan att behöva gå direkt till sidan. Samma funktion finns i Clusty.com (fanns tidigare i både Brainboost och WiseNut). Med Esc eller Enter kan man stänga förhandstitten. Med mellanstegstangenten kan man vandra framåt i träfflistan och med Shift+Mellanstegstangenten backa i träfflistan.

Exalead visar till vänster i träfflistan en funktion för relaterade termer, relaterade kategorier (hämtade länkar från Dmoz.org) och webbplatser utifrån land (länkar från Dmoz.org sorterade efter land). Längst ner sorteras träffarna efter dokumenttyp, bl.a. power point, PDF, flash, men inga andra ljud eller videofiler. Video och audio kan man däremot begränsa till högre upp på sidan i den grå ramen. Här finns också valet RSS som gör att man ser vilka eventuella träffar i listan som har RSS-länkar.

Förvalet i träfflistan är att man för se en liten bild av webbsidan, liknade det som är möjligt med Thumbshots i Open Directory och Firefox tillägget GooglePreview. Det går att välj i den grå ramen högst upp till höger om man inte vill se dessa små bilder eller enbart dessa små bilder med reducerad text.

Med tanke på Exaleads ökning av indexet har de visat att de vill vara med och konkurrera med de stora och deras avancerade sökfunktioner gör att man inte längre sörjer gamla Altavista advanced som hade både trunkering och närhetssökning i sin sökarsenal.

Det ska också läggas till att Exalead nu också lanserar ett eget skrivbordsökningsprogram under namnet Exalead One Desktop. Men den får ni äran att testa själva.

På Search Engine Watch fortsätter man att irritera sig över kriget mellan Google och Yahoo om vem som har störst index. Självklart är storleken på indexet inte viktigast, men det är, enligt min mening, viktigare än Danny och hans medarbetare vill reducera det till. Danny leker med en gammal sliten liknelse som han kallar nålen i höstacken.

Här ett översatt citat:

Du vill hitta nålen? Du behöver hela höstacken, säger förespråkarna för stora index. Men om jag dumpar ner hela höstacken kan jag hitta nålen då? Att bara vara störst är inte tillräckligt bra.

Det finns två problem med Dannys logik i min mening. Allt handlar om vilken frågeställning man har och vilken förkunskap man som användare har om sökverktygen?

Steg 1:Vill jag hitta min kompis Pelle Stortruts webbsidor om Puch-mopeder som jag inte vet adressen till så väljer jag den kända sökmotorn David med den lilla, nästan luktfria höstacken (litet index, bra relevans). Kanske luktar Pelle Stortruts webbsida om Puch-mopeder för illa för att platsa i höstacken, för jag får ingen träff. Istället söker jag i sökmotorn Goliat som har en stor illaluktande höstack (stort index) där det går att hitta nålen bara jag vet hur nålen ser ut (ordmatchning: Pelle Stortrut) och där hittar jag minsann Pelles stinkande webbsidor som kanske inte bedöms som särskilt professionella i förhållande till andra liknande webbsidor om Puch-mopeder men det var ju just Pelles sidor jag ville ha.

Steg 2:Jag blir intresserad av sidor om Puch-mopeder och får tre excellenta sidor om detta när jag söker i David men genom att läsa Internetbrus har jag fått veta att Davids sökmotor bara har en liten höstack men Goliat har en stor, visserligen illaluktande, höstack. När jag söker i Goliat hittar jag ytterligare 5 webbsidor om Puch-mopeder, inte alla av samma kvalitet men åtminstone 3 av de är intressanta innehållsmässigt och kompletterar de 3 excellenta sidorna i David. Plötsligt har jag dubbelt så många intressanta sidor om Puch-mopeder, om än inte alla lika bra.

Steg 3: Pelles kompis Arne är också intresserad av Puch-mopeder och vill veta hur man renoverar dessa. Arne vet inte mycket om sökmotorer och väljer den han känner bäst till och det blir David. Han får upp 3 bra sidor om Puch-mopeder och på en av sidorna står det om hur man renoverar. Han hittar det mesta men de beskriver inte hur man kan renovera just en Puch Dakota. Samtidgt läser jag hur man renoverar en Puch Dakota på Pelles webbsida som jag hittat i Goliat. Det är lite bristfälligt beskrivet men jag får vet en del i varje fall. Under tiden ringer Arne till Pelle och frågar om han vet hur man renoverar en Puch Dakota? Gissa en gång vad Pelle säger då?

Slutsats1: Små index kan missa enstaka sidor som är viktiga för enskilda användare, men inte för majoriteten. Kalles sida missas men inte DN.

Slutsats2: Få träffar, eller god förkunskap om sökmotorernas storlek, kan innebära att användaren vill se om det går att få fler träffar, bra eller dåliga, i en annan sökmotor.

Slutsats3:Att man inte alltid ska leta i hela höstacken är en helt adekvat iakttagelse, men det är snarare ett argument för att ÄVEN använda specialiserade sökmotorer som är inriktade mot vissa ämnen, företeelser eller mediatyper. Vill man t.ex. hitta forskningsmaterial kan man prova Google Scholar eller Scirus istället för Google eller Yahoo. Allmänna sökmotorer som Google och Yahoo bör täcka så mycket som möjligt, sedan kvittar det om den ena har 1000 sidor mer än den andre. Men skiljer det miljarder har det betydelse. En allmän sökmotor bör idag åtminstone ha över 1 miljard sidor, för att kunna behålla en bred grupp av användare.

Har storleken trots mina argument så liten betydelse att man inte ens ska begära att det finns ungefärliga beräkningar att förhålla sig till? Döm själva, men kom ihåg att detta inte var ett försvar för att storlek är viktigare än relevans. Det ena är beroende av det andra. Sedan är det en helt annan fråga, men kanske ännu viktigare, om det ens är möjligt att göra en individuell rättmätig mätning av en sökmotors storlek. Man kan ju i praktiken tävla om vem som är störst genom att indexera så mycket skit som möjligt och i det fallet är Danny helt rätt ute. Mer om det senare förhoppningsvis.

Bias i forskningen är inget nytt. Senast var när botanisten David Bellamy pÃ¥stod att glaciärerna i världen inte minskar utan ökar. Det senaste exemplet i sökvärlden är studien “A Comparison of the Size of the Yahoo! and Google Indices” av Matthew Cheney, Mike Perry, and Dr. Orville Vernon Burton vid University of Illinois at Urbana-Champaign and the National Center for Supercomputing Applications. I en blogkommentar i Yahoo Search blog och pÃ¥ sin blogg Infothought kommenterar Seth Finkelstein att forskarna misstolkat svaren frÃ¥n Google. Man har helt enkelt räknat träffar som egentligen kommer frÃ¥n stora ordlistor publicerade pÃ¥ webben eller meningslösa manipulerade sidor (eng. gibberish spam pages). En sökning pÃ¥ alkaloid’s observance i Yahoo ger 0 träffar, men om man tar bort apostrofen sÃ¥ fÃ¥r man 2160 träffar(!) för Yahoo och 717 för Google utan apostrof. Med apostrof fÃ¥r man i Google 28 träffar frÃ¥n manipulerade sidor eller ordlistor som Yahoo förmodligen betraktar som skräp men inte indexerar i sitt index.

Även Gigablast har ökat sitt index men ökningen är blygsamma(!) 44 miljoner. Från 2,024 miljarder till 2,068 miljarder. Till skillnad från Yahoo och MSN vågar Gigablast, liksom Google, ange rådande indexstorlek på sin söksida.

Gigablast säljer nu sitt index förutom till saudiarabiska Deepy även till Snap.com.

Enlig John Battelle som pratat med ansvariga på Google hävdar Google att de inte alls kan komma fram till att Yahoos index verkligen har ökat till 19,2 miljarder sidor. Google har länge varit hederliga med att visa storleken på indexet på deras söksida. En sökning i Internet Archive på gamla Google-sidor visar att man sedan mitten av juni 2001 visat storleken på sin söksida. Vid den tiden hävdade man 1.060.000.000 sidor. En analys av storleken på Googles index gjord av Greg Notess i augusti 2001 visade då att storleken egentligen var 730 miljoner sidor. Tittar man sedan på Notess test i mars 2002 ser man att Google hävdar 1,5 miljard men enligt Notess test 968 miljoner. Samtidigt som dåvarande Fast/Alltheweb hävdade 507 miljoner men hade 580 miljoner(!) enligt Notess test. Sista testet från december 2002 visar dock på mer överensstämmande siffror.

Tyvärr har Greg Notess inte fortsatt sina tester och vi sökintresserade borde väl be på våra bara knän att Notess återupptar sina eftertraktade tester igen. Annars vore väl det bästa som Gary Price föreslår att någon utomstående instans borde göra dessa storlekstester så att vi slipper denna overifierade kamp om att blåsa upp siffror sökmotorerna emellan. Det betyder inte att jag tycker indexstorleken saknar betydelse, för som jag sagt tidigare tycker jag definitivt att den har betydelse i sökhänseende även om det finns andra kriterier som naturligtvis är viktigare som relevanta svar och hanteringen av manipulerade sidor som framförallt svenska sökningar i Google är nedlusad av.

Ännu har inte Google svarat på Yahoos storleksökning, men åtminstone har man aviserat att deras Googles bildsökning har ökat till nästan 2,2 miljarder i jämförelse med Yahoos 1,6 miljarder bilder. Enligt mina egna preliminära tester verkar det absolut som att Yahoos index är större än Googles men jag ställer mig också tveksam till siffran 19,2. Å andra sidan lär nog Googles siffra på 8,1 miljarder sidor vara större med tanke på att det nu är ett år sedan den ökningen skedde och det vore väl konstigt om Google t ex inte har indexerat alla nya sidor som producerats på nyhetswebbplatser och bloggar. Men räkna med att Google ger svar på tal i storlekskriget inom den närmsta framtiden.

Yahoo har för första gången, sedan man köpte Altavista och Alltheweb och byggde upp ett eget index, ökat på storleken på sitt index: 19,2 miljarder webbsidor, vilket betyder mer än dubbelt så många sidor som Googles dryga 8 miljarder. Förutom detta har man 1,6 miljarder bilder via Yahoo Images och 50 miljoner ljudfiler via Yahoo Audio search. Storlekskriget är igång igen och frågan är nog inte om, utan när Google svarar. Senast när MSN gick upp i topp med 5 miljarder sidor svarade Google med 8 miljarder samma dag.

Läs mer på Yahoo search blog