En ny stor sökmotor kallad Cuil (uttalas cool) lanserades igår. Tre gånger så stor som Google, Yahoo och de andra om man får tro vad Cuil själva säger. Över 120 miljarder webbsidor hävdas det att indexet innehåller. Senast jag såg så höga siffror i jämförelse med andra sökmotorer var i den kortlivade fulltextsökningen av Internet Archive som fanns 2003 under namnet Recall. Ansvarig för Recall-projektet var Anna Patterson från Stanford. Samma Anna hör till grundarna av Cuil i vars team vi också hittar en viss herr Louis Monier. Just det, mannen som skapade Altavista. Både Anna och Louis liksom andra i Cuil-teamet kommer närmast från Google.

OK, vad har storleken för betydelse egentligen i sökmotorerna dÃ¥? Med tanke pÃ¥ att de flesta knappt orkar titta pÃ¥ den första träffsidan med 10 länkar sÃ¥ har det inte sÃ¥ stor betydelse. Det är egentligen bara väldigt specialiserade eller helt enkelt illa formulerade sökningar som genererar sÃ¥ fÃ¥ träffar att det gÃ¥r att jämföra hur mycket man fÃ¥r frÃ¥n sökmotorerna. Hittills har jag inte sett att Cuil skulle ge sÃ¥ mycket fler träffar än de andra. Vad gäller relevansen av träffarna är den sÃ¥där. Här finns arbete att göra för Patterson, Monier och de andra. I pressmeddelandet talar man om “content-based results, not just popular ones, providing different and more insightful answers”. Om man med det menar att man helt skippar länkanalys tror jag man ska tänka om.

Fast visst är det spännande med en ny stor sökmotor. Gränssnittet är också lite roligare än de andra stora med undantag av Ask.com. Istället för en linjär lista med 10 träffar med möjligen en YouTube-video insprängd som i t.ex. Google får vi tre kolumner med träffar. Varje träff presenteras med ett längre textutdrag än vad som är vanligt och många med bilder till. Det gör att färre träffar syns på en gång men å andra sidan ser det trevligare ut. En kuriositet är att bilderna ibland inte kommer från webbsidan ifråga. På en sökning på internetbrus illustrerades en av våra sidor med ett fjärilsmönster!?

Cuils bakgrundsfärg är nattsvart (energisnålt) och andra färger i gränssnittet är blått och grått. Som tur var är bakgrunden till träffpresentationerna vit! Ett par saker står ut. Liksom i Yahoo och Ask får man förslag på sökuttryck samtidigt som man skriver i sökrutan och det är en tidsbesparande funktion. Sedan får man också förslag på mer fokuserade sökningar i form av flikar i träfflistan. När jag sökte på Sundsvall fick jag flikar för Gif Sundsvall, Sundsvall Dragons och Sundsvall Hockey. Inte så illa.

Sedan har vi den intressanta funktionen Explore by Category. Först trodde jag det skulle vara automatgenererade kluster här men det verkar vara någon slags named entity recognition som använts. Det annorlunda är att det inte bara är ett antal igenkända namn på personer, platser eller företeelser från texten. De är indelade i begripliga grupperingar som bebop-pianister, indiska kricketspelare, allsvenska klubbar, komponister för kyrkorgel m.m. och det har jag inte sett förut. Att klicka på något i fönstret Explore by category innebär liksom att använda flikarna en fokusering av sökningen eftersom det man klickar på läggs till det ursprungliga sökuttrycket.

Det finns tyvärr ingen som helst dokumentation av söksyntaxen i Cuil än så länge men det kommer säkert. Cuil sparar förresten ingen information i sökloggar som gör att det går att identifiera vem som har gjort olika sökningar. På det sättet visar man att man är medveten om att det finns krav på större rätt till anonymitet då man använder sökmotorer nu än tidigare, t.ex. inom EU. Vi får se vad som händer med Cuil, om de kan förbättra det som inte är så bra, men det är i alla fall roligt med fler sökmotorval.

I förrgår tillkännagavs på Googles officiella blogg att deras encyklopediprojekt Knol nu är publikt tillgängligt för första gången. Vi har tidigare skrivit om Knol och Googles tankar om tjänsten och hur den skulle fungera. I Knol är alla artikelförfattare kända och man kan inte som i Wikipedia redigera vilken artikel man vill. Däremot kan man lämna förslag på ändringar till den namngivne författaren som sedan kan göra vad han/hon vill med de inskickade förslagen. Det går också att kommentera artiklarna och betygsätta dem. Om författaren vill kan denne aktivera Googles annonstjänst AdSense på artikelsidan och försöka tjäna lite på det hela också.

Mina första intryck av Knol är minst sagt blandade. Visst finns det en poäng med att se vem som skrivit artiklarna men det gör ju inte texterna bättre. Vissa av författarna är f.ö. bara presenterade med namn. Det mesta hittills verkar vara artiklar om medicinska ämnen och det finns tyvärr inget sätt att bläddra ämnesmässigt sÃ¥ man lättare hittar artiklar om andra ämnen. Som det är nu fÃ¥r man mest intrycket av att Knol är en medicinsk webbplats med blandad och oorganiserad information. Särskilt seriös verkar den inte heller med rubriker som Plain old bag o’ knols. Jag vet inte riktigt vad Google ska göra för att fÃ¥ Knol intressantare, det räcker ju inte bara att de är inblandade för att det ska bli nÃ¥got.

För ett par år sedan roade vi oss med att hålla koll på fräschören på sökmotorernas index genom att jämföra hur snabba de var på att indexera vår egen webbplats. Det gör vi inte längre men med Firefox-tillägget Resurrect Pages som beskrivs härunder går det snabbt att göra stickprov av de tre stora sökmotorernas index. Tyvärr är inte Yahoos cachade dokument daterade. Därför är det enklast med webbsidor som har någon form av datummarkering som t.ex. dagstidningar och bloggar.

Jag kollade ett tiotal webbplatser och det var genomgående för dessa att Yahoo var bäst uppdaterat och för det mesta hade en eller flera dagar fräschare indexering gentemot Google och Microsoft medan kollen mot Gigablast inte fungerade när jag testade. Det var ju en helt ovetenskaplig undersökning från min sida det inser jag men den bekräftas faktiskt av en vetenskaplig artikel som ska publiceras senare i år i Journal of Information Science.

I preprintet till A three-year study on the freshness of Web search engine databases av Dirk Lewandowki kan man konstatera att denna säger ungefär samma sak. I en figur på sidan 15 visar Lewandowski att Google i 68% av fallen behöver 2 dagar för att göra en sida som deras spindel hämtat tillgänglig för sökning. För Yahoo gäller att i 50% av fallen är webbsidan sökbar samma dag som den hämtats av Yahoo. Microsoft verkar behöva 1-2 dagar och är också något bättre än Google men uppenbart är som sagt att Yahoo gör det här bäst.

Egentligen förvånar det mig inte. Yahoo fick med köpet av Overture tekniker från både Altavista och FAST Search & Transfer (AlltheWeb) som bägge satsat mycket på snabb indexering och att ha ett så uppdaterat sökindex som möjligt. Tidigare hade Yahoo också köpt sökföretaget Inktomi som hade utvecklat en oerhört kraftig sökmotorspindel som heter Slurp. Med en lyckad kombination av tekniker som kan snabb spindling och snabb indexering får man naturligtvis ett fräscht sökindex.

Det verkar som det finns Firefox-tillägg för nästan vad som helst. Det gäller att hänga med och Resurrect Pages hade jag helt missat. Ett mycket praktiskt tillägg som gör det lätt att få fram cachade kopior av webbsidor som man inte får upp när man surfar. Kan också användas för att hålla kolla på hur färsk indexeringen är i de tre största sökmotorerna. Man kan installera Resurrect Pages från den här sidan. Tillägget är inte nytt utan har funnits i två år och verkar stabilt och pålitligt.

Så här använder man Resurrect Pages enklast tycker jag. Surfa till sidan du inte kommer åt och när du fått upp felmeddelandet att webbplatsen inte svarar eller sidan inte finns mer högerklicka. I menyn som kommer fram finns nu alternativet Resurrect this Page. När man klickat där får man upp en ruta från vilken man kan välja cachekälla och visning. Antingen kan man visa den cachade sidan i samma webbläsarfönster eller i en ny flik eller ett nytt fönster. Sedan gäller det att välja källa. De tre största sökmotorerna Yahoo, Google och Live Search har alla cachade kopior och de tre finns bland valen under From mirror liksom den lite mindre sökmotorn Gigablast.

Förutom dessa vanliga sökmotorer som kan visa den senast indexerade versionen av sidan finns naturligtvis Internet Archive där man kan välja bland kopior längre bak i tiden. Ett annat alternativ är WebCite som är ett mycket intressant och viktigt initiativ för att göra det enkelt att lagra och länka till kopior av webbsidor som de såg ut då man citerade dem i t.ex. en forskningsartikel. Här finns det naturligtvis ett mycket begränsat utbud men man kan ju ha tur. Slutligen finns också The Coral Content Distribution Network som ett alternativ. Coral CDN har inga cachade kopior utan erbjuder tillgång via ett nät av proxyservrar som gör det lättare att komma åt webbplatser med hög belastning.

Computer Sweden avslöjade igÃ¥r att man upptäckt en allvarlig spionbugg i Eniros mobilsök. Förra veckan lanserade Eniro en mobil postioneringstjänst kallad “Sök nära dig” som gör att du kan söka efter affärer och restauranger där du befinner dig. Computer Sweden upptäckte att det gick att slÃ¥ in andras mobilnummer och se var denna mobilen befann sig. En allvarlig bugg som inte ger nÃ¥got större förtroende för Eniro, men det är ändÃ¥ kul att de satsar pÃ¥ mobil sökning. Tjänsten är för tillfället stängd och tur är väl det.

Förra veckan lanserade Eniro även en iPhone-anpassning för att som de skriver:

“…bättre nyttja iPhones stora skärm och grafiska presentationsmöjligheter.

Jag tillhör fortfarande de (o)lyckliga? som inte har en iPhone, men i Umeå behagar man till och med att köa långt i förväg när Telia gjorde sitt iPhone-släpp.

Att kunna bygga egna specialiserade söktjänster genom att välja ut speciella källor som man söker mot är inget nytt. Google Co-op har funnits ett par år och sociala söktjänster och swickitjänster som Eurekster och Rollyo likaså. Nu ger Yahoo tillgång till ett programmeringsgränssnitt kallat BOSS (Build your own search engine) med vilket man ska kunna göra samma saker och mer därtill. I utvecklarbloggen skriver BOSS-teamet att eftersom det idag är i princip omöjligt att slå sig in på sökmotormarkanden så vill man erbjuda ett alternativ. Med BOSS-API:n ska det vara möjligt att göra många intressanta lösningar och man pekar på några tidiga exempel i form av Hakia och Cluuz. Mer information om BOSS finns bl.a. på sidorna Yahoo! Search BOSS och BOSS Mashup Framework, och i utvecklaren Vik Singhs blogg: BOSS - an insider view.

Eniro.se lanserar idag mobilsök och hävdar i sitt pressmeddelande:

“Mobil.eniro.se blir först ut i Sverige med att lansera en söktjänst för mobila Internetsajter”.

Hmm, ni glömde bort att Sesam har svenskt mobilsök (och då menar jag mobilt sökindex): mobil.sesam.se. Eniro har samma startrutor med Vad/Vem/Nummer respektive Var(adress el. ort) i mobilsök som i webbsökningen. En sökning i första rutan på t.ex. Zlatan ger både träffar i ett index över enbart mobila webbsidor och träffar i Personer och Köp och sälj. Även Kartor, Vägbeskrivning och Gula sidorna är sökbara. Väljer man att klicka direkt på länken Sök moblit internet kommer man direkt till mobilindexet. Där kan man välja att begränsa sin sökning via Ämne, Hur, För vem, När eller klicka på detaljsök och skriva/trycka in ord.

Om vi jämför Eniros mobila index med Sesams då? En sökning på Zlatan ger 18 träffar i Sesam men bara 2 träffar i Eniro. Även om några träffar i Sesam är irrelevanta så får man fler mobila webbsidor. En sökning på Öland ger 16 träffar i Sesam och ingen träff i Eniro. Sesam ger mer info men viss irrelevans och som vi skrivit tidigare hade Sesam problem även med spam och porr på den norska varianten. Eniro ger dock 0 träffar på flera sökningar jag testar där Sesam ofta ger ett antal träffar åtminstone.

Sesam och Eniro har alltså enbart mobilanpassade webbsidor i sina index och har inget webbindex som Google mobilsök har, där dom konverterar webbsidor till mer mobilanpassade sidor. Kul att att få tillgång till Eniros söktjänster via mobilen, men jag sedan länge vant mig vid Hitta.se på mobilen.

Google meddelar att de precis har lanserat en ny algoritm för indexering av Flash. På Google Webmaster Blog beskriver de mer ingående tillvägagångssättet. De har riktat in sig på alla sorters SWF-filer och olika flash-element som knappar, menyer, banners etc. Även länkar i flash-filer samlas in och ställs i kö för att bli spindlade. Fast de lägger in en passus:

“…may now be better able to discover and crawl more of your website”.

Vilket jag tolkar som att de inte alltid lyckas med indexeringen. Sedan är de tydliga med att förklara att det bara är text i själva flash-filen som indexeras, inte om det bara är bilder med text i flash-filen. Vill man inte att Google ska indexera text från flash-filen, t.ex. text om upphovsrätt, så rekommenderas att man helt enkelt lägger det i en bild i själva flash-filen.

Dessutom bryr de sig inte om länktexten, vilket ju är ett viktigt rankingkriterium i Googles vanligtvis. Detta med tanke på det utbredda fenomenet Googlebombning. De bryr sig inte heller om FLV-filer som t.ex. YouTube använder.

Hur gÃ¥r det dÃ¥ till när Google spindlar en flash-fil? Tja, det är naturligtvis en hemlighet hur det gÃ¥r till i detalj men algoritmen har kunnat förbättrats genom att använda Adobe’s nya Searchable SWF library. Där kan man läsa att Adobe samarbetar bÃ¥de med Yahoo och Google men pÃ¥ Yahoos blog finns inget mer nämnt frÃ¥n deras sida i skrivande stund.

Det finns tre huvudsakliga tekniska begränsingar i Googles spindling av flash just nu:

1. Vissar typer av javascript. Om Flash-filen laddas av ett javascript kan Google ha problem.

2. Innehåll från externa resurser som laddas av flash-filer. T.ex. om flash-filen laddar en HTML-fil, XML-fil, SWF-fil etc. Google kommer att indexera dessa resurser separat och räknas inte just nu som en del av innehållet i din flash-fil.

3. Google har stöd för de flesta av världens språk men än så länge finns inte stöd för t.ex. arabaiska och hebreiska, men det kommer.

Innebär då detta att vi kan slå alla flash-kritiker på fingrarna? Nej, inte i mina ögon, men det är en klar förbättring för de som redan lagt ut en massa pengar på att anlita en dyr flashreklamwebbyrå.

Hörde pÃ¥ en podcastintervju när jag cyklade till jobbet med Ianus Keller gjord av Nicole Simon pÃ¥ Cruel to be kind. Hon säger:”I hate flash. Because it restricts me in so many ways…” (About 14:30 of 47:23). Vill du höra mer av hennes argument och Iannus svar är det bara att lyssna frÃ¥n ca 13:00 och framÃ¥t ett antal minuter.