Att kunna bygga egna specialiserade söktjänster genom att välja ut speciella källor som man söker mot är inget nytt. Google Co-op har funnits ett par år och sociala söktjänster och swickitjänster som Eurekster och Rollyo likaså. Nu ger Yahoo tillgång till ett programmeringsgränssnitt kallat BOSS (Build your own search engine) med vilket man ska kunna göra samma saker och mer därtill. I utvecklarbloggen skriver BOSS-teamet att eftersom det idag är i princip omöjligt att slå sig in på sökmotormarkanden så vill man erbjuda ett alternativ. Med BOSS-API:n ska det vara möjligt att göra många intressanta lösningar och man pekar på några tidiga exempel i form av Hakia och Cluuz. Mer information om BOSS finns bl.a. på sidorna Yahoo! Search BOSS och BOSS Mashup Framework, och i utvecklaren Vik Singhs blogg: BOSS - an insider view.

Google meddelar att de precis har lanserat en ny algoritm för indexering av Flash. På Google Webmaster Blog beskriver de mer ingående tillvägagångssättet. De har riktat in sig på alla sorters SWF-filer och olika flash-element som knappar, menyer, banners etc. Även länkar i flash-filer samlas in och ställs i kö för att bli spindlade. Fast de lägger in en passus:

“…may now be better able to discover and crawl more of your website”.

Vilket jag tolkar som att de inte alltid lyckas med indexeringen. Sedan är de tydliga med att förklara att det bara är text i själva flash-filen som indexeras, inte om det bara är bilder med text i flash-filen. Vill man inte att Google ska indexera text från flash-filen, t.ex. text om upphovsrätt, så rekommenderas att man helt enkelt lägger det i en bild i själva flash-filen.

Dessutom bryr de sig inte om länktexten, vilket ju är ett viktigt rankingkriterium i Googles vanligtvis. Detta med tanke på det utbredda fenomenet Googlebombning. De bryr sig inte heller om FLV-filer som t.ex. YouTube använder.

Hur gÃ¥r det dÃ¥ till när Google spindlar en flash-fil? Tja, det är naturligtvis en hemlighet hur det gÃ¥r till i detalj men algoritmen har kunnat förbättrats genom att använda Adobe’s nya Searchable SWF library. Där kan man läsa att Adobe samarbetar bÃ¥de med Yahoo och Google men pÃ¥ Yahoos blog finns inget mer nämnt frÃ¥n deras sida i skrivande stund.

Det finns tre huvudsakliga tekniska begränsingar i Googles spindling av flash just nu:

1. Vissar typer av javascript. Om Flash-filen laddas av ett javascript kan Google ha problem.

2. Innehåll från externa resurser som laddas av flash-filer. T.ex. om flash-filen laddar en HTML-fil, XML-fil, SWF-fil etc. Google kommer att indexera dessa resurser separat och räknas inte just nu som en del av innehållet i din flash-fil.

3. Google har stöd för de flesta av världens språk men än så länge finns inte stöd för t.ex. arabaiska och hebreiska, men det kommer.

Innebär då detta att vi kan slå alla flash-kritiker på fingrarna? Nej, inte i mina ögon, men det är en klar förbättring för de som redan lagt ut en massa pengar på att anlita en dyr flashreklamwebbyrå.

Hörde pÃ¥ en podcastintervju när jag cyklade till jobbet med Ianus Keller gjord av Nicole Simon pÃ¥ Cruel to be kind. Hon säger:”I hate flash. Because it restricts me in so many ways…” (About 14:30 of 47:23). Vill du höra mer av hennes argument och Iannus svar är det bara att lyssna frÃ¥n ca 13:00 och framÃ¥t ett antal minuter.

Yahoo har tecknat ett avtal med Google om att visa Google AdWords, dvs. deras sponsrade länkar, på Yahoos sajter i USA och Kanada, enligt pressmeddelande från Google 12 juni och pressmeddelande från Yahoo 12 juni. Intressant särskilt med tanke på att Microsoft så envetet försökt köpa upp Yahoo.

I Googles pressmeddelande säger man:

“Yahoo can use Google’s advertising technology on as many or as few of its search results and content pages as it chooses”.

I Yahoos pressmeddelande skriver man följande om MSN och Yahoo Messenger:

Yahoo! and Google agreed to enable interoperability between their respective instant messaging services.

I avtalet finns också ett förbehåll om att båda parter har rätt att säga upp avtalet om ägarförhållandena hos någon av parterna ändras. Yahoo måste betala en avgift om avtalet sägs upp. Intressant. Mera pengar för Microsoft att ev. betala om de till slut sväljer Yahoo. Enligt BBC skulle avtalet ge Yahoo inkomster på 800 miljoner dollar varje år. Avtalet löper i första hand på tre år, men kan fortsätta i upp till tio år om Yahoo väljer att fortsätta.

Ask ger upp och satsar på gifta kvinnor(!) och Yahoo trängs ihop alltmer mellan Microsoft och Google.

PÃ¥ Yahoo! Indiens söktjänst testar man ett annorlunda utseende pÃ¥ träffsidorna. För mÃ¥nga sökord kan man nu fÃ¥ inte bara den vanliga träfflistan med 10 träffar i taget utan en sammansatt träffpresentation. Den är uppbyggd av olika rutor som kan innehÃ¥lla de vanliga träffarna, nyhetsträffar, bildträffar frÃ¥n Flickr, artikeltext frÃ¥n Wikipedia och kartor frÃ¥n Yahoo! Maps. Jag tycker det är trevligt och tydligt presenterat med klara avgränsningar. Idén är ju inte ny t.ex. har Ask.com kört med det nÃ¥gra Ã¥r och även Exalead har nÃ¥got snarlikt. Vissa kanske tycker de här träfflistorna är svÃ¥rlästa, jag tycker de är relativt lättlästa och ger lite mer än vanliga “linjära” träfflistor.

Exempel på Yahoo! Glue Pages -> sökning på Barcelona

Via norska tidningen Dagens Medier meddelar Schibsteds koncerndirektör Birger Magnus att sökmotorn Sesam kommer att sluta utveckla det egna indexet tillsammans med norska Fast.

– Vi vil ikke lenger videreutvikle vår webindeks og vil bytte til en indeks fra en partner. Vi vil også redesigne tjenesten og sentrere virksomheten rundt noen få hovedtjenester. Imidlertid vil bredden i tjenestespekteret i hovedsak opprettholdes og for brukeropplevelsen vil det ikke merkes så mye

Vilket sökmotorindex de kommer att välja istället vill inte Birger Magnus säga något om, utan det sker på tredjekvartalspresentationen den 2 november. Yahoo ligger väl nära eftersom man använder det som världenindex i Sesam samt att Yahoo inte är lika hård konkurrent som Google vad gäller Sverigemarknaden.

Enligt Sesams Göran Eklöf (Källa:mejl 11/5-2007) använder man alla träffar utom de svenska i världenindexet, men en sökning pÃ¥ ordet internetbrus ger 33.605 träffar i världenindexet och 213 träffar i deras eget sverigeindex, som nu ska överges alltsÃ¥. I Yahoo ger en sökning pÃ¥ ordet internetbrus 75.000 träffar i hela indexet och begränsat till Sverige 56.900. AlltsÃ¥ 18.100 träffar som inte är svenska sidor. I 56.900 ingÃ¥r sidor som är pÃ¥ andra sprÃ¥k, framför allt engelsksprÃ¥kiga, men som anses vara svenska. IngÃ¥r dessa i Sesams världenindex? Kan de vara sÃ¥ mÃ¥nga som 15.505 sidor? En sökning pÃ¥ internetbrus begränsning svenska och sökordet +och ger 55.100 träffar. Högst 1.800 sidor som är svenska men icke svensksprÃ¥kiga. Hmm…

Om Sesam väljer Yahoo blir det intressant att se om hela Yahoos index kommer att vara sökbart via Sesam? Eniro använder Googles index men samma sökningar ger fler träffar i vanliga Google. Ska man på allvar kunna konkurrera i Sverige måste man kunna presentera träffar från hela Google- eller Yahoo-indexet.

I samma veva som Microsoft väljer nu Yahoo att presentera några förbättringar till sin webbsökning. Uppmuntrande att se att man jobbar vidare med gränssnitten och funktionerna och inte är alldeles uppgivna inför Googles överväldigande dominans. Så vad är nytt hos Yahoo den här gången?

Det som man lägger märke till först är funktionen Search Assist eftersom den ger sig till känna så fort man börjar skriva in sökord. Då ramlar nämligen en mörkblå ruta med förslag på sökningar som börjar på samma sätt som det man hunnit skriva in. Den här typen av sökordsförslag i realtid lanserades ju på Yahoo-ägda AlltheWeb i maj 2006 och har också funnits tillgänglig sedan version 2.0 i webbläsaren Firefox sökruta. Men framför allt känner vi ju igen det här från söktjänsten Ask.com som lanserade funktionen på sin startsida i juni i år. Så Yahoo har inte kommit på nått nytt men jag tycker ju alla söktjänster borde ha den här funktionen.

En annan nyhet är att videoträffar från YouTube visas i den vanliga träfflistan med en inbäddad videospelare. Det här innebär att man kan spela upp videon direkt utan att ens lämna träfflistan. Återigen inget unikt, Google har detta, men det är mycket praktiskt och borde också användas av alla de stora söktjänsterna. En annan nyhet är att man nu också kan få infällda bildträffar från Flickr i den vanliga träfflistan. Att få bildträffar från söktjänstens bildindex i träfflistan används av flera idag men här får man ibland alltså specifikt från Flickr.

Nya spekulationer om att Yahoo och MSN planerar samgående förs fram av inflytelserika Wall Street Journal. Yahoos första kvartal i år visade ett vinstminskning på 11% [PDF]. Intressant är den statistik som produceras av företag som Netratings, Hitwise, Comscore och Compete. Search Engine Land skrev mer ingående om detta i mars i år.

Search Engine Land menar att man inte ska jämföra siffror månad mot månad helt enkelt för att det kan finnas många förklaringar till att man plötsligt har en ökning eller minskning under en viss månad. Man ska heller inte basera sina slutsatser på siffror från en enda källa eftersom det finns många olika sätt att presentera siffror på. Men kom ihåg att de siffror som nämns bara rör de amerikanska användarna. Slutsatsen är att Google växer fortfarande medan MSN:s fall under förra året stabiliserats sig något. Yahoo har tappat under årets inledning.

Man kan ju undra, precis som Danny Sullivan, varför inte Microsoft köpte Yahoo tidigare innan man började bygga upp ett eget index. Yahoo hade ju både tekniken bakom Inktomi, Altavista och Alltheweb när man skapade sitt index. Ett uppköp skulle absolut oligopolisera marknaden mer men samtidigt ge mer utrymme för uppstickare som Ask och Exalead. Ask skulle definitivt kunna vara en konkurrent om de i första hand började bygga ett större index och lyckades marknadsföra sig bättre utan för USA.

På nordiska marknaden sätter jag fortfarande hopp till Sesam men jag börjar svagt tvivla. Tidigare i år bytte norska Sesam det globala sökmotorindexet till Yahoo, vilket svenska Sesam haft från starten. De landsbundna indexen är fortfarande skapade av norska FAST. Tyvärr så gör Yahoo på samma sätt som Google gör med t ex Eniro och säljer inte det fullständiga indexet. Testa sökningar (i det globala indexet) på ovanliga ord så ser ni skillnaderna i träffmängden. Det är intressant när en sökning på snåttren ger fler träffar i Sverige-sökningen än i globala sökningen och t.o.m. fler träffar än i Yahoo. Bravo FAST som är bättre på att spindla svenska sidor än Yahoo men tyvärr inte Google som ger 42 träffar i jämförelse med 31 träffar på Sesams svenska sidor.

Det har ju sedan mitten av 90-talet funnits en vedertagen standard för hur man ska få en sökmotors spindelprogram att ignorera vissa webbsidor eller delar av webbplatser. Genom filen Robots.txt i webbserverns rotkatalog och genom meta-taggar i själva html-koden till en sida har man kunnat göra detta. På så sätt har man kunnat hålla undan information om delar av sin webb från sökmotorerna eftersom de har följt standarden.

Nu introducerar Yahoo en ny meta-tagg som kan användas i html-koden för att signalera till Yahoos spindelprogram att den här delen av webbsidan inte skall indexeras. Med deras egna ord från utvecklarbloggen handlar det om:

support for adding a tag to parts of a page that do not relate to the main content, such as navigation, menus repeated across the entire site, boilerplate text, or even advertising

Jag tycker att det är en strålande idé. Med ett sådant verktyg kan man som webbplatsägare indikera för sökmotorn vilken del av innehållet på en webbsida som är det egentliga informationsinnehållet. Jag har svårt att tro att det kan resultera i något annat än mer relevanta träffar och bättre textutdrag från webbsidor i träfflistorna. Naturligtvis kan man säkert hitta något sätt att utnyttja det här på ett manipulativt sätt och många webbförfattare kanske inte orkar använda det här. Men om man ser att det gör det lättare att hitta fram till de väsentliga webbsidorna på en webbplats tror jag fler kan bli intresserade. Ett krav är också att Google och de andra väljer att stödja Yahoos innovation.

I HongKong har Roderick Woo som är statlig ombudsman i frågor om persondata (eng. Privacy Commissioner for Personal Data) publicerat resultatet av en undersökning av anklagelserna mot Yahoo! HongKong i fallet med den fängslade Shi Tao. Denne dömdes i april 2005 i Kina till 10 års fängelse för spridande av texten av ett meddelande som bara var avsett att cirkulera internt inom det kinesiska kommunistpartiet. Enligt uppgift skulle meddelandet vara en varning till journalister angående risken för oroligheter i samband med 15-årsdagen av massakern på Himmelska Fridens Torg 1989. Shi Tao arbetade vid tillfället som journalist på Contemporary Business News i provinsen Hunan.

Reportrar utan gränser anklagade i september 2005 Yahoo! HongKong för att ha lämnat ut uppgifter som hjälpte den kinesiska polisen att koppla ihop Shi Taos e-postkonto med ett IP-nummer. Vi skrev en lång artikel här på Internetbrus vid den tiden om fallet. I oktober 2005 tog den ovannämnde ombudsmannen initiativ till en egen undersökning av omständigheterna runt gripandet. Senare inkom också ett klagomål från en lagstiftare i HongKong och i maj 2006 inleddes så en formell utredning. Avsikten var att klargöra om Yahoo! HongKong hade brutit mot HongKongs persondataförordning (eng. Personal Data Ordinance). I förra veckan släppte ombudsmannen ett pressmeddelande och själva undersökningsrapporten lades ut i fulltext på ombudsmannens kanslis webbplats.

I utredningen slås fast att Yahoo! HongKong inte brutit mot den ovannämnda persondataförordningen. Woo skriver att bedrivandet av själva utredningen var svår p.g.a. bristen på bevisning för Yahoos agerande och svårigheterna att få fram uppgifter överhuvudtaget. Han har inte kunnat finna några bevis för att Yahoo! HongKong lämnat ut personuppgifterna ifråga till de kinesiska myndigheterna. Woo menar också i avsnitt 8.11 av själva rapporten att ett IP-nummer i sig inte kan sägas vara persondata.

Rebecca McKinnon som arbetat många år i Kina som journalist och är en av grundarna av Global Voices Online har kommenterat Woos utlåtande i sin alltid läsvärda blogg Rconversations. Hon tycker att Woo i sak har rätt och att det stämmer med hennes sätt att se på fakta i målet. Det sannolikaste är att utlämningen av uppgifterna rörande Shi Tao gjordes av anställda på Yahoo! Kina och inte av Yahoo! HongKong.

Däremot anser McKinnon inte att detta fråntar Yahoo! ansvar för det inträffade. Den springande punkten är att Yahoo! genom Yahoo! HongKong valde att erbjuda en e-posttjänst för kinesiska användare och placerade de fysiska servrarna där användardata lagrades inne i själva fastlands-Kina. Därmed var det givet att dessa data förr eller senare skulle kunna begäras att utlämnas till de kinesiska myndigheterna och polisen.

McKinnon påpekar vidare att konkurrenterna Google och Microsoft just av denna anledning medvetet valt att inte placera servrarna där deras användares data lagras inne i Kina. Så antingen brydde man sig inte på Yahoo eller också tänkte man sig inte för särskilt noga. McKinnon är dock tydligen benägen att tro att det var det senare snarare än det förra. Yahoo:s smutsiga byk är mycket långt ifrån att vara rentvättad i och med Woos rapport tycker jag. Sant är dock som hon skriver att till deras fördel måste man anföra att de faktiskt deltar i det arbete för att formulera riktlinjer för hur företag ska bevaka mänskliga rättigheter när de gör affärer utomlands som initierades i januari i år.

Pressmeddelande från HongKongs Privacy Commissioner for Personal Data

Hela rapporten från själva undersökningen [PDF]

Nyhetsbyrån AFP:s artikel

Rebecca McKinnons kommentarer och analys

Om arbetet med att formulera principer för hur företag ska bevaka mänskliga rättigheter när de gör affärer utomlands

Googles frågetjänst Google Answers lanserades i april 2002 och har levt en undanskymd tillvaro. Man har kunnat skriva in frågor som tagits hand om ämnesexperter som skickat svar i sin tur. En enkel idé som använts och används en hel del av specialiserade frågetjänster och även av biblioteken i Sverige. Problemet med Googles variant var att det kostade pengar att få svar, även om man själv kunde bestämma hur mycket man var villig att betala. Runt 500 experter arbetade med Google Answers och svaren fick man för det mesta inom 24 timmar. Men under den här veckan har Google valt att stänga sin frågetjänst. Man kan dock fortfarande läsa de frågor och svar som finns.

Samtidigt som Google väljer att lägga ner sin frågetjänst är det tydligt att Yahoos gratisvariant är en mycket lyckosammare satsning. Här har man också tagit steget att i de vanliga träfflistorna visa relevanta frågesvar från Yahoo Answers för sökuttryck där det finns sådana. Detta har skett gradvis under november efter vad jag förstår och ger en lite personligare känsla i träfflistan. Rubriken för de här träffarna i listan är Shared by Yahoos.

Yahoo tror så mycket på sin frågetjänst att de genom sin utvecklarblogg inbjudit experterna som jobbat med Google Answers att komma till Yahoos frågetjänst istället. Man har t.o.m. satt upp en särskild diskussionsgrupp för s.k. exGARs eller f.d. Google Answers Researchers.