I fredags kom beskedet i form av ett pressmeddelande frÃ¥n Microsoft att mjukvarujätten köper norska sökteknologifirman FAST Search & Transfer. Vi skrev om det när det först blev känt att Microsoft skulle lämna ett bud pÃ¥ FAST och nu är det alltsÃ¥ klart. Enl. pressmeddelandet kommer FAST att bli ett dotterbolag med huvudkontor och utvecklingsavdelning i Oslo men med kontor och verksamheter utspridda i världen. FAST starke man John Lervik kommer att fÃ¥ titeln Vice President of Enterprise Search. Redan nu stÃ¥r det pÃ¥ FASTs hemsida “a Microsoft subsidiary”.

Det norska sökföretaget FAST Search & Transfer hör till de ledande inom söklösningar för företag och organisationer (brukar kallas enterprise search eller embedded search på engelska) och har även utvecklat avancerad mobilsökning. Veckans stora nyhet i sökbranschen är att mjukvarugiganten Microsoft har lagt ett bud på FAST. Man är villiga att betala 19 norska kronor per aktie vilket är 42% mer än priset för aktien dagen innan budet. Styrelsen har enhälligt röstat för att man ska anta budet och det förväntas att affären går i hamn under andra kvartalet i år.

Att Microsoft vill köpa är naturligtvis en stor fjäder i hatten för FAST, särskilt med tanke på att Microsoft sedan några år utvecklar egen sökmotorteknik. FAST sålde f.ö. sin avdelning som utvecklade internetsökmotorn AlltheWeb 2003 till Overture som sedan köptes av Yahoo. Vad vill då Microsoft med köpet? Ska FASTs sökprodukter och teknik användas primärt för enterprise search eller ska man även använda delar för att förstärka sin internetsökning och kunna konkurrera bättre med Google? Det ska onekligen bli intressant att följa men jag antar att tekniken bl.a. ska användas för att förbättra och utöka sökfunktionalitet i Microsofts Sharepoint.

Det var hemskt länge sedan vi hade anledning att skriva om sökmotorn Alltheweb. När Yahoo köpte ut sökmotorn från norska Fast Search & Transfer för ett par år sedan valde de tyvärr att frysa utvecklingen. Sen igår använder man nu Alltheweb för att prova en ny teknik för att snabba upp webbsökning. Ny och ny, de har själva använt den i experimentella Yahoo Instant Search tidigare och en liknande variant har funnits i t.ex. SurfWax News Accumulator bra länge.

Det handlar om att sökmotorn kommer med förslag på sökuttryck redan medan man skriver in bokstäverna i sökorden. Tanken är att man i de flesta fall ska slippa skriva in hela sökuttrycket. Alltheweb Live Search fungerar faktiskt just så och för många sökningar så lyckas det och då blir tidsbesparingen betydlig och man upplever en klart accelerad sökningstakt. I skärmpdumpen nedan kan man exempelvis se att jag bara hann skriva in Stanislaw för att få upp träffarna för den nyligen avlidne polske författaren Stanislaw Lem.

I själva verket tycker jag att det här är en av de största förbättringarna jag har sett på mycket länge hos gränssnitten bland sökmotorerna. Fast jag håller med den som på Yahoo Searchs utvecklarblogg påpekat att det behövs relevanta träffar också. Där känns väl Alltheweb i sitt nuvarande, sedan länge stagnerade skick, inte som det häftigaste. När Yahoo vågar kasta in nymodigheten i själva Yahoo Search kan det bli riktigt intressant, då lär de andra stora bli tvungna att följa efter.

Vi visste att det skulle hända förr eller senare. Naturligtvis skulle Yahoo inte fortsätta att utveckla sökmotorn Alltheweb som de köpt från norska FAST i och med köpet av Overture i somras. Ändå känns det jättetråkigt. De flesta insatta tyckte nog att Alltheweb var den mest avancerade sökmotorn som fanns på nätet och nu är den alltså ersatt med Yahoos nya sökmotor. Detta kan man sluta sig till i och med de förändringar som skett i formulären och med vetskapen att Yahoo aviserat att detta skulle ske inom kort. Nu är likheten med Yahoos Web Search inte total, bl.a. får man mindre träffar på Alltheweb. Här finns heller inte cachade dokument som finns hos Yahoo men å andra sidan kan man göra booleska sökningar. Vad har då definitivt försvunnit bland sökfunktioner?

• att söka texten i Flash-filer (nÃ¥got Alltheweb var ensamma om)
• möjligheten att söka i länktexter
• hela indexet över ftp-filer (ingen annan generell sökmotor hade detta)
• söka pÃ¥ inbäddade mediafiler
• söka efter dokument pÃ¥ webbservrar inom ett intervall av IP-nummer (endast Alltheweb igen)
• begränsa storleken pÃ¥ filerna man söker efter (size limit)
• enl. Greg Notess ska dessutom endast de första 500 kB av filerna nu indexeras till skillnad frÃ¥n hela filerna som förut i Alltheweb)
• Query Rewrite-funktionen
• rank-operatorn med vilken man kunde specificera att man ville att ett sökord skulle finnas med medan ett annat inte behövde vara med men det var bra om det fanns med
• trunkering av webbplatsadresser i webbplatssökning
• den fantastiskt händiga URL investigator ska finnas kvar men fungerar bara för vissa webbplatser
• the list goes on….

Under gÃ¥rdagen kom en pressrelese frÃ¥n Yahoo där man beskriver sitt nya program för pay-for-inclusion genom vilket webbplatsägare snabbt skall kunna skicka in uppgifter om webbsidor sÃ¥ att de kan indexeras av Yahoos nya sökmotor. I samband med detta har Yahoo jobbat tillsammans med ett antal icke-kommersiella organisationer som pÃ¥ samma sätt kan fÃ¥ in uppgifter om sina digitala resurser, mÃ¥nga av vilka befinner sig inom den osynliga webben. Bland Yahoos samarbetspartner i detta finns Library of Congress, National Public Radios arkiv, Project Gutenberg, Wikipedia-encyklopedin, OAIster-projektet (bygger pÃ¥ Open Archives Inititative) och digitala bibliotek som National Science Digital Library. Verkligen en mycket spännande utveckling som fÃ¥r en att hoppas mycket pÃ¥ Yahoos nya sökmotorindex. Och tur är väl det för samtidigt rapporteras frÃ¥n SearchDay och Pandia som varit i kontakt med höga representanter hos Yahoo att man kommer att avsluta utvecklingen av sökmotorerna Alltheweb och Altavista. Bägge kommer att finnas kvar men de kommer att söka i samma index som nya Yahoo Search. Däremot kommer de sannolikt att erbjuda andra gränssnitt mot indexet och andra sökfunktioner. I framtiden kan Yahoo ocksÃ¥ komma att “differentiera” dem säger man.

Ur en synvinkel betyder detta alltså att Altavista och Alltheweb kommer att dö som egna sökmotorer, även om de lever kvar till namnet och förhoppnigsvis genom sina speciella sökfunktioner. Inom ett par veckor kommer Altavista och Alltheweb att börja använda Yahoos huvudindex men det har inte trätt i kraft riktigt än.

Trots allt känns det ganska sorgligt även om det naturligtvis vore vansinne av Yahoo att driva tre olika sökmotorindex. Dessutom har Yahoo Inktomi-indexet som man säljer främst till MSN Search - man fÃ¥r förmoda att det ocksÃ¥ kommer att försvinna som ett eget index när det avtalet löper ut och Microsoft fÃ¥tt igÃ¥ng sin egen sökmotor. DÃ¥ blir det inte sÃ¥ mÃ¥nga stora sökmotorindex kvar och det är trösterikt att läsa i AskJeeves Ã¥rsrapport som kom i veckan att man fortsätter att satsa pÃ¥ sin sökmotorteknik frÃ¥n Teoma - “In 2003 we made improvements to our Teoma technology that enabled us to increase the scale of our search index by 500%, from 250 million to 1.5 billion Web pages” stÃ¥r det att läsa i Ã¥rsrapporten som finns tillgänglig t.ex. frÃ¥n Secinfo.com.

Nu finns förutom Microsoft Word, Flash-filer och PDF-dokument fler dokumenttyper sökbara via Alltheweb. Rich Text Format (rtf), PowerPoint (ppt), Excel (xls), PostScript (ps), WordPerfect (wpd) och StarOffice (sdd och sdc). Än så länge är de inte sökbara via det avancerade sökformuläret utan man måste använda söksyntaxen filetype: och namnet på formatet, förutom rtf där förkortningen räcker.

Filetype:powerpoint
Filetype:rtf
Filetype:excel
Filetype:postscript
Filetype:wordperfect
Filetype:staroffice

I Gigablast går det sedan 17 augusti att söka på förutom PDF även Postcript, Powerpoint, excel och Microsoft Word.

Källa för Allltheweb>>

Källa för Gigablast>>

Overture meddelar att Alltheweb är störst på internet, dvs. om man räknar antalet dokument som indexet innehåller, med ett index på 3.2 miljarder sidor. Förmodligen inkluderar Alltheweb inte bara html-sidor utan även alla andra filformat. Ingen skulle bli förvånad om Google inom den närmsta tiden kommer att svara på denna utmaning. Däremot finns vissa om och men med Google med tanke på det s.k. Y2K+problemet som Google-hataren Daniel Brandt skrev om i juni på Google Watch

Läs Overtures pressmeddelande om Allthewebs ökning av indexet>>

Mannen som aldrig sover, Gary Price på The Resource Shelf, har idag upptäckt att det går att söka efter två nya filtyper med söksyntaxen filetype:excel och filetype:powerpoint. Dessa filtyper finns inte som menyval i det avancerade formuläret och inte heller har Alltheweb knystat nåt om det men så är det. Vad som är glädjande är att utvecklingen fortsätter hos Alltheweb som man undrar vad som ska hända med nu när Yahoo köper Overture som nyss köpt Alltheweb. I detta sammanhang är det intressant att läsa en press-release från Overture från gårdagen där de meddelar att de ska förse den kanadensiska portalen Sympatico.ca med sina egna sponsrade länkar och med algoritmiska sökträffar med utnyttjande av den sökmotorteknik som de köpt från FAST, dvs den som används i Alltheweb. Det intressanta är alltså att de väljer FAST-sökmotorn snarare än den från Altavista som de också köpt.

Igår sällade sig Alltheweb till de sökmotorer som stavningskontrollerar sökord. Eftersom Google, Altavista, Teoma och Inktomi redan hade denna funktion så har nu alla de stora globala sökmotorerna stavningskontroll förutom illa uppdaterade Wisenut. Att döma av vad FASTs John Lervik sagt angående att det fanns fler felstavade förekomster av Arnold Schwarzeneggers efternamn i deras index än rättstavade, så behövs verkligen funktionen. Bra också att Alltheweb inte gör som MSN Search som väljer att presentera sökresultat för det rättade ordet snarare än det förmodat felstavade. Fast det är klart Microsoft har ju alltid älskat att försöka korrigera användarnas beteende.

Sökmotorn Alltheweb som är sÃ¥ld av norska FAST till Overture och ska slÃ¥s ihop med Altavista lade igÃ¥r till nya sökfunktioner - för fjärde gÃ¥ngen i Ã¥r! Den här gÃ¥ngen vill de bl.a. hjälpa oss att konvertera enheter som teskedar, engelska mil, Fahrenheitgrader och annat som kan ställa till problem. Skriv t.ex. convert: 1 mile i sökrutan och du fÃ¥r reda pÃ¥ exakt hur mycket detta är i en uppsjö andra enheter, bÃ¥de i vÃ¥rt vanliga metriska system och de brittiska (imperial) varianterna. En annan nyhet kan man använda om man lägger en “magisk länk” i länkfältet i sin webbläsare. Klickar man sedan pÃ¥ denna länk sÃ¥ visas ett nytt fönster. I detta visas information rörande den aktuella webbplatsen frÃ¥n Allthewebs utmärkta URL Investigator. Ett klick - snabbt och smidigt. Ytterligare en nyhet är en lista pÃ¥ sökningar som liknar din sökning. Denna lista med Similar queries finns längst ned pÃ¥ träffsidorna. Alltheweb blir bara bättre och bättre.