FAST Search & Transfer skapades 1997 av ett antal doktorander och professorer vid Norges Teknisk-Naturvetenskapliga Universitet i Trondheim. Deras dröm var att kunna skapa en “organisk” programvara som kunde skala linjärt både vad gäller datavolym och mängden trafik. Programvaran måste ha en hög kapacitet för spindling av webbdokument och ha tillgång till mycket snabba indexeringsalgoritmer. På så sätt skulle man kunna producera en utomordentligt väluppdaterad och högeffektiv sökmotor som skulle kunna pressa ur det mesta av de parallella PC-servrar som man tänkte använda. I november 1998 gjorde man sin internationella debut vid COMDEX-mässan i Las Vegas och samtidigt lanserades Lycos FTP Search med FAST som leverantör av databas och sökteknologi. Samarbetet med Lycos fortsatte med Lycos MP3 Search som såg dagens ljus i februari 1999 och då hade mer än tio ggr så många sökbara MP3-filer som någon av konkurrenterna.
Den 4:e maj 1999 går man ut med en pressrelease där man tillkännager att man skall bygga en ny sökmotor för webbdokument med hjälp av datorer från Dell. Intentionen är att sökmotorn skall bli den största på nätet och man har redan en databas på 80 miljoner webbsidor som den som vill kan prova på adressen alltheweb.com. I namnet ligger programförklaringen - man avser att indexera hela den synliga webben. Den 2:a augusti 1999 lanseras så AlltheWeb officiellt som världens största sökmotor med mer än 200 miljoner sökbara webbsidor, vilket sägs vara mer än dubbelt så många som i Inktomis databas. I själva verket var det snarare Northern Light som var den sökmotor som övertrumfades vid det tillfället vad gäller storleken på databasindexet. I november samma år tillkommer Lycos RichMedia Search, en sökmotor för multimediafiler med ca 17 miljoner länkar. Några veckor innan millenieskiftet slår man på trumman för den nya versionen av AlltheWeb som nu utrustats med fler avancerade sökfunktioner som titelsökning och sökning på URL:ar. Sökmotorn har också fått förbättringar vad gäller relevansrankingen och svarstiderna. Den 18:e december meddelar man att Lycos investerar i FAST genom att köpa 15% av aktierna medan Dell köper 4%.
Kort efter att det tjugoförsta århundradet inletts går man för andra gången ut med en pressrelease där man hävdar att AlltheWeb är världens största sökmotor med sin nya databas innehållande 300 miljoner webbsidor. Om man får tro Greg Notess hade i slutet av 1999 AlltheWeb nämligen blivit knappt frånsprungen av Northern Light. Som ett kvitto på AlltheWeb:s framgång får FAST i februari 2000 kontraktet med Scandinavia Online som innebär att de tar över på de danska och norska Kvasir-sökportalerna och att de ersätter Altavista som leverantör av sökresultat på den största svenska söktjänsten Evreka. Scandinavia Online kommenterar det hela med att säga att de utfört mängder av utvärderingar och blindtestet och till slut kommit fram till att den bästa kandidaten fanns alldeles i deras närhet hela tiden i Norge. Ett ännu större erkännande blir det naturligtvis när Lycos bestämmer sig för att i juni 2000 byta ut sin egenproducerade och ärevördiga sökmotor med FASTs webbindex på den amerikanska huvudsajten lycos.com. I september följer Lycos Europe efter och senare i december även Lycos Asia varefter FAST levererar sökresultat på alla Lycos-portaler i deras omfattande globala nätverk. Under september rapporteras dessutom att Spray-nätverket som är ledande bland portaler i bl.a. Skandinavien ansluter sig till kunderna.
Den 12:e oktober 2000 går man så för tredje gången ut med att man är världens största sökmotor i och med lanserandet av sitt nya webbindex som nu täcker inte mindre än 575 miljoner webbsidor och kan sökas på 32 olika språk. På detta sätt har man bräckt kometen Google som nu på allvar tagit upp kampen om ledartröjan bland sökmotorerna med sin databas på 560 miljoner webbsidor som presenterats under våren. Inktomis nya GEN3-databas med runt en halv miljard webbsidor i sitt index får också stryka på foten. För att skapa AlltheWebs nya version lär man ha besökt upp emot 1,5 miljarder URL:ar. Söktiderna sägs nu vara gott och väl under en halv sekund för alla slags sökfrågor. Ett strålande bevis på tron på företagets programvaror fås den 5:e december då man i en pressrelease avslöjar att man tillsammans med det största vetenskapliga förlaget Elsevier Science skall skapa en sökmotor för vetenskapliga dokument på nätet och i Elseviers publikationer. Namnet på tjänsten är Scirus och den skall vara klar i mars 2001 och drivas i 5 år av FAST. Deadlinen hålls och under mars 2001 får man också kontrakt med Tysklands snabbast växande portal Web.de.
Under våren låter man emellertid Google springa ifrån vad gäller storlek på index och det blir istället de som först går ut med påståendet att deras databas gör mer än 1 miljard webbdokument sökbara. Detta bestrids dock av experten Greg Notess som hänvisar till att en inte föraktlig del av dessa dokument aldrig besökts utan att Google bara har länkarna till dem. Hans undersökningar visar på en indexstorlek som snarare är av storleksordningen 700 miljoner för Google. Utan att försöka slå Google på fingrarna går FAST under sommaren 2001 istället ut med budskapet att de är den mest uppdaterade sökmotorn då de nu omindexerar sin databas med 625 miljoner dokument i genomsnitt var 9:e tilll 12:e dag. Till skillnad från konkurrenterna som har en uppskattad uppdateringsfrekvens på var 6:e till 8:e vecka. I juli presenteras också en hel del nyheter hos AlltheWeb som resultatgruppering efter webbplats i stil med Google och integrerade resultat från databaserna med multimediafiler, ftp-filer och MP3-filer. Man får nu också automatiska söktips och relevansrankingen har ytterligare förbättras med deras nya FirstPage-teknologi. Ytterligare ett viktigt kontrakt erhålls i oktober 2001 från Tysklands största portal T-Online.de som i fortsättnigen ska använda sökresultat från FAST.
Den 13:e november kommer nästa version av AlltheWeb som nu har en inbyggd nyhetssökning med indexering av ca 800 nyhetsartiklar i minuten från hela 3000 källor. Denna funktion får mycket beröm från alla håll och håller positionen som den snabbaste och internationellt mest omfattande av de stora sökmotorernas nyhetssökningskomponenter. Att bland sökresulten från webbsidesdatabasen presentera nyhetssökresultat blev en trend under hösten efter terrorattackerna mot USA som satte stort tryck på söktjänsterna. Då flygplanskrascherna skedde var det bara Altavista som genom sitt avtal med Moreover kunde förse sökarna med insprängda nyheter bland de vanliga träffarna. Bland andra nya funktioner har automatisk dokumentkategorisering och frasdetektion tillkommit liksom strippande av onödiga sökord (anti phrasing) och mycket stora möjligheter att spara personliga inställningar för den enskilde användaren av AlltheWeb. Återigen pekar man på uppdateringsfrekvensen och hänvisar till källor vid branschkonferensen Search Engine Strategies som anger de andras omindexeringstid till 28 dagar för Google, 45 för Inktomi och 45-60 för Altvavista. Senare i november tillkännages också överenskommelser med portalägarna Tiscali och WIND (ägare av Italia Online och Italiens största Internetleverantör) som innebär att FAST nu tar tätpositionen även i Italien vad gäller att förse de största portalerna med sökresultat för internationella sökningar.
Under hösten 2001 uppskattas AlltheWeb behålla positionen som näst största sökmotor trots uppstickaren WiseNut som dyker upp efter sommaren från ingenstans och hävdar att de indexerat ca 1,4 miljarder URL:ar. Google förefaller fortfarande vara störst men vilar inte på lagrarna utan presenterar 2 veckor innan jul för säkerhets skull en ny databas med den nya rekorsiffran av över 2 miljarder webbsidor för att undanröja allt tvivel om att de är störst. Under hela året har Google kommit med förbättringar och uppgraderingar slag i slag och ökat exponentiellt i popularitet medan AlltheWeb fortfarande är föga känd för den större publiken.
I slutet av februari 2002 förenar man sig många andra söktjänster i trenden att erbjuda snabbindexering för betalande kunder. Tillsammans med Lycos startar man det s.k. PartnerSite-programmet medelst vilket hugade webbplatsägare kan försäkra sig om att deras webbplatser omindexeras var 48:e timma. En månad senare lyckas man göra en inbrytning i Kanada i och med avtalet med Telus om sökresultat till deras portaler i västra Kanada som myBC.com och alberta.com. Den 23:e april kommer nästa pressrelease i vilket det uppges att den största metasöktjänstägaren InfoSpace nu ska använda träffar från FAST i deras metasöktjänster som Dogpile, MetaCrawler och även den nyligen köpta Excite. Man har alltså inte legat på latsidan i år men det kom nog som en stor överraskning för många i branschen när AlltheWeb i måndags för fjärde gången under sin historia intar platsen som världens största sökmotor, nu dessutom med den viktiga nyheten att PDF-dokument är sökbara. Det är förstås svårt att tro att inte Google kommer att svara på utmaningen om tätpositionen inom en ganska närliggande framtid.
