Idag tillkännagavs ett nytt stort projekt kallat Open Content Alliance som syftar till skapandet av ett internationellt digitalt arkiv med bl.a. inskannade böcker och filmer. Till skillnad frÃ¥n Google Print kommer man att vara mycket noga med att respektera copyright-skyddat material. I start kommer man att utgÃ¥ frÃ¥n böcker som ligger inom “the public domain”, där upphovsrätten har löpt ut, och copyright-skyddat material som de som äger rättigheterna själva frivilligt vill bidra med. Detta kan i sÃ¥ fall spridas med hjälp av en Creative Commons-licens där upphovsrättsägaren kan bestämma vilka rättigheter som ska gälla.

Google som tänker skanna in böcker frÃ¥n tre mycket stora amerikanska bibliotek (Harvard, Stanford och Michigan) har blivit stämda av Author’s Guild för copyright-intrÃ¥ng men verkar ändÃ¥ gÃ¥ vidare. Google har sagt att de författare/copyrightägare som har nÃ¥got emot att deras upphovsrättsligt skyddade verk skannas och görs sökbara mÃ¥ste höra av sig innan den 1 november. Kritiken har vuxit pÃ¥ sistone och man menar argumentet att bara ett par sidor visas Ã¥t gÃ¥ngen i Google Print inte är gott nog. Organisationer som Association of Learned and Professional Society Publishers och Association of American University Presses har uttalat sig positivt om OCA och tycker om att ledningen för det nya projektet vill jobba tillsammans med utgivare/författare.

Idag har det skrivits en del (t.ex. New York Times och Associated Press) om OCA men jag tycker att man har koncentrerat sig lite för mycket på det faktum att Yahoo är inblandat i projektet. Man menar att det är ett drag för att konkurrera med Google på just den här sökarenan. Kanske det är en faktor men i sammanhanget är den av sekundär betydelse. Yahoo är ett av flera företag och organisationer som deltar i uppstarten av OCA. Men det är grundaren av Internet Archive Brewster Kahle som är mest inblandad och det är IA som skall administrera projektet.

I gruppen som deltar i uppbyggandet av OCA finns:
Internet Archive - kommer initiellt att delta i skanning och lagring
Yahoo - kommer att skapa sökmotorindexet för OCA och finansiera viss skanning
Adode och Hewlett-Packard - kommer att bidra med mjukvara
University of California, University of Toronto och bokförlaget O’Reilly - bidrar med böcker
National Archives (Storbritannien) och Prelinger Archives - bidrar med filmmaterial

De inblandade organisationerna och företagen har enats om sex principer. Bland dessa finns alltså att de som bidrar med material till arkivet ska själva kunna bestämma i vilken grad det kan användas och spridas. Arkivet kommer nämligen att uppmuntra återanvändning av materialet i alla sammanhang. Yahoo kommer därför att göra det möjligt för andra sökmotorer att indexera arkivet om de så skulle vilja (vilket inte Google gör). Arkivet åtar sig att skapa metadata för materialet för att göra det lättare att hitta i. Det kommer också att finnas flera kopior av arkivet som ska vara spridda internationellt för att säkerställa tillgängligheten.

Mer information finns i pressreleasen och i Yahoo! Search Blog där Brewster Kahle gästskrivit.

Internet Archive med sin söktjänst The Wayback Machine med vilken man kan titta på gamla versioner av webbsidor från 1996 och framåt tycks ha hamnat i klammeri med rättvisan. Om detta har det skrivits om i flera amerikanska medier och bloggar efter främst en artikel på New York Times webbplats den 12:e. Det hela rör sig om en stämning som inlämnats av företaget Healthcare Advcoates efter att enligt dem någon eller några på företaget Harding Early med hjälp av Internet Archive tittat på gamla webbsidor från Healthcare Advocates. Detta har gagnat Harding Early i en tvist om varumärken som de har med Healthcare Advocates. Resonemanget går ut på att eftersom Healthcare Advocates i juni 2003 placerat en robots.txt-fil på sin webbplats för att hindra att sökmotorer indexerar dem så var det fel att det gick att komma åt deras (äldre) webbsidor via Internet Archive.

Problemet med det stämmande företagets agerande är att Ã¥tlydandet av kommandon i en robots.txt-fil är en frivillig handling frÃ¥n sökmotorernas sida och har därför ingen rättslig relevans. Trots detta menar man i stämningen som gÃ¥r att läsa i fulltext att Internet Archive har gjort sig skyldiga till brott mot bl.a. Digital Millenium Copyright Act och Computer Fraud and Abuse Act. Det verkar inte vara sÃ¥ mÃ¥nga som tror att det ska bli nÃ¥got av detta och det missriktade i stämningen beskrivs bra av en advokat vid namn William Patry som New York Times talat med: “no real contract exists between the nonprofit Internet Archive and any of the historical Web sites it preserves”. Mannen som uppfann robots.txt-filen 1994, Martijn Koster, i sin tur säger att: “It is designed to let Web site owners communicate their wishes to cooperating robots. Robots can ignore robots.txt.”. SÃ¥ Internet Archive är ju egentligen de som har gjort rätt i det att de faktiskt följer robots.txt-filen.

Det som jag tycker är knepigast av allt är att Healthcare Advocates hävdar att folk på Harding Early vid 92 tillfällen i juli 2003 har genom Internet Archive tittat på Healthcare Advocates gamla webbsidor. Hur kan de veta det och ange de exakta tiderna då detta hänt? De har väl inte Internet Archives loggar? Menar de att när de aktuella webbsidorna inte funnits på Internet Archive så har hackarna som de kallas blivit omdirigerade till liveversionen av webbplatsen av Internet Archive (vilket är vad som brukar hända)? Men då finns ju sidorna där live och då kan ju vem som helst titta på dem som jag ser det. Hur kan det vara fel och hur kan Internet Archive skyllas för detta? Är det inte Healthcare Advocates eget fel att de inte tagit bort sidorna ifråga som de inte vill att folk ska titta på?

Biblioteken vid Harvard University, Stanford University, Michigan University och Oxford University samt New York Public Library planerar att låta Google skanna in deras böcker. Google har sedan tidigare ett samarbete med förlagen i och med Google Print där man skannar in delar av böcker som lyder under upphovsrätten.

“Googles mÃ¥l är att organisera världens information och vi är intresserade av att samarbeta med biblioteken för att uppfylla detta mÃ¥l”, säger Googles Larry Page i ett pressmeddelande.

De böcker som fortfarande lyder under upphovsrätten kommer man bara att kunna läsa ett par sidor av i fulltext och i övrigt kommer bibliografisk information som titel, författare, ISBN osv. vara sökbart. Övriga upphovsrättsfria böcker kommer att skannas in allra först av Google och läggas ut i fulltext möjliga att läsa med begränsningen att inte kunna skriva ut.

Google har inga planer på att göra en särskild söktjänst för inskannade böcker i Google Print. Istället visas bokträffar från Google Print som första träff i ordinarie träfflistan när sökfrågan är relaterad, ungefär som sökvägar (eng. search shortcuts). Ett exempel är en sökning på Mastering digital photography.

Samtidigt meddelar det ideella projektet Internet Archive att man samarbetar om att skanna in böcker från flera olika bibliotek från 5 olika länder. Bland annat gäller det Zhejiang University, China (Professor Zhao), University of Toronto, Canada (Carole Moore), Library of Congress American Memory Project, USA (Deanna Marcum). Över 1 miljon böcker ska göras sökbara och för tillfället finns över 27.000 tillgängliga och ytterligare 50.000 planeras finnas under första kvartalet 2005.

Gratis e-böcker på Internet, både de som lyder och inte lyder under upphovsrätten, är inte på något sätt nytt. Vi har det internationella projektet Gutenberg och det svenska projektet Runeberg för äldre böcker som inte lyder under upphovsrätten. Nätbokhandeln Amazon har en mängd inskannade nyare böcker tillgängliga helt utan kostnad bara man anger sitt kreditkortsnummer i Amazon. Frågan är om det inte är en mer rätt väg att gå för biblioteken att samarbeta med ideella Internet Archive än en sån dominerande kommersiell aktör som Google ändå är? Utan tvivel kommer mycket att hända vad gäller e-boksökning i framtiden.

Läs mer om Googles samarbete med biblioteken.

Anna Patterson från Stanforduniversitet i Kalifornien har skapat sökmotorn Recall för de sparade kopiorna av gamla webbsidor i Internet Archive. Förut kunde man bara söka i Internet Archive med hjälp av en URL i söktjänsten som kallas The Wayback Machine. Nu kan man alltså använda vanliga sökord för att söka i en delmängd av Internet Archive. Den delmängden är på över 11 miljarder webbsidor vilket är över tre gånger mer än någon annan sökmotor någonsin har haft ett index över! Indexets storlek är på 2 terabyte och Recall har tillgång till 312 datorer med 1/2 GB minne så denna betatestversion saknar inte datorkraft. Sökmotorn jobbar med relevansranking baserad på sökorden och inte länkanalys som t.ex. Google. I träffbilderna presenteras också klustrade grupper förutom den vanliga träfflistan. Dessutom finns en personalisering som innebär att Recall använder sig av dina tidigare sökningar för att styra rankingen senare under en söksession. Man kan begränsa sin sökning till webbsidor från olika år och olika månader. Man får också en grafisk presentation hur antalet träffar på ett sökuttryck förändrats med tiden. Mer information finns i en PowerPoint-presentation av Anna Patterson och i kortare form på hjälpsidan. Det finns nu också en gemensam startsida för Wayback Machine och Recall. Ännu så länge är Recall som det verkar bara tillgänglig periodvis men det tar sig säkert efter hand så kom tillbaka senare om ni inte får kontakt med Recall direkt.

I Internet Archives sökgränssnitt Wayback Machines avancerade sökformulär betatestas just nu en ny funktion. Genom att klicka i rutan “Convert to PDF” innan man utför sökningen kommer man att fÃ¥ smÃ¥ PDF-ikoner till vänster om varje arkiverad version av en webbsida man söker efter. Klickar man pÃ¥ en sÃ¥dan ikon fÃ¥r man en popup-ruta där man fÃ¥r fylla i sin epostadress. NÃ¥gon minut senare fÃ¥r man ett mail med webbsidan ifrÃ¥ga som en PDF-fil som bilaga till mailet. Konverteringen stÃ¥r ett företag som heter 2Convert för. Fördelen med PDF-formatet är ju att det är lättare att spara enstaka filer än en hel drös som det blir om man väljer “Spara som webbsida” i webbläsaren. Sedan slipper man ju ocksÃ¥ att fÃ¥ delar av texten bortklippt när webbläsaren inte förmÃ¥r skriva ut korrekt.

Hur blir konverteringen då? Ganska bra faktiskt men någon visuellt exakt kopia blir det ju inte. Om det är detta man är ute efter får man manuellt göra skärmdumpar och spara som bildfiler. Dessa går dock att senare konvertera till en pdf-fil med hjälp av National Library of Medicines gratisverktyg DocMorph och MyMorph. Om man gör flera dumpar av innehållet (med Alt + PrintScreen) i webbläsarfönstret allt eftersom man scrollar och sparar undan dessa dumpar i ett bildfilsformat genom att klistra in dem i ett bildbehandlingsprogram kan man sedan låta DocMorph klistra ihop dem och stoppa in dem i en enda PDF-fil. Är det inte nödvändigt att det ska se på pricken ut som på skärmen duger det gott med de PDF-filer som 2Convert producerar. Vill man utnyttja deras tjänster utanför Wayback Machine är det bara att gå till deras hemsida. Tilläggas bör att MyMorph å sin sida kan konvertera ett 50-tal filformat till PDF gratis som bilder, ordbehandlingdokument, kalkylblad och presentationer. Rekommenderas varmt!

I september skrev vi om testet av en ny funktion i Internet Archives sökgränssnitt The Wayback Machine, som gick ut pÃ¥ att man pÃ¥ ett smidigt sätt skulle kunna jämföra versioner av samma webbsida frÃ¥n olika datum. I förra veckan gick företaget Advanced Software och Internet Archive ut med att programvaran DocuComp som möjliggör dessa dokumentjämförelser nu blir en ordinarie del i The Wayback Machine. Varje gÃ¥ng man söker och fÃ¥r upp träfflistor med olika dokumentversioner finns i det blÃ¥ fältet (som omger sökrutan) en länk som heter “Compare archive pages”. Efter att ha klickat pÃ¥ denna fÃ¥r alla datum en box man klicka i. När man valt tvÃ¥ datum kan man klicka pÃ¥ länken “Compare two dates”, sÃ¥ kommer den sammansatta bilden av dokumentversionerna fram med samma färgscheman som vi beskrivit tidigare. En visuell förklaring finns pÃ¥ Internet Archives webbplats liksom pressreleasen om funktionen. Denna nyhet finns inte tillgänglig i kopian av databasen som finns pÃ¥ Biblioteket i Alexandrias webbplats.

För de som tycker om att titta på gamla versioner av webbsidor i The Wayback Machine kan det vara bra att veta att det finns en alternativ ingång som man kan använda när den amerikanska versionen går på knäna p.g.a. alla entusiastiska sökare. I slutet av april tillkännagavs att en fullständig kopia av hela databasen med 10 miljarder webbsidor från åren 1996-2001 donerades till det nya Biblioteket i Alexandria. För att komma åt de gömda skatterna i The Internet Archive kan man numera alltså också använda adressen archive.bibalex.org.

Internet Archive och företaget DocuComp välkomnar oss att prova en ny spännande funktion i Wayback Machines avancerade sökning. Med denna nyhet kan man jämföra tvÃ¥ äldre versioner av samma webbsida. För att göra detta skall man skriva in en URL i sökrutan “Find this URL” och klicka i bÃ¥de “List all pages that match search criteria” under URL Matching samt “Comparision” innan man utför sökningen. När träffbilden med de olika dokumentversionerna som finns i Internet Archive dyker upp finns det boxar bredvid dessa som man kan klicka i. Efter att pÃ¥ detta sätt valt ut tvÃ¥ gamla kopior startar man jämförelsen med knappen “Compare”. Inom ett par sekunder visas resultatet som en hopfogning av bägge versionerna. I denna är nya stycken markerade med grön text, medan borttagna partier visas med röd överstruken text. Tekniken verkar redan mycket stabil och fort gÃ¥r det ocksÃ¥!

Det finns flera sätt att snabbt hitta sparade webbsidor i det nyöppnade internetarkivet The Wayback Machine som vi skrev om i slutet av oktober. Genom att själv konstruera en URL enligt mönstret
http://web.archive.org/web/YYYYMMDDMMSS/www.cnn.com
kan man söka efter olika mängder av kopior för i det här fallet CNN:s webbplats. YYYY står för år, MM för månaden, DD för dagen, MM för minuter och SS för sekunder. Var som helst i tidsangivelsen kan man skriva en asterisk för att hitta alla under en viss tid. Exempel:

New York Times den 11 september i Ã¥r i alla “upplagor” blir
http://web.archive.org/web/20010911*/nytimes.com

Journalisten John Pilgers hemsida under november månad blir
http://web.archive.org/web/200111*/pilger.carlton.com

Alla kopior av Altavistas hemsida från år 1996 blir http://web.archive.org/web/1996*/altavista.digital.com

Alla sparade versioner av internetbrus.com blir http://web.archive.org/web/*/internetbrus.com

Som en liten godbit avslutar vi med att titta på den
tidigaste inkarnationen av Google.

Ett femårigt projekt drivet av Brewster Kahle i samarbete bl.a. med Library of Congress, National Science Foundation och Alexa har nu resulterat i öppnandet av the Internet Archive den 24 oktober. I detta oerhört stora arkiv kallat Wayback Machine finns sparade kopior av alla webbsidor man kunnat hitta så långt tillbaka som 1996. Genom att söka på en URL kan du titta på hur den sidan såg ut med jämna mellanrum i versioner som för länge sedan upphört att existera. Kasta t.ex. en blick på hur Aftonbladets hemsida den 23:e oktober 1996 såg ut. Forskare och privatpersoner har fått en fullständigt fantastisk resurs som är helt gratis att använda. Internet Archive sägs redan innehålla fem gånger så mycket text som hela Library of Congress.

Läs mer>>