Kolla, det kryper en spindel på webbplatsen!
Varning. Den här artikeln har förlorat all aktualitet. Mycket har hänt bland de stora sökmotorerna och vilka robotar och index de använder.
Du kanske vet att sökmotorerna samlar in sidor med hjälp av robotar eller spindlar (spiders). Sidorna sparas i stora databaser (index). När du söker i Google, Altavista eller vilken din favoritsökmotor är så är det från dessa databaser som träfflistan kommer.
I vintras när vi byggt en ny webbplats så funderade jag på hur ofta robotarna indexerar just vår webbplats. Det var spännande att se hur lång tid det tog innan våra nya sidor blev sökbara i sökmotorerna på Internet.
Jag tittade direkt i webbserverns loggfiler för att se spår av spindlarna. Jo, det är lite nördigt att sitta och glo i ett litet svartvitt fönster som ser som en gammal PC med MS-DOS 3.3. Så jag gjorde ett litet hack som letade spår åt mig. Nu använder jag hacket mest på skoj. Jag använder andra verktyg för att hålla koll på om webbplatserna indexeras, hur mycket trafik vi får från sökmotorerna och vilka sökord som leder in besökarna till våra webbplatser.
Nu efter semestern kollade jag rutinmässigt att vi fortfarande är indexerade. Då tog jag fram mitt gamla hack. Dessutom riggade jag upp en webbkamera för att ta en bild för att se om det är en robot eller spindel som kommer på besök.
Och nu vet jag...
Robot: Googlebot.
Leverar index till: Google, Yahoo!, AOL, Netscape, Evreka
Använder ämnesguide från: Open Directory Project.
Altavista
Robot: Scooter.
Leverar index till: Altavista.
Använder ämnesguide från: Looksmart.
Inktomi
Robot: Slurp.
Leverarar index till: MSN, Looksmart, Excite, Overture.
AllTheWeb
Robot: WebCrawler.
Levererar index till: Lycos/Spray.
Använder ämnesguide: från Open Directory Project.
Reservation för att söktjänsterna då och då byter leverantör av index eller köper upp varandra.
Av Stefan Pettersson, 2003
Relaterade länkar:
