Page tree
Skip to end of metadata
Go to start of metadata

Hva er robots.txt?

robots.txt er enkelt og greit bare en helt vanlig tekstfil som inneholder et bestemt oppsett som forteller alle søkemotorer om hvilke sider de kan- og ikke kan indexere opp, samt enkelte andre "beskjeder" som "søkespiderene" bør ta hensyn til når de crawler siden din.

Når en søkemotor som for eksempel Google besøker nettbutikken din vil den aller først sjekke om det finnes en robots.txt-fil tilgjengelig på http://www.dittdomene.no/robots.txt. Dersom det gjør det vil den leses og tolkes, og brukes som grunnlag for hvilke sider søkemotoren skal indexere opp og vise i det organiske søkeresultatet ute hos søkemotoren.

Merk at det ikke er noe krav å ha en robots.txt-fil for at søkemotorene skal crawle/indexere opp siden din.

Se video fra Google's SEO-ekspert Matt Cutts som forklarer hvordan robots.txt filen fungerer:

Hjelper robots.txt-filen på SEO?

Ja. Man kan ved hjelp av robots.txt-filen blant annet optimalisere nettbutikken ift Duplicate Content, og søkemotorene gir mest sannsynlig et par ekstra poeng til sider som har lagt opp en god robots.txt - da det hjelper søkemotorene på å enklere og raskere finne det innholdet man ønsker at de skal indexere opp.

Hvordan lager jeg en robots.txt fil?

Åpne din favoritt tekst-editor (f.eks Notepad om du bruker Windows) og legg inn aktuelt oppsett i filen. Se eksempel nedenfor.

Hva bør jeg ha med i robots.txt-filen?

Vårt generelle anbefalte oppsett for robots.txt-fil for Magento:

# Block the Chinese Baidu spider, as its not of any usage in this region of the world
User-agent: Baiduspider
Disallow: /

# For all the good guys
User-agent: *

# Allowable Index
Allow: /*?p=

# Directories
Disallow: /404/
Disallow: /app/
Disallow: /cgi-bin/
Disallow: /downloader/
Disallow: /includes/
Disallow: /lib/
Disallow: /magento/
Disallow: /pkginfo/
Disallow: /report/
Disallow: /stats/
Disallow: /var/

# Paths (clean URLs)
Disallow: /index.php/
Disallow: /catalog/product_compare/
Disallow: /catalog/category/view/
Disallow: /catalog/product/view/
Disallow: /catalogsearch/
Disallow: /checkout/
Disallow: /control/
Disallow: /contacts/
Disallow: /customer/
Disallow: /customize/
Disallow: /newsletter/
Disallow: /poll/
Disallow: /review/
Disallow: /sendfriend/
Disallow: /tag/
Disallow: /wishlist/

# Files
Disallow: /cron.php
Disallow: /cron.sh
Disallow: /error_log
Disallow: /install.php
Disallow: /LICENSE.html
Disallow: /LICENSE.txt
Disallow: /LICENSE_AFL.txt
Disallow: /STATUS.txt

# Special parameters
Disallow: /*?__store=
Disallow: /*?id=
Disallow: /*?dir=
Disallow: /*?order=


# Filters
Disallow: /*?*color=*
Disallow: /*?*size=*
 
# Paths (no clean URLs)
Disallow: /*.php$
Disallow: /*?SID=

Dette eksempelet fungerer for alle søkemotorer. Man kan tilpasse oppsettet til den enkelte søkemotoren. For eksempel kan det være at man ikke ønsker at Microsoft Bing skal få lov å hente ut og indexere opp bildene, mens man ønsker at Google Images søket skal få opp alle bildene fra nettbutikken din. Dette er ting du kan styre med måten du setter opp robots.txt-filen din.

Viktig

Alle nettsider har forskjellig oppsett så det er veldig viktig at du verifiserer alt innhold i robots.txt-filen med f.eks Google Search Console, eller med en SEO-spesialist. Eksempel-filen er bare et utgangspunkt, tilpasset Magento nettbutikker.

Hvordan legger jeg opp robots.txt-filen til Magento nettbutikken?

Har du laget filen klar selv, sender du den til oss på epost til support@trollweb.no og vi laster den opp til serveren. Dersom du ikke har opprettet filen selv, kan vi hjelpe med å legge opp en standard robots.txt for nettbutikken.

Trenger jeg gjøre mer?

Følg med i Google Search Console at alt ser fint ut, og følg alltid med på at de ønskede sidene dine blir indexert opp og synlige i søkemotorene.

 

 

  • No labels