Meta robots noindex: så håller du sidan ur Google

Meta robots noindex: så håller du sidan ur Google

Vill du att en sida ska sluta synas i Googles sökresultat lägger du <meta name="robots" content="noindex"> i sidans <head>. Två saker måste stämma: taggen ska finnas i den HTML som Googlebot faktiskt får, och robots.txt får inte blockera sidan. Blockerar robots.txt sidan hittar roboten aldrig taggen, och då ligger URL:en kvar i index.

Resten av guiden handlar om kod, rätt värde, felsökning och den vanligaste orsaken till att en meta robots noindex inte får effekt.

Vad meta robots noindex gör – och inte gör

Google beskriver regeln så här: noindex betyder att sidan, mediet eller resursen inte ska visas i sökresultaten. Utan regeln kan sidan indexeras och visas. Det är hela effekten – och den är mindre än många tror.

Det här gör den inte:

• Den hindrar inte crawlen. Googlebot hämtar sidan och följer dess länkar ändå. Vill du stoppa länkflödet använder du nofollow eller none.
• Den tar inte bort sidan direkt. Regeln läses först vid nästa crawl, och en sida kan dröja länge innan den hämtas igen.
• Den skyddar inga hemligheter. En öppen sida kan hittas av andra robotar och av människor. Ska något vara otillgängligt använder du lösenordsskydd.
• Den gäller inte automatiskt alla filer. Bilder, PDF:er och video har inget <head>, så där behövs HTTP-headern i stället.

Så sätter du taggen: tre vägar

1. Meta-tagg i head

<!DOCTYPE html>
<html>
  <head>
    <meta name="robots" content="noindex">
    <title>Din sida</title>
  </head>
  <body>…</body>
</html>

name="robots" gäller alla crawlers. Vill du bara adressera Google använder du name="googlebot". Google stödjer två robotnamn i meta-taggen: googlebot för vanliga sökresultat och googlebot-news för nyhetsresultat. Andra namn ignoreras. Attributen name och content är skiftlägesokänsliga, och flera regler kan kombineras med kommatecken i samma content-värde.

Ett praktiskt undantag: Google kräver inte att taggen ligger i <head>. Företaget skriver uttryckligen att regler i <body> också respekteras. Placera den ändå i <head>, det är där andra verktyg och CMS:er letar.

2. X-Robots-Tag i HTTP-headern

För PDF:er, videofiler och bilder använder du svarshuvudet i stället:

X-Robots-Tag: noindex

Samma regler gäller som i meta-taggen, och du kan rikta dem mot en viss robot:

X-Robots-Tag: googlebot: nofollow
X-Robots-Tag: otherbot: noindex, nofollow

I Apache:

Header set X-Robots-Tag "noindex, nofollow"

I Nginx:

add_header X-Robots-Tag "noindex, nofollow";

Det här är vägen för filer som inte är HTML – och för att noindexa en hel mapp utan att röra sidmallarna.

3. Via CMS:et

WordPress, Wix och Blogger har alla inställningar för sökrobotar, ofta under "synlighet" eller "sökmotorinställningar". Använder du ett CMS behöver du sällan röra HTML:en, men kontrollera den publicerade källkoden. En kryssruta i adminpanelen är ett löfte tills taggen syns i svaret från servern.

Rätt värde: noindex, nofollow eller none

Värde	Vad det betyder
all	Inga begränsningar. Standardvärdet, har ingen effekt om du skriver ut det.
noindex	Sidan ska inte visas i sökresultat.
nofollow	Google följer inte länkarna på sidan.
none	Samma som noindex, nofollow.
nosnippet	Ingen textsnutt eller videoförhandsvisning i resultatet.
indexifembedded	Innehållet får indexeras när det bäddas in i en annan sida, trots noindex. Har bara effekt tillsammans med noindex.
unavailable_after	Sidan ska sluta visas efter ett angivet datum och klockslag.
max-snippet:0	Ingen textsnutt. 0 motsvarar nosnippet.

Krockar två regler gäller den mest restriktiva. Har en sida både max-snippet:50 och nosnippet vinner nosnippet. Tänk också på att Google skriver rakt ut att andra sökmotorer inte nödvändigtvis tolkar reglerna likadant – kontrollera därför i Bing och de motorer du faktiskt får trafik från, inte bara i Google.

Misstaget som gör att sidan ligger kvar

Det vanligaste felet är att kombinera noindex med en blockering i robots.txt. Google kan bara läsa en meta-tagg eller ett svarshuvud genom att hämta sidan. Står sökvägen i en Disallow-rad hämtas den aldrig, taggen ses aldrig, och sidan indexeras som vanligt.

Google är tydligt med vad som händer då: en sida som blockeras av robots.txt kan fortfarande dyka upp i sökresultaten, men utan beskrivning. Är URL:en dessutom länkad från andra sidor kan Google indexera adressen utan att besöka den, och ankartexten i länkarna kan bli den text som syns. Robots.txt är till för att skona servern från för många anrop, inte för att ta bort sidor ur index.

Ordningen ska alltså vara: ta bort blockeringen, lägg in noindex, begär ny crawl.

Så lång tid tar det innan sidan försvinner

Noindex verkar vid nästa besök. Hur långt det är beror på hur viktig sidan uppfattas vara – Google skriver att det kan ta månader innan Googlebot kommer tillbaka till en sida som sällan hämtas.

Tre saker kortar väntetiden:

1. URL-inspektion i Search Console. Där kan du begära en ny crawl och se vilken HTML Googlebot fick.
2. Sidindexeringsrapporten. Den visar vilka sidor Google hittade en noindex-regel på, så du ser att regeln faktiskt lästes.
3. Borttagningsverktyget i Search Console. Det döljer en URL tillfälligt i cirka sex månader medan noindex gör jobbet permanent. Verktyget stoppar inte crawlen, så du behöver ändå regeln på plats.

Felsök meta robots noindex i fem steg

1. Läs svaret från servern. curl -sI https://dindomän.se/sidan | grep -i x-robots visar headern, curl -s https://dindomän.se/sidan | grep -i 'name="robots"' visar meta-taggen i HTML:en som servern skickar.
2. Kolla robots.txt. Leta i https://dindomän.se/robots.txt efter en Disallow som träffar sökvägen. Finns den är noindex verkningslös.
3. Jämför med vad Googlebot får. URL-inspektionen visar den renderade HTML:en. Skiljer den sig från curl-svaret ligger felet i caching, ett CDN-lager eller en tagg som skrivs in av JavaScript.
4. Begär ny crawl när taggen syns i Googles hämtade HTML.
5. Följ upp i Sidindexeringsrapporten och med en site:-sökning på URL:en. Är sidan kvar efter några veckor, gå tillbaka till steg 2 – det är nästan alltid en blockering eller ett cache-lager.

noindex eller canonical?

Reglerna svarar på olika frågor. noindex säger "visa inte den här sidan". En canonical-tagg säger "den här adressen är originalet" – sidan kan ligga kvar i index som dubblett medan originalet rankar.

Ska en sida bort ur sökresultaten är noindex rätt. Ska två adresser med samma innehåll slås ihop är canonical rätt. Lägg inte en noindexerad URL i sitemapen: sitemapen listar de adresser du vill ska synas i sökresultaten.

Checklista innan du noindexar i produktion

• Sidan ska verkligen bort, inte bara ranka sämre – noindex stoppar trafiken till den.
• Taggen finns i den publicerade HTML:en, inte bara i mallen.
• Ingen Disallow för sökvägen i robots.txt.
• URL:en är borta från sitemapen.
• Du har antecknat vilka sidor som medvetet är noindexerade, så ingen städar bort dem av misstag.
• Inställningen är avstängd i produktion om du använde noindex som skydd i test – en kvarglömd noindex-tagg efter lansering tar bort hela sajten från Google.

Vanliga frågor

Räcker noindex för att ta bort en sida snabbt? Nej. Regeln läses först vid nästa crawl och kan dröja månader på en sida som sällan hämtas. Behöver du bort snabbt kombinerar du noindex med borttagningsverktyget i Search Console.

Försvinner sidan ur Bing också? Oftast, men Google skriver att reglerna inte behöver tolkas likadant av alla motorer. Kontrollera i verktygen för respektive motor.

Fungerar noindex på en PDF? Bara via X-Robots-Tag i HTTP-headern, eftersom en PDF inte har någon <head>.

Tappar sidan alla länkar när den noindexas? Nej. noindex påverkar indexeringen, inte länkflödet. Vill du stoppa länkarna använder du nofollow eller none.

Kan jag noindexa en sida som redan rankar bra? Ja, men effekten är att den försvinner från resultaten vid nästa crawl. Har sidan organisk trafik du vill behålla ska du förbättra den i stället – börja med titeln och metabeskrivningen.