# robots.txt guide: styra vad sökmotorer får indexera *2026-11-13* > robots.txt guide: hur filen fungerar, vanliga direktiv, vanliga misstag, testning i Search Console och Bing, crawlbudget, sitemap och meta robots-taggar. # robots.txt guide: styra vad sökmotorer får indexera En robots.txt-fil talar om för sökmotorer vilka delar av en webbplats de får genomsöka. Det är en liten textfil som placeras i webbplatsens rot, till exempel exempel.se/robots.txt. Filen är en del av Robots Exclusion Standard, en överenskommelse mellan webbplatsägare och sökmotorer om hur genomsökning ska regleras. ## Vad robots.txt används till Webbplatsägare använder robots.txt för att hålla sökmotorer borta från sidor som inte ska visas i sökresultat — till exempel adminsidor, interna sökresultat, testsidor eller filer som inte är menade för allmänheten. Det hjälper till att fokusera genomsökningen på de sidor som är viktiga och sparar webbplatsens serverresurser. Genom att styra vilka sökvägar som är tillgängliga för crawlers kan du förhindra att sökmotorer slösar tid på innehåll som inte bidrar till din synlighet. ## Hur filen fungerar En robots.txt-fil innehåller regler som är riktade till sökmotorers robotar, även kallade crawlers eller bottar. Ett enkelt exempel ser ut så här: User-agent: * Disallow: /admin/ Allow: /public/ Sitemap: https://exempel.se/sitemap.xml "User-agent: *" innebär att regeln gäller alla robotar. "Disallow" anger vilka sökvägar de inte får besöka. "Allow" öppnar sökvägar som annars skulle vara blockerade. "Sitemap" pekar till webbplatsens sitemap så att sökmotorer kan hitta alla sidor. ## Vanliga direktiv Förutom Disallow och Allow stöder robots.txt Crawl-delay, som talar om för en robot hur många sekunder den ska vänta mellan förfrågningar. Alla sökmotorer stöder inte alla direktiv. Google, Bing och andra stora sökmotorer följer standarden, men tolkningen kan variera mellan olika motorer. Det är därför viktigt att testa filen efter att du har gjort ändringar. ## Vanliga misstag Ett vanligt misstag är att blockera hela webbplatsen med "Disallow: /" av misstag. Ett annat är att lita på robots.txt för att dölja privat innehåll — sidor som blockeras av robots.txt kan ändå dyka upp i sökresultat om andra sidor länkar till dem. Använd lösenordsskydd eller noindex för riktigt privata sidor. Ett tredje misstag är att glömma bort att uppdatera filen när webbplatsens struktur ändras. ## robots.txt versus noindex versus canonical robots.txt styr om en sökmotor får genomsöka en sida. noindex styr om en sida får visas i sökresultat. Om du vill att en sida inte ska synas i Google, använd noindex. Om du vill spara serverresurser, använd robots.txt. Canonical talar om för sökmotorer vilken version av en sida som är originalet när flera URLer visar samma innehåll. ## Att testa robots.txt Du kan testa din robots.txt-fil i Google Search Console och Bing Webmaster Tools. De visar om filen är giltig och vilka sidor som är blockerade. Du kan också se filen direkt genom att lägga till /robots.txt på valfri domän. Testa alltid efter att du har gjort ändringar, så att du inte av misstag blockerar viktiga sidor från sökmotorerna. ## Crawlers och crawlbudget Sökmotorer skickar crawlers för att besöka sidor på webben. En webbplats har en crawlbudget — antalet sidor en sökmotor kommer att genomsöka under en viss tid. robots.txt kan hjälpa till att leda crawlers mot de viktigaste sidorna så att budgeten inte slösas på adminsidor eller dubbletter. Om du har många sidor som inte behöver indexeras kan en välutformad robots.txt förbättra hur effektivt sökmotorerna använder sin crawlbudget på din sajt. ## Så här skapar du och testar din robots.txt Att skapa en robots.txt handlar om tre huvudregler: User-agent, Allow och Disallow. Placera filen i rotkatalogen på din webbplats, till exempel exempel.se/robots.txt. Om du inte har en robots.txt accepterar Google att crawl:a allt — men en tom fil signalerar att du tänker på SEO. Testa med "robots.txt Tester" i Google Search Console. Vill du undvika att blockera hela webbplatsen av misstag, bör du först skapa en kopia och lägga den i rotkatalogen med ett annat namn för att kontrollera att den fungerar som den ska. ## När du ska uppdatera din robots.txt Uppdatera robots.txt när du gör stora förändringar på webbplatsen. Lägg till nya mappar som inte ska crawl:as, till exempel ett nytt kundportal- eller supportområde. Ta bort regler som inte längre stämmer om du har stängt ner en sektion eller flyttat innehåll. Lägg till en ny sitemap-länk om du byter sitemap-plats. Uppdatera också om du märker att crawlers inte når de sidor som är viktigast för din synlighet. ## Vanliga frågor (FAQ) **Vad händer om jag inte har en robots.txt?** Om ingen robots.txt finns på din webbplats accepterar Google att crawl:a allt. Det betyder inte att allt dyker upp i sökresultat — men att Google inte får några anvisningar om vilka delar av webbplatsen som ska begränsas. En explicit robots.txt ger dig kontroll över genomsökningen. **Kan jag använda wildcard i robots.txt?** Ja. Google stöder asterisk (*) som jokertecken i sökvägar. Till exempel "Disallow: /admin/*" förhindrar att crawlers når allt under /admin/. Bing och andra sökmotorer har olika stöd för jokertecken. **Varför pekar man på sitemap i robots.txt?** Sitemap-filen är en XML-fil som listar alla URLer på din webbplats. Genom att peka på den i robots.txt hjälper du sökmotorer att hitta och indexera nytt innehåll snabbare — viktigt för en sajt som har många webbadresser. **Kommer min sida att döljas om jag har Disallow?** Nej. En robots.txt-fil hindrar bara att sökmotorer genomsöker sidan. Om en annan sida länkar till din blockerade sida kan den ändå dyka upp i sökresultat. **Hur lång kan min robots.txt vara?** Filen bör vara kort och koncis. Håll den rimligt kort för bästa prestanda och läsbarhet. ## Sammanfattning En robots.txt är ditt första steg i SEO-optimalisering. Med rätt direktiv hindrar du onödig genomsökning, sparar serverkapacitet och förbättrar din SEO-strategi. Kombinera med meta robots-taggar när du vill styra både crawling och indexering. Ingen extern källa krävs — filen fungerar direkt på egen hand.