Een sitemap is een bestand dat de URL’s van een website opsomt om de verkenning door zoekmachines te vergemakkelijken. In XML-formaat geeft het Google of Bing de structuur van de site door, de pagina’s die verkend moeten worden en hun laatste wijzigingsdata. De rol ervan beperkt zich niet tot indexering: het speelt ook een secundaire rol bij de keuze van de canonieke URL wanneer er duplicaten bestaan.
De XML-sitemap als technische signalering voor zoekmachines
Het XML-formaat is de standaard die door crawlers wordt gebruikt. Elke invoer in het bestand komt overeen met een URL vergezeld van metadata. Onder deze metadata is alleen de lastmod-tag van echt belang voor Google.
Google negeert de velden priority en changefreq. Deze twee parameters, afkomstig van het sitemaps.org-protocol, beïnvloeden noch de verkenningsfrequentie, noch de ranking van een pagina. Een effectieve sitemap richt zich dus op betrouwbare wijzigingsdata die een echte verandering van de inhoud weerspiegelen en niet op de simpele regeneratie van het bestand.
De sitemap speelt ook een rol als signalering voor canonicalisatie. Wanneer meerdere URL’s naar dezelfde inhoud leiden, kan Google rekening houden met de versie die in de sitemap is opgenomen om het canonieke adres te kiezen. Dit signaal is zwak in vergelijking met een expliciete canonical-tag, maar het versterkt de algehele consistentie van de site. Voor het verkennen van de pagina’s van Référencement Qualitatif is deze logica van consistentie tussen de sitemap en canonical-tags precies wat een solide technische aanpak structureert.
Sitemap en crawl budget: een uitdaging voor grote sites
Het crawl budget verwijst naar de hoeveelheid middelen die Googlebot aan een site besteedt bij elke passage. Op een site met enkele tientallen goed verbonden pagina’s heeft dit concept geen praktische impact. De interne linkstructuur is voldoende om de crawler naar elke inhoud te leiden.
De situatie verandert voor sites die meer dan enkele duizenden pagina’s bevatten, of waarvan de architectuur veel geparametriseerde URL’s genereert. In deze gevallen stuurt de sitemap de crawler naar de belangrijke pagina’s en voorkomt dat deze verzoeken verspilt op waardeloze URL’s.
Wanneer de sitemap een filter wordt
Een effectieve sitemap somt niet alle toegankelijke URL’s op. Het sluit pagina’s uit die niet geïndexeerd moeten worden:
- De omgeleide URL’s (301 of 302), die naar een ander adres verwijzen en het bestand zonder voordeel vervuilen
- De pagina’s die zijn geblokkeerd door het robots.txt-bestand of gemarkeerd zijn als noindex, waarvan de aanwezigheid in de sitemap een tegenstrijdig signaal naar de zoekmachines stuurt
- De URL’s met sorteer-, filter- of pagineringparameters die bestaande inhoud dupliceren
Een sitemap die niet-indexeerbare URL’s bevat, verliest aan geloofwaardigheid bij Google. De zoekmachine besteedt uiteindelijk minder aandacht aan het bestand als geheel.
Een XML-sitemap indienen en up-to-date houden
Een sitemap maken is niet genoeg. De indiening en het onderhoud bepalen de werkelijke bruikbaarheid ervan.
Verklaring in het robots.txt
De eenvoudigste methode is om een regel toe te voegen aan het robots.txt-bestand, in de root van de site. Deze verklaring stelt alle compatibele zoekmachines in staat om de sitemap te lokaliseren zonder handmatige tussenkomst in elk webmastertool.
Google Search Console en Bing Webmaster Tools
Indienen via Google Search Console biedt een extra voordeel: het statusrapport. Google geeft aan hoeveel URL’s van de sitemap zijn ontdekt, verkend en vervolgens geïndexeerd. Het verschil tussen ingediende en geïndexeerde URL’s onthult technische problemen (404-fouten, lusomleidingen, dubbele inhoud).
Bing Webmaster Tools biedt een vergelijkbare werking. De sitemap indienen bij beide zoekmachines dekt vrijwel al het Franstalige zoekverkeer.
Het IndexNow-protocol als aanvulling
IndexNow stelt in staat om Bing en andere deelnemende zoekmachines te informeren wanneer een URL is toegevoegd, gewijzigd of verwijderd. Dit protocol vervangt de sitemap niet: het versnelt de verwerking van tijdelijke wijzigingen. Google doet niet mee aan IndexNow, wat de XML-sitemap noodzakelijk maakt voor de dominante zoekmachine.
Veelvoorkomende fouten bij het beheer van een XML-sitemap
Drie fouten komen regelmatig voor en verminderen de effectiviteit van het bestand.
De eerste is het gebruik van automatisch gegenereerde lastmod-datums bij elke build van de site, zonder verband met een echte wijziging van de inhoud. Google detecteert deze inconsistentie en negeert uiteindelijk de datums, wat een van de weinige nuttige signalen van de sitemap verwijdert.
De tweede betreft het opnemen van niet-canonieke URL’s. Als de sitemap zowel de versie met www als zonder www bevat, of varianten van HTTP en HTTPS, ontvangt de zoekmachine tegenstrijdige signalen over welke versie te verkiezen.
De derde fout is het beschouwen van de sitemap als een vervanging voor de interne linkstructuur. Een sitemap compenseert nooit een gebrekkige linkarchitectuur. Zoekmachines ontdekken de meeste pagina’s via interne links. De sitemap komt aanvullend in beeld voor weeskindpagina’s of recent gepubliceerde inhoud die nog geen links heeft ontvangen.
- Controleer elk kwartaal of de URL’s van de sitemap een code 200 retourneren en overeenkomen met de opgegeven canonieke URL’s
- Verwijder verouderde vermeldingen in plaats van het bestand eindeloos te laten groeien
- Vergelijk regelmatig het aantal ingediende en geïndexeerde URL’s in de Search Console om anomalieën te detecteren
De sitemap blijft een technisch bestand waarvan de waarde volledig afhangt van de kwaliteit. Een schoon bestand, bijgewerkt met betrouwbare datums en beperkt tot daadwerkelijk indexeerbare URL’s, geeft zoekmachines een duidelijk beeld van de site. Daarentegen wordt een verwaarloosde of opgeblazen sitemap met nutteloze URL’s een achtergrondruis die crawlers leren te negeren.
