Ontdekt, maar nog niet geïndexeerd: oorzaken en controles
Sites met duizenden niet-geïndexeerde URL's hebben meestal één saaiere oorzaak. Deze tabel somt de gebruikelijke oorzaken op in de volgorde waarin we ze controleren.
Symptoom, waarschijnlijke oorzaak, eerste controle
| Symptoom in Search Console | Waarschijnlijke oorzaak | Eerste controle |
|---|---|---|
| Ontdekt, niet geïndexeerd op veel nieuwe URL's | Google kent de URL, maar heeft er geen crawltijd aan besteed | Tel de interne links naar de pagina; diepe pagina's worden vaak overgeslagen |
| Gecrawld, niet geïndexeerd | Pagina gezien en als weinig waardevol of dubbel beschouwd | Vergelijk met de pagina die rankt voor dezelfde query |
| Google heeft een andere canonical gekozen | http en https, of www en non-www, leven beide | Haal beide versies op en kijk naar een 301-redirect |
| Staging-site verschijnt in de resultaten | Staging is nooit geblokkeerd of geverifieerd met authenticatie | Zoek op site:staging.jouwdomein.nl |
| Plotselinge piek in uitgesloten URL's | Parameters of gefacetteerde navigatie genereren URL's | Bekijk voorbeeld-URL's in het rapport |
| Googlebot-fouten op slechts één subdomein | Firewall of rate limiting door de host of Cloudflare | Lees het serverlogboek voor 429- en 403-responses |
Eén URL controleren zoals Google dat ziet
Begin met één adres. Een tabel met oorzaken is pas nuttig als je weet welke rij op de pagina van dit moment van toepassing is.
Begin met de dekkingsstatus
Open het inspectierapport van de pagina in Search Console en lees de statusregel voordat je iets anders doet. 'Ontdekt' en 'Gecrawld' zijn verschillende oordelen, en elk wijst naar een andere oplossing.
Besteed geen week aan links voor een pagina die Google nooit heeft opgehaald. Die inspanning hoort elders toe, totdat de statusregel anders luidt.
Bewaar het inspectieresultaat met de datum. Dekkingsstaten veranderen naarmate Google opnieuw crawlt, dus een notitie van vorige week vertelt je wat er toen gebeurde, en een frisse inspectie vertelt je wat er nu gebeurt.
Vergelijk de ruwe HTML met de weergegeven pagina
Haal de URL op met cURL en zoek naar de hoofdtekst in de response. Als de woorden pas verschijnen nadat scripts zijn uitgevoerd, is het probleem rendering, niet de linkstructuur.
Een ontbrekende heading of een dunne body in de ruwe response is een snel signaal, en dat is precies het signaal dat mensen het meest over het hoofd zien.
Werk de lijst één voor één af. Een falen bij het eerste item verklaart vaak de rest, dus er is geen behoefte om de andere te controleren totdat het is opgelost.
- Hoofdheading aanwezig in de response
- Bodytekst langer dan een paar zinnen
- Interne links aanwezig als gewone anchors
- Canonical-tag die naar het juiste adres verwijst
Bevestig dat sitemap en robots-bestand overeenkomen
Een sitemap die een URL vermeldt terwijl robots.txt deze blokkeert, geeft gemengde signalen. Controleer beide bestanden op het canonical host, omdat een kopie die vanaf een andere host wordt geserveerd iets anders kan zeggen.
Mismatchen zoals deze breken zelden een hele site. Ze maken wel elke andere controle moeilijker om af te lezen.
Controleer ook de lastmod-waarden als je sitemap deze heeft. Data die nooit veranderen, of die allemaal overeenkomen met de build-dag, vertellen Google weinig over wat nieuw is.
Waar backlinks passen
Een link van een andere site is een ontdekpad. Google volgt het, wat een pagina eerder uit de ontdekt-wachtrij kan halen.
Dat maakt een link geen indexeringsknop. Een pagina zonder interne links en met één losse backlink is nog steeds een zwakke kandidaat, en Google heeft duidelijk gezegd dat het niet alles indexeert wat het vindt.
Gebruik toppages om te zien welke van jouw URL's links aantrekken, en bevestig dan of die exacte URL's geïndexeerd zijn. Gelinkt maar niet in de index is een vlag die een dag werk waard is.
Als je twijfelt, kijk dan naar de pagina's die naar de vastgelopen URL linken. Als er geen van jouw eigen pagina's is, is het probleem waarschijnlijk de interne structuur en niet de externe links.
Links van pagina's die niemand leest
Een link van een pagina die nooit wordt gecrawld, geeft Google weinig om te volgen. Controleer of de linkende pagina zelf geïndexeerd is voordat je hem meetelt als een ontdekpad.
Dode links van oude pagina's kunnen een adres een tijdje op de lijst houden, maar ze veranderen zelden het oordeel op zichzelf.
Interne links doen het zware werk
De meeste ontdekking van de eigen pagina's van een site gebeurt binnen de site. Een menu, een categorielijst en een sitemap doen meer voor een nieuwe pagina dan één externe link.
Als een pagina geen intern pad heeft, is een externe link een pleister over een structureel gat, en dat gat is wat je moet oplossen.
Linkdiepte onderscheiden van kwaliteit
Een pagina die ontdekt maar niet gecrawld is, heeft meestal een prioriteitsprobleem. Google kent het adres, maar ziet weinig reden om haast te maken, vaak omdat er weinig interne paden naar toe leiden.
Een pagina die wel gecrawld maar niet geïndexeerd is, is een oordeel. Google heeft het gelezen en wilde het niet, dus meer links helpen niet bij dunne of dubbele tekst.
Frameworks voegen een derde oorzaak toe. Next.js- en React-sites leveren soms tekst die pas verschijnt nadat JavaScript is uitgevoerd. Haal de ruwe HTML op met cURL en kijk of je tekst erin staat. Zo niet, dan is server-side rendering of prerendering de oplossing, en het recept voor het stabiel houden van URL's is van toepassing wanneer je van stack wisselt.
Bing en Yandex hebben hun eigen wachtrijen, dus controleer Bing Webmaster Tools voordat je aanneemt dat het probleem alleen van jou is.
Een nuttige test is om naar dezelfde pagina vanuit twee perspectieven te kijken. Als het interne linktelling laag is en de tekst dun, kan de oorzaak beide zijn, en je moet beide oplossen voordat je wacht.
Werkvolgorde
- Inspecteer één getroffen URL en noteer of er staat 'URL is op Google'.
- Open de sitemap en bevestig dat deze HTTP 200 retourneert op de canonical host.
- Controleer robots.txt zoals Googlebot dat zou zien, niet zoals jouw browser dat doet.
- Tel interne links in, en houd belangrijke pagina's binnen drie klikken van de homepage.
- Verwijder dunne sjabloonpagina's die alleen bestaan om geïndexeerd te worden.
- Wacht een paar weken na de oplossingen; indexering settlelt zelden in één nacht.
Werk aan één vastgelopen URL
Gebruik deze volgorde voor één URL die al weken in de wachtrij heeft gezeten. Stop bij de eerste stap die je een oorzaak geeft.
- 1
Lees de status
Noteer de exacte Search Console-status en de datum van de laatste crawl voor de URL.
- 2
Tel de paden erin
Tel vanuit je eigen crawl-export de interne links die naar de pagina wijzen en noteer van welke hub-pagina's ze komen.
- 3
Controleer de response
Vraag de URL op en bevestig een 200-status op de canonical host, zonder een redirect chain die in de weg staat.
- 4
Beslis, en wacht dan
Als de pagina dun is, verbeter hem dan. Als hij alleen diep in de site begraven is, link hem dan vanaf een sterkere pagina, en wacht daarna enkele weken voordat je oordeelt.
Wanneer een sprong in uitgesloten URL's een parameter- of sitemap-probleem is
Een plotselinge stijging in uitgesloten URL's heeft meestal een mechanische oorzaak. De taak is de generator vinden, niet elk adres achterna jagen.
Parameters en gefacetteerde paden
Een plotselinge sprong gaat vaak terug op een filter- of sorteerparameter die nieuwe adressen begon te genereren. Neem een dozijn uit het rapport en lees hun query strings.
Als de varianten dezelfde inhoud tonen, is het probleem duplicatie. De oplossing is een canonical of een parameterregel, geen extra links.
Houd pagina's in de gaten die zouden moeten bestaan. Een filter kan zijn eigen adres verdienen als mensen echt naar die combinatie zoeken. De regel is niet om elke parameter te blokkeren, maar om te beslissen welke combinaties een adres waard zijn.
Een sitemap die de verkeerde host vermeldt
Een sitemap die voor de http-versie van een site is gebouwd, of voor een host die nu doorverwijst, geeft Google een lijst die hij niet vertrouwt. Open het bestand en controleer de eerste tien adressen tegen je canonical host.
Los de lijst eerst op. Een schone sitemap kost niets om te publiceren, en het verwijdert één variabele uit het onderzoek.
Hosting- en bot-blokkadevalkuilen
Hostinger, Cloudflare en vergelijkbare lagen rate-limiten soms Googlebot terwijl ze mensen perfect bedienen. De site ziet er voor jou goed uit, maar voor de crawler wisselvallig.
Lees het ruwe accesslogboek op 403-, 429- en 5xx-responses voor user agents die Googlebot bevatten. Verifieer die hits via reverse DNS, omdat veel scrapers de naam neppen.
AI-crawlers zijn een aparte beslissing. GPTBot of ClaudeBot blokkeren in robots.txt raakt Googlebot niet, maar een zorgeloze wildcard-rule kan wel. Test het bestand na elke bewerking.
Staging-kopieën vereisen zorg. Als er een het probleem is, zet hem dan achter een wachtwoord en vraag verwijdering aan in Search Console. Een noindex-tag alleen kan ongedaan worden gemaakt door één deploy. Zie het recept over redirects voordat je hosts consolideert.
Rate limits verschijnen vaak alleen tijdens drukke periodes. Een check om middernacht kan schoon lijken, terwijl de afternoon-logs een ander verhaal vertellen, dus neem meer dan één venster in steekproef voordat je besluit.
Bewaar een notitie van elke firewall-rule die je wijzigt. Een rule toegevoegd om één scraper te stoppen, kan de crawler ook blokkeren, en het symptoom kan pas later verschijnen als een stille daling in dekking.
Welke gelinkte URL's mis je?
Deze call kost 2 credits en retourneert maximaal 1.000 rijen.
curl "https://rankbrainmarketing.link/api.php?action=toppages&q=yourdomain.com&per=1000&key=sk_live_..."Oplossingen kunnen weken duren om zichtbaar te worden. Indexstatus en onze maandelijkse linkverversing bewegen niet op dezelfde dag, dus vergelijk gelijksoortigs met gelijksoortigs.
Vragen over ontdekte pagina's
Zullen backlinks alleen een ontdekte pagina geïndexeerd krijgen?
Niet op zichzelf. Een link is een ontdekpad dat Google kan helpen de pagina eerder te vinden. Of de pagina geïndexeerd wordt, hangt nog steeds af van de inhoud en van de rest van de site.
Hoelang moet ik wachten na een oplossing?
Weken, geen dagen. Indexering settlelt zelden in één nacht, en onze indexverversingen gebeuren op hun eigen maandelijkse ritme, dus vergelijk gelijksoortigs met gelijksoortigs wanneer je controleert. Schrijf de datum van de oplossing in je notities, zodat de wacht een startpunt heeft waarop je kunt wijzen.
Moet ik indexering aanvragen voor elke URL?
Nee. Indexering aanvragen voor een paar belangrijke pagina's is redelijk. Dit doen voor duizenden dunne pagina's verandert niet het oordeel dat Google daarover maakt.
Is ontdekt-niet-geïndexeerd altijd een crawl budget-probleem?
Meestal niet voor een kleine site. Crawl budget is vooral belangrijk op grote schaal. Voor een paar honderd pagina's zijn de waarschijnlijke oorzaken linkdiepte, dunne inhoud of duplicaten.
