Descoperite, dar neindexate: cauze și verificări
Site-urile cu mii de URL-uri neindexate au de obicei o singură cauză plictisitoare. Acest tabel listează cauzele obișnuite în ordinea în care le-am verifica.
Simptom, cauză probabilă, prima verificare
| Simptom în Search Console | Cauză probabilă | Prima verificare |
|---|---|---|
| Descoperite, dar neindexate pe multe URL-uri noi | Google cunoaște URL-ul, dar nu a alocat timp de crawl pentru el | Numără linkurile interne către pagină; paginile adânci sunt omise |
| Crawluite, dar neindexate | Pagina a fost văzută și considerată de valoare mică sau duplicat | Compară cu poziționarea paginii pentru aceeași interogare |
| Google a ales un canonical diferit | http și https, sau www și non-www, ambele sunt active | Interogază ambele versiuni și caută un 301 |
| Site-ul de staging apare în rezultate | Staging-ul nu a fost niciodată blocat sau autentificat | Caută site:staging.yourdomain.com |
| Creștere bruscă a URL-urilor excluse | Parametri sau navigare facetedă care generează URL-uri | Caută URL-urile eșantionate în raport |
| Erori Googlebot pe un singur subdomeniu | Firewall sau limitare de rată de către gazdă sau Cloudflare | Citește logul serverului pentru răspunsuri 429 și 403 |
Verificarea unui URL așa cum îl vede Google
Începe cu un singur adresă. Un tabel de cauze este util doar după ce știi care rând descrie pagina din fața ta.
Începe cu starea de acoperire
Deschide raportul de inspecție al paginii în Search Console și citește linia de status înainte de orice altceva. Descoperit și crawluit sunt verdicturi diferite, iar fiecare indică o remediere diferită.
Nu petrece o săptămână pe linkuri pentru o pagină pe care Google nu a fetch-uit-o niciodată. Efortul aparține altundeva până când linia de status spune altfel.
Salvează rezultatul inspecției cu data sa. Stările de acoperire se schimbă pe măsură ce Google recrawlează, așa că o notă din săptămâna trecută îți spune ce s-a întâmplat atunci, iar o inspecție proaspătă îți spune ce se întâmplă acum.
Compară HTML-ul brut cu pagina redată
Fetch-uiește URL-ul cu cURL și caută textul principal în răspuns. Dacă cuvintele apar doar după rularea scripturilor, problema este redarea, nu graful de linkuri.
Un heading lipsă sau un body subțire în răspunsul brut este un semnal rapid, și este cel pe care oamenii îl ignoră cel mai des.
Lucrează prin listă în ordine. Un eșec la primul element explică adesea restul, așa că nu este nevoie să verifici celelalte până nu este remediat.
- Heading principal prezent în răspuns
- Textul corpului mai lung decât câteva propoziții
- Linkuri interne prezente ca ancore simple
- Tag canonical care indică adresa corectă
Confirmă că sitemap-ul și fișierul robots sunt de acord
Un sitemap care listează un URL în timp ce robots.txt îl blochează trimite semnale mixte. Verifică ambele fișiere pe gazda canonicală, deoarece o copie servită de pe o altă gazdă poate spune altceva.
Neconcordanțele de acest tip rareori strică un întreg site. Ele fac doar mai greu de citit fiecare altă verificare.
Verifică și valorile lastmod dacă sitemap-ul tău le are. Datele care nu se schimbă niciodată sau care se potrivesc toate cu ziua de build spun foarte puțin Google despre ce este nou.
Unde se încadrează backlinkurile
Un link de pe un alt site este o cale de descoperire. Google îl urmează, ceea ce poate scoate o pagină din coada de descoperire mai devreme.
Asta nu face ca un link să fie un comutator de indexare. O pagină fără linkuri interne și cu un singur backlink rătăcit este tot un candidat slab, iar Google a spus clar că nu indexează tot ce găsește.
Folosește toppages pentru a vedea care dintre URL-urile tale atrag linkuri, apoi confirmă că acele URL-uri exact sunt indexate. Linkate, dar lipsite din index este un semnal care merită o zi de muncă.
Când ești nesigur, uită-te la paginile care linkuiesc către URL-ul blocat. Dacă niciuna dintre ele nu sunt pagini de ale tale, problema este probabil structura internă, nu linkurile externe.
Linkuri de pe pagini pe care nimeni nu le citește
Un link de pe o pagină care nu este crawluită niciodată oferă lui Google puțin de urmărit. Verifică dacă pagina care linkuiește este ea însăși indexată înainte să o numeri ca pe o cale de descoperire.
Linkurile moarte de pe pagini vechi pot menține o adresă pe listă pentru o vreme, dar rareori schimbă verdictul de unul singure.
Linkurile interne fac munca grea
Majoritatea descoperirii paginilor proprii ale unui site se întâmplă în interiorul site-ului. Un meniu, o listă de categorii și un sitemap fac mai mult pentru o pagină nouă decât un singur link exterior.
Dacă o pagină nu are o cale internă, un link exterior este un plasture peste o lacună structurală, iar lacuna este ceea ce trebuie remediat.
Cum să distingi între adâncimea linkurilor și calitate
O pagină care este descoperită, dar nu crawluită, este de obicei o problemă de prioritate. Google are adresa, dar vede puțin motiv să grăbească, adesea pentru că puține căi interne duc acolo.
O pagină care este crawluită, dar neindexată, este un verdict. Google a citit-o și nu a vrut-o, așa că mai multe linkuri nu vor remedia textul subțire sau duplicat.
Framework-urile adaugă o a treia cauză. Site-urile Next.js și React livrează uneori text care apare doar după rularea JavaScript. Fetch-uiește HTML-ul brut cu cURL și vezi dacă textul tău este în el. Dacă nu, server-side rendering sau prerendering este remedierea, iar rețeta pentru menținerea URL-urilor stabile se aplică când schimbi stack-urile.
Bing și Yandex au cozile lor proprii, așa că verifică Bing Webmaster Tools înainte să presupui că problema este doar a ta.
Un test util este să te uiți la aceeași pagină din două unghiuri. Dacă numărul său de linkuri interne este mic și textul său este subțire, cauza poate fi ambele, și ar trebui să remediezi ambele înainte să aștepți.
Ordinea lucrului
- Inspectează un URL afectat și notează dacă spune 'URL este pe Google'.
- Deschide sitemap-ul și confirmă că returnează HTTP 200 pe gazda canonicală.
- Verifică robots.txt așa cum l-ar vedea Googlebot, nu cum îl vede browserul tău.
- Numără linkurile interne în, și menține paginile importante la maxim trei click-uri de acasă.
- Elimină paginile subțiri de șablon care există doar pentru a fi indexate.
- Așteaptă câteva săptămâni după remedieri; indexarea se așază rar peste noapte.
Lucrează la un URL blocat
Folosește această secvență pentru un singur URL care a stat în coadă săptămâni întregi. Oprește-te la primul pas care îți dă o cauză.
- 1
Citește statusul
Notează statusul exact din Search Console și data ultimului crawl pentru URL.
- 2
Numără căile în
Din exportul tău de crawl, numără linkurile interne care indică către pagină și notează de la ce pagini hub provin.
- 3
Verifică răspunsul
Solicită URL-ul și confirmă un status 200 pe gazda canonicală, fără un lanț de redirectări în cale.
- 4
Decide, apoi așteaptă
Dacă pagina este subțire, îmbunătățește-o. Dacă este doar îngropată adânc în site, linkuiește-o de pe o pagină mai puternică, apoi așteaptă câteva săptămâni înainte să judeci.
Când o creștere a URL-urilor excluse este o problemă de parametru sau sitemap
O creștere bruscă a URL-urilor excluse are de obicei o cauză mecanică. Sarcina este să găsești generatorul, nu să vânezi fiecare adresă.
Parametri și căi facetedă
O creștere bruscă se trasează adesea înapoi la un parametru de filtru sau sortare care a început să producă adrese noi. Eșantionează o duzină din raport și citește șirurile lor de interogare.
Dacă variantele arată același conținut, problema este duplicarea. Remedierea este un canonical sau o regulă de parametru, nu mai multe linkuri.
Fii atent la paginile care ar trebui să existe. Un filtru poate merita propria adresă când oamenii caută într-adevăr acea combinație. Regula nu este să blochezi fiecare parametru, ci să decizi care combinații merită o adresă.
Un sitemap care listează gazda greșită
Un sitemap construit pentru versiunea http a unui site, sau pentru o gazdă care acum face redirect, oferă lui Google o listă pe care nu o va încredința. Deschide fișierul și verifică primele zece adrese împotriva gazdei tale canonice.
Remediați lista mai întâi. Un sitemap curat costă puțin să fie publicat, și elimină o variabilă din investigație.
Capcane de hosting și blocare boti
Hostinger, Cloudflare și straturi similare limitează uneori rate-ul pentru Googlebot în timp ce servesc oamenii perfect. Site-ul arată bine pentru tine și instabil pentru crawler.
Citește logul de acces brut pentru răspunsuri 403, 429 și 5xx către user agents care conțin Googlebot. Verifică acele accesări prin DNS invers, deoarece multe scrapere fake-uiesc numele.
Crawlerii AI sunt o decizie separată. Blocarea GPTBot sau ClaudeBot în robots.txt nu atinge Googlebot, dar o regulă wildcard neglijentă poate. Testează fișierul după fiecare editare.
Copiile de staging au nevoie de grijă. Când una este problema, pune-o în spatele unei parole și solicită eliminarea în Search Console. Un tag noindex singur poate fi anulat de un singur deploy. Vezi rețeta despre redirectări înainte de a consolida gazdele.
Limitările de rată apar adesea doar în perioadele aglomerate. O verificare rulată la miezul nopții poate arăta curată în timp ce logurile de după-amiază povestesc o altă poveste, așa că eșantionează mai multe ferestre înainte să decizi.
Păstrează o notă despre fiecare regulă de firewall pe care o schimbi. O regulă adăugată pentru a opri un scraper poate bloca și crawlerul, iar simptomul poate apărea mai târziu ca o scădere liniștită a acoperirii.
Ce URL-uri linkate îți lipsesc?
Această apelare costă 2 credite și returnează până la 1.000 de rânduri.
curl "https://rankbrainmarketing.link/api.php?action=toppages&q=yourdomain.com&per=1000&key=sk_live_..."Remedieri pot dura săptămâni să apară. Statusul de index și refresh-ul lunar al linkurilor nu se vor mișca în aceeași zi, așa că compară similar cu similar.
Întrebări despre pagini descoperite
Vor backlinkurile singure să indexeze o pagină descoperită?
Nu în mod independent. Un link este o cale de descoperire care poate ajuta Google să găsească pagina mai devreme. Faptul că pagina este indexată depinde totuși de conținutul ei și de restul site-ului.
Cât timp ar trebui să aștept după o remediere?
Săptămâni, nu zile. Indexarea se așază rar peste noapte, iar refresh-urile indexului nostru au propriul lor ritm lunar, așa că compară similar cu similar când verifici. Scrie data remedierii în notele tale, astfel încât așteptarea să aibă un start pe care îl poți indica.
Ar trebui să solicit indexarea pentru fiecare URL?
Nu. Solicitarea indexării pentru câteva pagini importante este rezonabilă. Făcând-o pentru mii de pagini subțiri nu schimbă verdictul pe care Google îl face despre ele.
Este descoperit-neindexat întotdeauna o problemă de buget de crawl?
De obicei nu pentru un site mic. Bugetul de crawl contează în principal la scară mare. Pentru câteva sute de pagini, cauzele mai probabile sunt adâncimea linkurilor, conținutul subțire sau duplicatele.
