În cele din urmă, nu strică niciodată să testați configurația prezentată mai sus pe doi agenți de utilizator diferiți:

În cele mai multe cazuri, va trebui să vă concentrați doar pe rezultatele răscolite / redate de agentul mobil.

Important: Vă sugerez, de asemenea, să folosiți oportunitatea oferită de Screaming Frog și să vă alimentați crawlerul cu date din GA și Google Search Console. Integrarea este o modalitate rapidă de a identifica risipa de buget de crawl, cum ar fi un corp substanțial de URL-uri potențial redundante care nu primesc niciun trafic.

Instrumente pentru analiza jurnalelor (Screaming Frog Logfile și altele)

Alegerea unui analizor de jurnal de server este o chestiune de preferințe personale. Instrumentul meu preferat este Screaming Frog Log File Analyzer. S-ar putea să nu fie cea mai eficientă soluție (încărcarea unui pachet uriaș de jurnale = suspendarea aplicației), dar îmi place interfața. Partea importantă este să ordonați sistemului să afișeze doar Googlebots verificați.

Instrumente pentru urmărirea vizibilității

Un ajutor util, pentru că vă permit să identificați paginile de top. Dacă o pagină se clasează pe primele locuri pentru multe cuvinte cheie în Google (= primește mult trafic), este posibil ca aceasta să aibă o cerere de crawl mai mare (verificați-o în jurnale – Google generează într-adevăr mai multe accesări pentru această pagină anume?).

Pentru scopurile noastre, vom avea nevoie de rapoarte generale în Senuto – Căi de acces și URL-uri – pentru o analiză continuă în viitor. Ambele rapoarte sunt disponibile în Analiza vizibilității, fila Secțiuni. Aruncați o privire:

Principalul nostru punct de interes este cel de-al doilea raport. Să îl sortăm pentru a ne uita la vizibilitatea cuvintelor cheie (lista și numărul total de cuvinte cheie pentru care site-ul nostru se clasează în TOP 10). Rezultatele ne vor servi la identificarea axei principale pentru stimularea (și alocarea eficientă) a bugetului nostru de crawl.

Instrumente pentru analiza backlink (Ahrefs, Majestic)

Dacă una dintre paginile dvs. are o cantitate mare de linkuri de intrare, folosiți-o ca pilon al strategiei de optimizare a bugetului de crawl. Paginile populare pot prelua rolul de hub-uri care transferă juice-ul mai departe. În plus, o pagină populară cu un fond decent de linkuri valoroase are șanse mai mari să atragă crawlere frecvente.

În Ahrefs, avem nevoie de raportul Pages și, mai exact, de partea sa intitulată: „Best by links”:

Exemplul de mai sus arată că unele LP-uri legate de concerte au continuat să genereze statistici solide pentru backlinks. Chiar și cu toate concertele anulate din cauza pandemiei, încă merită să folosești pagini puternice din punct de vedere istoric pentru a stârni curiozitatea roboților de crawling și a răspândi sucul în colțurile mai adânci ale site-ului tău.

Care sunt semnele revelatoare ale unei probleme de buget de crawling?

Realizarea faptului că aveți de-a face cu un crawl budget problematic (excesiv de scăzut) nu vine ușor. De ce? În principal, pentru că SEO este o întreprindere extrem de complexă. Clasamentele scăzute sau problemele de indexare pot la fel de bine să fie consecința unui profil de linkuri mediocru sau a lipsei de conținut adecvat pe site.

În mod obișnuit, un diagnostic al bugetului de crawl presupune verificarea:

• Cât timp trece de la publicare până la indexarea noilor pagini (articole de blog / produse), presupunând că nu solicitați indexarea prin Google Search Console?
• Cât timp păstrează Google URL-urile invalide în index? Important: adresele redirecționate sunt o excepție – Google le stochează intenționat.
• Aveți pagini care intră în index doar pentru a dispărea ulterior?
• Cât timp petrece Google pe paginile care nu reușesc să genereze valoare (trafic)? Mergeți la analiza jurnalelor pentru a afla.

Cum să analizăm și să optimizăm bugetul de crawl?

>
 

Decizia de a te arunca în optimizarea crawl budget este dictată în principal de dimensiunea site-ului tău web. Google sugerează că, în general, site-urile web cu mai puțin de 1000 de pagini nu ar trebui să se chinuie să profite la maximum de limitele de crawl disponibile. După părerea mea, ar trebui să începeți să luptați pentru o crawling mai eficientă și mai eficace dacă site-ul dvs. web include mai mult de 300 de pagini și conținutul dvs. se schimbă în mod dinamic (de exemplu, continuați să adăugați pagini noi / articole de blog).

De ce? Este o chestiune de igienă SEO. Implementați obiceiuri bune de optimizare și o gestionare sănătoasă a bugetului de crawl în primele zile și veți avea mai puțin de rectificat și de reproiectat în viitor.

Optimizarea bugetului de crawl. O procedură standard

În general, activitatea de analiză și optimizare a bugetului craw constă în trei etape:

1. Colectarea datelor, care este procesul de compilare a tot ceea ce știm despre site-ul web – atât de la webmasteri, cât și de la instrumente externe.
2. Analiza de vizibilitate și identificarea fructelor care atârnă greu. Ce merge ca pe roate? Ce ar putea fi mai bun? Ce domenii au cel mai mare potențial de creștere?
3. Recomandări pentru bugetul de crawl.

Colectarea datelor pentru un audit al bugetului de crawl

1. Un crawl complet al site-ului web realizat cu unul dintre instrumentele disponibile în comerț. Obiectivul este de a realiza cel puțin două crawlere: prima simulează Googlebot, în timp ce cealaltă preia site-ul web ca agent utilizator implicit (agentul utilizator al unui browser este suficient). În această etapă, vă interesează doar să descărcați 100% din conținut. Dacă observați că crawlerul a intrat într-o buclă (atunci când, după o zi de crawling, încă mai avem doar 10% din site-ul web pe hard disk) – anunțați că există o problemă și puteți opri crawl-ul. Un număr rezonabil de URL-uri pentru analiză, în cazul site-urilor mari, este de aproximativ 250-300 de mii de pagini.

a) Ceea ce căutăm sunt în principal redirecționările interne 301, erorile 404, dar și situațiile în care textele dvs. pot fi catalogate drept conținut subțire. Screaming Frog are opțiunea de a detecta conținutul aproape duplicat:

2. Jurnalele serverului. Intervalul de timp ideal ar trebui să se întindă pe ultima lună, însă, în cazul site-urilor web mari, ultimele două săptămâni se pot dovedi suficiente. În cel mai bun caz, ar trebui să avem acces la jurnalele istorice ale serverului pentru a compara mișcările lui Googlebot în momentul în care totul mergea ca pe roate.

3. Exporturi de date din Google Search Console. În combinație cu punctele 1 și 2 de mai sus, datele de la Index Coverage și Crawl Stats ar trebui să vă ofere o descriere destul de completă a tot ceea ce se întâmplă pe site-ul dumneavoastră.

4. Date despre traficul organic. Paginile de top, așa cum au fost determinate de Google Search Console, Google Analytics, precum și de Senuto și Ahrefs. Dorim să identificăm toate paginile care ies în evidență în rândul mulțimii prin statisticile lor de vizibilitate ridicată, volumul de trafic sau numărul de backlink-uri. Aceste pagini ar trebui să devină coloana vertebrală a muncii dvs. pe bugetul de crawl. Le vom folosi pentru a îmbunătăți crawling-ul celor mai importante pagini.

5. Revizuirea manuală a indexului. În unele cazuri, cel mai bun prieten al unui expert SEO este o soluție simplă. În acest caz: o revizuire a datelor preluate direct din index! Este un bun îndemn să vă verificați site-ul cu ajutorul combinației de operatori inurl: + site:.

În cele din urmă, trebuie să fuzionăm toate datele colectate. De obicei, vom folosi un crawler extern cu funcții care să permită importul de date externe (date GSC, jurnale de server și date de trafic organic).

Analiză de vizibilitate și fructe care atârnă greu

Procesul merită un articol separat, dar scopul nostru de astăzi este să obținem o imagine de ansamblu a obiectivelor noastre pentru site-ul web și a progreselor înregistrate. Suntem interesați de tot ceea ce iese din comun: scăderile bruște de trafic (care nu pot fi explicate prin tendințe sezoniere) și schimbările concomitente ale vizibilității organice. Verificăm ce grupuri de pagini sunt cele mai puternice, deoarece acestea vor deveni HUBS-urile noastre pentru a împinge Googlebot mai adânc în site-ul nostru.

În lumea perfectă, o astfel de verificare ar trebui să acopere întregul istoric al site-ului nostru web de la lansarea acestuia. Cu toate acestea, deoarece volumul de date continuă să crească în fiecare lună, să ne concentrăm pe analiza vizibilității și a traficului organic din ultima perioadă de 12 luni.

Bugetul de crawling – recomandările noastre

Activitățile enumerate mai sus vor fi diferite în funcție de dimensiunea site-ului web optimizat. Cu toate acestea, ele sunt cele mai importante elemente pe care le iau întotdeauna în considerare atunci când efectuez o analiză a bugetului de crawl. Obiectivul primordial este de a elimina blocajele de pe site-ul dvs. web. Cu alte cuvinte, de a garanta o crawlabilitate maximă pentru Googlebots (sau alți agenți de indexare).

1. Să începem de la elementele de bază – eliminarea tuturor tipurilor de erori 404/410, analiza redirecționărilor interne și eliminarea acestora din link-urile interne. Ar trebui să ne încheiem treaba cu un crawl final. De data aceasta, toate legăturile ar trebui să returneze un cod de răspuns 200, fără redirecționări interne sau erori 404.

• În această etapă, este o idee bună să rectificăm toate lanțurile de redirecționare detectate în raportul de backlink.

2. După crawl, asigurați-vă că structura site-ului nostru web este lipsită de duplicate evidente.

• Verificați și împotriva unei potențiale canibalizări – în afară de problemele care decurg din direcționarea aceluiași cuvânt cheie cu mai multe pagini (pe scurt, nu mai controlați ce pagină va fi afișată de Google), canibalizarea afectează în mod negativ întregul buget de crawl.
• Consolidați duplicatele identificate într-un singur URL (de obicei, cel care se clasează mai bine).

3. Verificați câte URL-uri au eticheta noindex. După cum știm, Google poate naviga în continuare prin acele pagini. Doar că nu apar în rezultatele căutării. Încercăm să reducem la minimum ponderea tag-urilor noindex în structura site-ului nostru.

• Cazul de față – un blog își organizează structura cu tag-uri; autorii susțin că soluția este dictată de confortul utilizatorului. Fiecare postare este etichetată cu 3-5 etichete, atribuite în mod inconsecvent și neindexate. Analiza logurilor arată că este a treia cea mai accesată structură de pe site.

4. Analizați robots.txt. Rețineți că implementarea robots.txt nu înseamnă că Google nu va afișa adresa în index.

• Verificați care dintre structurile de adrese blocate sunt încă accesate. Poate că tăierea lor cauzează un blocaj?
• Îndepărtați directivele învechite/nefolositoare.

5. Analizați volumul de URL-uri necanonice de pe site-ul dvs. web. Google a încetat să mai considere rel=”canonical” ca o directivă dură. În multe cazuri, atributul este pur și simplu ignorat de motorul de căutare (parametrii de sortare în index – încă un coșmar).

6. Analizați filtrele și mecanismul lor de bază. Filtrarea listărilor este cea mai mare bătaie de cap a optimizării bugetului de crawl. Proprietarii afacerilor de comerț electronic insistă să implementeze filtre aplicabile în orice combinație (de exemplu, filtrarea după culoare + material + mărime + disponibilitate… a mia oară). Soluția nu este optimă și ar trebui limitată la minimum.

7. Arhitectura informațională pe site-ul web – una care să țină cont de obiectivele de afaceri, de potențialul de trafic și de profilul actual de legături. Să pornim de la ipoteza că un link către conținutul critic pentru obiectivele noastre de afaceri ar trebui să fie vizibil la nivelul întregului site (pe toate paginile) sau pe pagina principală. Simplificăm aici, desigur, dar pagina de start și meniul de sus / linkurile la nivel de site sunt cei mai puternici indicatori în construirea valorii din linkurile interne. În același timp, încercăm să obținem o răspândire optimă a domeniului: obiectivul nostru este situația în care putem începe crawl-ul de la orice pagină și ajungem la același număr de pagini (fiecare URL ar trebui să aibă cel puțin o legătură de intrare).

• Lucrul în direcția unei arhitecturi de informații robuste este unul dintre elementele cheie ale optimizării bugetului de crawl. Aceasta ne permite să eliberăm o parte din resursele bot-ului dintr-o locație și să le redirecționăm către alta. Este, de asemenea, una dintre cele mai mari provocări, pentru că necesită cooperarea părților interesate din domeniul afacerilor – ceea ce duce adesea la bătălii uriașe și critici care subminează recomandările SEO.

8. Redarea conținutului. Critic în cazul site-urilor web care urmăresc să își bazeze linkingul intern pe sisteme de recomandare care captează comportamentul utilizatorilor. Mai presus de toate, majoritatea acestor instrumente se bazează pe fișiere cookie. Google nu stochează cookie-uri, deci nu obține rezultate personalizate. Rezultatul: Google vede întotdeauna același conținut sau nu vede niciun fel de conținut.

• Este o greșeală frecventă de a împiedica Googlebot să acceseze conținutul JS/CSS critic. Această mișcare poate duce la probleme cu indexarea paginilor (și face ca Google să piardă timp pentru a reda conținutul indisponibil).

9. Performanța site-ului web – Core Web Vitals. Deși sunt sceptic în ceea ce privește impactul CWV asupra clasamentului site-ului (din mai multe motive, inclusiv diversitatea dispozitivelor disponibile în comerț și vitezele variabile ale conexiunii la internet), este unul dintre parametrii care merită cel mai mult să fie discutat cu un programator.

10. Sitemap.xml – verificați dacă funcționează și dacă conține toate elementele cheie (nimic altceva decât URL-uri canonice care returnează un cod de stare 200).

• Prima mea recomandare pentru optimizarea sitemap.xml este să vă împărțiți paginile în funcție de tip sau – când este posibil – de categorie. Divizarea vă va oferi un control total asupra mișcărilor și indexării conținutului de către Google.

FAQ


Ce este bugetul de crawl?



Bugetul de crawl reprezintă frecvența și numărul total de URL-uri pe care motoarele de căutare le pot indexa de pe un site într-o anumită perioadă. Este influențat de munca depusă pentru dobândirea backlink-urilor și popularitatea site-ului.


Cum funcționează Googlebotul?



Googlebotul funcționează în trei pași principali: crawling, indexarea și servirea datelor. Inițial, explorează web-ul pentru a descoperi date, apoi determină relevanța paginilor și, în final, afișează informațiile în rezultatele căutărilor utilizatorilor.


Care sunt factorii ce influențează bugetul de crawl?



Factorii ce influențează bugetul de crawl includ performanța serverului, codurile de răspuns ale serverului, blocurile în robots.txt, navigația cu fațete, conținutul duplicat și subțire, precum și legăturile interne slabe sau lipsa acestora.


Cum pot verifica limita ratei de crawl?



Limita ratei de crawl poate fi analizată prin intermediul datelor disponibile în Google Search Console, în raportul Crawl Stats. Aceasta indică numărul de conexiuni simultane pe care Googlebot le poate stabili atunci când explorează site-ul.


Ce este crawl demand și cum afectează bugetul de crawl?



Crawl demand se referă la cererea de accesare a unui site web de către Google, determinată de popularitatea generală a site-ului și prospețimea datelor indexate. Cu cât site-ul este mai popular și conținutul mai actualizat, cu atât cererea de crawl este mai mare.