Crawl och kategorier

Sajter crawlas på ett av två sätt, och vilket som gäller avgörs av storleken. Skillnaden avgör om en sajt crawlas utan att du gör något.

Under 5 000 URL:er: den sköter sig själv

Den automatiska passningen tar hela kön och arbetar sig igenom den. Du behöver inte göra något, och mappningen handlar om mallar snarare än om att få sidor hämtade.

Över 5 000 URL:er: du väljer vad som spelar roll

Ovanför den gränsen startar den automatiska passningen aldrig, och sajten crawlas kategori för kategori.

Att hämta en stor sajt i sin helhet innan någon del av den valts ut skulle belasta sajten utan syfte. Så en stor sajt väntar tills du mappat något, och crawlar sedan det du mappade.

Följden: på en stor sajt hämtar en crawl utan något mappat ingenting. Knappen fungerar, jobbet kör, och noll sidor läses, eftersom noll sidor valdes ut.

Mappning kräver ingen tidigare crawl

Kategorisering kräver ingen crawl.

Kategoriförslagen härleds ur URL:ernas sökvägar, som upptäckten redan samlat in. En sajt som aldrig crawlats en enda gång kan mappas första dagen. På en stor sajt täcker ungefär ett dussin mönster typiskt sett så gott som allt.

En stor sajt utan något mappat förblir ocrawlad, så det första att kontrollera är om kategorier finns.

De tre talen, och vad vart och ett inte är

Upptäckta: URL:er vi vet finns. Det största talet, och det säger ingenting om huruvida vi tittat på dem.

Mappade: URL:er tilldelade en kategori, alltså redo att crawlas.

Crawlade: URL:er vi hämtat och lagrat data för. Bara dessa poängsätts.

Ett glapp mellan upptäckta och mappade är ett beslut du inte fattat än. Ett glapp mellan mappade och crawlade är arbete som pågår.

Upptäck fler lägger till URL:er, inte crawlar

"Upptäck fler" hittar nypublicerade URL:er och lägger till dem som upptäckta. De kommer in omappade, så ingenting hämtar dem förrän du tilldelar dem.

Talen rör sig medan crawlen inte gör det.

En crawl läser allt

En crawl hämtar varje sida en gång och lagrar både head och brödtext. Head rymmer titel, beskrivning, canonical, robots och strukturerad data. Brödtexten rymmer rubriker, text, bilder och interna länkar. Poängen läser mest head; nyckelordshärledning, innehållskvalitet och länkanalys läser brödtexten.

Sidor som crawlades innan brödtexten lästes visas som Bara meta. Crawla om dem innan de vyerna kan ta med dem.