URL:er och mappning

URL-sidan är där en sajt blir en uppsättning kategorier. Allt nedströms läser det du bestämmer här: vilka sidor som crawlas, vilka som delar en mall och vilka som lämnas utanför mätningen. Crawl och kategorier förklarar varför besluten spelar roll; den här sidan förklarar reglagen.

Sidan

Tabellen till vänster listar sajtens URL:er grupperade på djup, femtio i taget per nivå. Panelen till höger har fyra avsnitt: Filtrera vyn, Crawl, Föreslagna kategorier och Kategorier. På en smal skärm blir panelen en andra flik, Kategorier & Crawl.

Det finns ingen Spara-knapp för kategorier och filterregler. En ändring sparas ungefär en och en halv sekund efter att du slutat redigera; "Sparar…" visas i Crawl-avsnittet medan det sker.

Vad en kategori gör

En kategori gör två jobb. Den väljer ut sidor för crawl, och den är det som får en metadata-mall på Innehållssidan. En sida utan kategori crawlas bara på en liten sajt, och mallas ingenstans.

En kategori fylls på ett av tre sätt, valt när du skapar den:

• URL-mönster matchar på sökvägen, till exempel /blogg/. Regeln tillämpas igen när nya sidor hittas, så kategorin fortsätter fylla sig själv.
• Sidinnehåll matchar på vad sidan säger: en fritextfråga som körs om efter varje crawl. Den har inget att läsa förrän sidorna är crawlade.
• Handplock är att du bockar i rader i tabellen.

En handplockad sida stannar där du satte den; en innehållsträff slår en mönsterträff; bland mönsterregler vinner högsta prioritet, och bara den första regel som matchar räknas. CSV-import är en fjärde väg in, beskriven nedan.

Att skapa en kategori

Plusset i Kategorier-rubriken frågar hur kategorin fylls och öppnar sedan redigeraren i panelen. Ge den ett namn och en färg. Sidorna är skrivna på tar en språkkod, sv eller sv-SE, och spelar bara roll för hreflang; lämna det tomt för en kategori som inte är ett språk. Medan du skriver ett mönster eller en fråga räknar redigeraren URL:erna den fångar och tabellen markerar dem. För ett mönster tas antalet från de laddade raderna, så på en stor sajt är det en undre gräns.

Föreslagna kategorier erbjuder mönster härledda ur sökvägarna, och en språkregel när sajtens URL:er följer en. Acceptera lägger till kategorin och dess regel; Avfärda döljer bara förslaget tills sidan laddas om. Förslagen fungerar före första crawlen, så en stor sajt mappas från sina sökvägar i stället för från crawlat innehåll.

Matchningstyperna är innehåller, börjar med, slutar med, exakt och regex, alla okänsliga för skiftläge. Börjar med godtar också mönstret med protokollet framför, så /skor/ och https://example.se/skor/ beter sig lika.

Crawl-avsnittet

En rad säger var sajten står, och en knapp gör det raden ber om.

• Inga sidor upptäckta ännu → Hitta sidor läser sitemapen och följer länkar.
• Kategorisera URLs för att kunna starta crawl visas på en stor sajt utan något mappat; Crawlas automatiskt, ingen kategorisering behövs på en liten.
• N sidor redo att crawlas → Starta crawl.
• Crawlar → Pausa eller Avbryt. Stapeln visar framstegen genom de mappade sidorna.
• N sidor misslyckades → Försök igen nollställer dem och crawlar igen.
• N sidor hittade men aldrig crawlade → Crawla dem hämtar sidorna sajten aldrig läst, och inget annat.
• Uppdaterad → Crawla om läser allt igen, efter en bekräftelse som säger hur många sidor och ungefär hur mycket data det är.

Varje kategorikort har också en crawl-ikon, för att crawla just den kategorin.

Menyn bredvid raden rymmer resten: Hitta nya sidor, länkdjupet att följa när sitemap saknas, Crawla sidor som inte crawlats, Crawla om alla sidor och Hitta nya sidor automatiskt. Den sista är schemat för återupptäckt, dagligen eller var så många timmar, och det är inte detsamma som automatisk crawl: att stänga av det hindrar inte en liten sajt från att crawla sig själv, och att slå på det får inte en stor att börja.

Talen

Under statusraden: N upptäckta · N crawlade, med källorna, antalet kategoriserade och senaste crawl i verktygstipset. Upptäckta är varje URL vi vet finns. Crawlade är varje URL vi har läst. Kategoriserade är varje URL i en kategori.

N inte crawlade är sidorna som aldrig hämtats. Det är inte helt enkelt upptäckta minus crawlade, eftersom återupptäckten lägger tillbaka en sida i kön när dess sitemap-datum ändras, och en sådan sida har crawlats fast den väntar igen.

Sök och filtrera

Sökrutan har två lägen. URL filtrerar de laddade raderna på URL, titel och kategori medan du skriver. Innehåll söker i texten på varje crawlad sida på sajten och visar ett utdrag under varje träff; sidor som inte crawlats än kan inte matcha. Från en innehållssökning öppnar Gör en kategori av dessa redigeraren med frågan ifylld.

Filteravsnittet avgränsar på språk, när sajten har fler än ett, och till Endast mappade URL:er. Ett klick på ett kategorikort filtrerar tabellen till den kategorin, och raden Okategoriserad till sidor utan någon. Kolumnknappen visar kolumnerna som är dolda som standard: källa, HTTP-status och crawlstatus, som pricken bredvid varje URL redan sammanfattar.

Att arbeta med rader

Fäller du ut en rad visas vad crawlen läste från sidan och, med Search Console kopplat, frågorna den rankar för. Kategoricellen tilldelar eller tar bort en kategori på plats. Radmenyn öppnar sidan, kopierar URL:en, crawlar om den eller tar bort den.

Bockar du i rader öppnas ett fält för urvalet: tilldela kategori, crawla om, exportera som CSV eller ta bort. Tilldelning och omcrawl tar upp till 500 sidor per anrop.

Ta bort tar inte bort. Det exkluderar sidan från den här sajten: den lämnar varje lista och räkning på en gång och hålls utanför poängen. Själva crawldatan rörs inte.

Systemsidor

När crawlen hittar sidor som egentligen inte är sidor grupperar ett kort ovanför tabellen dem: admin- och inloggningssidor, API- och systemfiler, flöden, kundvagn och kassa, interna sökresultat, WordPress-ID-länkar, spårningsparametrar och filer snarare än sidor. De räknas i poängen tills de exkluderas, men de går inte att optimera.

Varje grupp är ibockad; bocka ur det du vill behålla och välj sedan Exkludera. Toasten erbjuder Ångra i åtta sekunder. Döljer du kortet förblir det dolt tills nya systemsidor dyker upp.

CSV in och ut

Panelrubriken exporterar varje URL med kategori, titel, beskrivning och de övriga SEO-fälten; importdialogen erbjuder samma fil som utgångspunkt, eller en tom mall. Redigera den i ett kalkylark och importera tillbaka den.

Två kolumner krävs, url och category; resten är valfria. Varje rad måste matcha en URL sajten redan känner till, på sökvägen, så http och https, med och utan www, går ihop. En kategori som inte finns än skapas. Fyll i tomma fält skriver bara de icke-tomma cellerna; Ersätt allt ser filen som sanningen och tomma celler rensar fältet. Förhandsgranska först: dialogen säger hur många rader som importeras, vilka kategorier som är nya, vilka rader som hoppas över, och varnar när två kategorinamn ser ut som felstavningar av varandra. Filer är begränsade till 10 MB och 5 000 rader.

Titlar och beskrivningar som importeras så här blir sidornas egna värden, som kategorins mall sedan lämnar i fred; Mallar och publicering förklarar hur du lämnar tillbaka dem.

När en crawl läser ingenting

Crawlen blev klar och toasten säger varför:

• Alla upptäckta URL:er är redan crawlade. Inget att göra.
• URL:er väntar. Mappa URL:er till kategorier för att välja vad som ska crawlas. En stor sajt utan något mappat.
• Inget väntar i den här kategorin. Kategorin du startade från är tom; antalet säger var de väntande sidorna finns.
• En sajt av den här storleken ska crawlas automatiskt. Den automatiska körningen uteblev. Inget du behöver åtgärda, men säg till oss.

En crawl kan också nekas rakt av när den skulle skriva mer än ett jobb får. Crawla en kategori i taget i stället.

Att komma från översikten

En länk från ett fynd på översikten öppnar den här rutten som en ren filtrerad lista med en tillbakalänk och utan panel. Det är samma URL:er, avgränsade till ett problem; hela sidan är ett klick bort.