Sådan vises alle URL-adresser, der er knyttet til et websted, hurtig ud

Så du har brug for en liste, der indeholder alle webadresserne til et websted? Foretager du måske nogle omdirigeringer? Ramme grænsen for XML-sitemaps? Sejt, også jeg. Jeg har lige værktøjet til dig, der får det gjort i omtrent samme hastighed som XML Sitemaps, men du vil se meget køligere ud.

Hvor vejledningen faktisk starter

For at få din liste over webadresser skal vi bruge Wget!

Hvad er Frigg Wget?

"Wget er en gratis softwarepakke til hentning af filer ved hjælp af HTTP, HTTPS og FTP, de mest udbredte internetprotokoller." - Bryg ‍Formler

Og du kan også bruge den til at anmode om en stor liste over webadresser, der er knyttet til et domæne

‍1. Installation af Wget

For at installere Wget, hvis du ikke allerede har gjort det, skal du først installere HomeBrew; aka Brew. ? Brew er en pakkehåndtering, hvilket betyder at den installerer software til dig og administrerer den. Du kan tjekke instruktionerne på deres hjemmeside eller bare følge nedenstående.

Installer Brew

Indsæt dette i en terminalprompt, og tryk på Enter to gange ⮐ (det kan bede dig om en adgangskode.)

/usr/bin/ruby -e "$(curl -fsSL //raw.githubusercontent.com/Homebrew/install/master/install)"‍

Installer Wget

Nu hvor du har installeret Brew, er det tid til at installere Wget. Indsæt dette i en terminalprompt, og tryk på Enter ⮐

brew install wget

2. Tid til at få dem-URL'er‍

Nu med Wget installeret downloader vi simpelthen hjemmesiden og viser derefter alle dens URL'er. Start med at downloade det websted, du gerne vil have med

Wget -r www.shutterandcode.com

Så når downloadingen er afsluttet, viser vi URL'erne med

Find www.shutterandcode.com

(Sørg for at bruge det samme webstedsdomæne som det, der blev downloadet).

Konklusion

Efter en række afslappede tests, der satte Wget mod XML Sitemaps ved hjælp af mindre websteder, fandt jeg ud af, at de begge er stort set på niveau med hinanden. Lejlighedsvis ville den ene være hurtigere end den anden, men generelt havde de begge samme hastigheder

Hvis du gerne vil vide mere om Wget-kommandoer, skal du blot skrive dette i din prompt

wget --help

Jeg håber du nød at læse dette! Glem ikke at kunne lide, kommentere og abonnere! ?

ps føler sig faktisk ikke forpligtet til at kunne lide, kommentere og eller abonnere, fordi det simpelthen er en vittighed for YouTubers :)

OPDATERING: hvis du ikke ønsker, at webstedet faktisk skal downloades til din computer, tilføj '- edderkop' efter 'wget' som

wget -r --spider www.example.com

Tjek det originale indlæg og resten af ​​uddragene! serie kl

Shutter & Code - Le Blog