Come utilizzare Wget per scaricare qualsiasi cosa da Internet

Wget è un’utilità della riga di comando che può essere utilizzata per scaricare quasi tutto ciò che è disponibile su Internet. Il problema è che dovrebbe essere disponibile su protocolli HTTP, HTTPS o FTP; altrimenti Wget non sarà in grado di scaricarlo. Esistono diversi modi in cui è possibile utilizzare Wget, ad esempio è possibile utilizzare Wget per scaricare ogni immagine su un sito Web oppure è possibile scaricare anche un singolo file. Wget è anche in grado di riprendere i download, quando possibile. Quindi, se ti stai chiedendo come funziona Wget e cosa può fare per te, ecco come usare Wget:

Installazione di Wget

1. Installazione di Wget su macOS Sierra

Prima di iniziare a usare Wget, dovremo installarlo sul nostro sistema. Ora, fortunatamente, la maggior parte delle distribuzioni Linux viene fornita con Wget preinstallato, quindi non dovrai fare alcun lavoro aggiuntivo. Tuttavia, se sei su un Mac, dovrai installare Wget. Questo può essere fatto facilmente usando Homebrew (download). Se hai bisogno di aiuto, ecco i passaggi che dovrai seguire:

  • Innanzitutto, dovrai installare Homebrew sul tuo Mac, per poter scaricare Wget. Per fare questo, basta avviare il Terminalee digita il seguente comando:
/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

installa homebrew su mac passaggio uno

  • Al termine del comando, Verrà installato Homebrew sul tuo sistema. Ora puoi usare Homebrew per installare pacchetti, come Wget. Nel Terminale, esegui semplicemente il seguente comando:
brew install wget

installa wget su mac con homebrew

  • Homebrew si avvierà automaticamente scaricare, decomprimere e installare Wget sul tuo sistema. Questo passaggio potrebbe richiedere del tempo, a seconda della velocità della tua rete, quindi sii paziente. Una volta completato il comando, dovresti essere in grado di utilizzare Wget sul tuo Mac. Per verificare se è stato installato, basta usare il comando:
wget -V

controlla wget install

2. Installazione di Wget su Windows

L’installazione di Wget su Windows richiede un po’ più di sforzo, ma può essere eseguita facilmente. Se vuoi installare Wget sul tuo PC Windows, segui i passaggi seguenti:

  • Innanzitutto, scarica Cygwin e poi eseguire il file di installazione scaricato.
  • Quando viene richiesta la fonte di download predefinita, scegli l’opzione che dice “Installa da Internet“, e fare clic su “Prossimo”.

installa da internet

  • Scegli una directory di installazione per Cygwin, nonché una directory in cui salverà i file del pacchetto per l’installazione delle utilità.

directory di installazione

  • Nella schermata successiva, ti viene richiesto di selezionare la tua connessione Internet. Se stai usando un proxy, scegli il tipo di proxy che è e inserisci i dettagli. Per la maggior parte degli utenti, tuttavia, la scelta sarebbe “Connessione diretta“.

connessione diretta

  • Ti verrà quindi mostrato un elenco di specchi, scegli uno di questi per scaricare Cygwin. Se il download non riesce, puoi riprovare con un mirror diverso.

scegli lo specchio

  • Nella finestra successiva, cerca “wget”, e fare clic su più accanto a “ragnatela” nell’elenco che compare. Qui, la casella di controllo accanto a “wget” verrà selezionato automaticamente. Basta fare clic su “Prossimo”.

cerca wget

  • La schermata successiva ti mostrerà i pacchetti da scaricare. Basta fare clic “Prossimo”.

dipendenze successivo

  • Una volta completata l’installazione, ti verrà chiesto se lo desideri creare un’icona sul desktope/o aggiungere un accesso al menu di avvio. Questa è completamente una questione di preferenze personali, ma ti suggerisco di aggiungerlo almeno al menu di avvio, così puoi trovarlo facilmente.

Crea icona sul desktop

Questo è tutto. Wget è ora installato sul tuo PC Windows. Tuttavia, non sarai in grado di eseguirlo dal prompt dei comandi. Invece, dovrai avvia il terminale Cygwin e usa Wget da lì.

Come usare Wget

Ora che abbiamo Wget installato e funzionante sul nostro sistema, esploriamo tutti i modi interessanti in cui possiamo utilizzare Wget per scaricare file, cartelle e persino interi siti Web da Internet. Ecco un paio di cose interessanti che puoi fare con Wget sul tuo sistema.

Nota: Sto usando Wget su un MacBook Air con macOS Sierra 10.12.3 beta. Tuttavia, poiché l’utilità che stiamo utilizzando è la stessa (Wget), i comandi saranno gli stessi su qualsiasi sistema operativo su cui potresti utilizzare Wget.

1. Usa Wget per scaricare i file

Puoi usare Wget per scaricare facilmente file da Internet. Basta usare il seguente comando

wget <url>

usa wget per scaricare i file

  • Scarica un file e salvalo con un nome file specifico

I file sui server a volte hanno i nomi più strani e potresti voler scaricare il file e fare in modo che Wget lo rinomini automaticamente in qualcosa che ha più senso per te. Per fare ciò, usa semplicemente il seguente comando

wget -o <output_file.extension> <url_to_download>

usa wget per scaricare i file e salvarli con il nome del file

  • Scarica solo tipi di file specifici

Un server Web può ospitare un numero di file diversi. Quindi, cosa succede se vuoi solo scaricare tutti i PDF sul server, o forse tutte le GIF? Usa semplicemente il seguente comando:

wget -r -A pdf <url_to_download>

usa wget per scaricare tipi di file specifici

Questo particolare comando è stato utilizzato da Mark Zuckerberg nella sua stanza del dormitorio di Harvard, per scaricare tutte le immagini con un solo comando e costruire il famigerato sito Web “facesmash.com”.

wget -r -A jpg, jpeg, png, bmp <url_to_download>

usa wget per scaricare più tipi di file con l'elenco di accettazione

2. Scarica file da più URL con Wget

Supponiamo che tu debba scaricare file da un numero di posizioni diverse su Internet. Potrebbe esserci un File PDF su url1un importante File ZIP su url2e qualcos’altro in url3. Se hai usato Wget in modo tradizionale, dovrai eseguirlo tre volte. Tuttavia, esiste un modo molto più semplice per farlo.

  • Innanzitutto, crea un file con tutti gli URL da cui devi scaricare i dati. Accertati di mantieni ogni URL nella sua riga. Salva il file e assicurati di ricordare il nome.

file con URL

  • In Terminale, usa il comando seguente per scaricare file da tutti gli URL:
wget -i <file_name>

utilizzare un file esterno per specificare gli URL

dove “nome del fileè il nome del file che hai creato con tutti gli URL dovevi scaricare materiale da.

3. Scarica un intero sito Web con Wget

Sì, avete letto bene. Puoi usare Wget anche per scaricare i contenuti di un intero sito web. Ovviamente, se il sito Web è troppo grande, il completamento di questo comando richiederà molto tempo, per non parlare del fatto che occuperà molto spazio sul tuo sistema. Detto questo, se vuoi usare Wget per scaricare un intero sito web, usa semplicemente il seguente comando:

wget --mirror -p <url> -P ./LOCAL-DIR WEBSITE-URL

scarica l'intero sito Web con wget

Questo scaricherà l’intero sito Web, in una cartella “DIR. LOCALE” all’interno della tua directory di lavoro. I file del sito Web verranno archiviati in una cartella con lo stesso nome del sito Web, grazie a “URL DEL SITO“.

4. Usa Wget come Web Spider

Puoi anche fare in modo che Wget si comporti come un web crawler (o un web spider). Questo è utile quando vuoi conferma che l’URL del file che desideri scaricare è valido. Per utilizzare Wget come ragno web e verificare la validità degli URL, basta utilizzare il seguente comando:

wget --spider <url>

usa wget come un ragno

Questo verificherà se l’URL che hai menzionato esiste e riceverai una risposta che ti dice i risultati del controllo.

risposta positiva

risposta negativa

5. Continua Download incompleti

Questa è un’altra cosa davvero interessante che Wget può fare. Supponiamo che stavi scaricando un file con Wget, ma per qualche motivo hai dovuto spegnere il laptop. La prossima volta che vuoi provare a scaricare lo stesso file, Wget può effettivamente continua il download per te. Devi solo assicurati di trovarti nella stessa cartella in cui stavi scaricando il file l’ultima voltaquindi utilizzare il comando seguente:

wget -c <url>

continua il download

Quando Wget vede che una parte del file è già presente nel tuo sistema, continuerà automaticamente il download.

Nota: Se il file sul server è stato modificato dall’ultima volta che hai provato a scaricarlo, non dovresti usare questo comando, perché risulterà in un file danneggiato che non sarai in grado di leggere.

Inoltre, se il server non consente download continui, Wget rifiuterà di avviare il download da zero. Se vuoi iniziare il download da zero, dovrai eliminare il file parzialmente scaricato dal tuo sistemaprimo.

Ci sono altre condizioni per usare questo argomento e puoi leggere di più a riguardo nella pagina man di Wget.

6. Limita la velocità di download

Se stai usando Wget per scaricare file e navigare in Internet insieme ad esso, probabilmente non vorrai che tutta la tua larghezza di banda venga utilizzata da Wget. Fortunatamente, Wget include un argomento che puoi usare per limitare la quantità di larghezza di banda che Wget può utilizzare per scaricare file sul tuo sistema:

wget --limit-rate=<speed> <url>

limitare la velocità di download

Nota: Tieni presente che la velocità è menzionata in Byte e non in Bit. Quindi, se usi Wget –limit-rate=20k, limiterà l’utilizzo della larghezza di banda a 20 kB e non a 20 kb.

7. Usa Wget per scaricare file da server FTP

Se devi scaricare un file da un server FTP, puoi farlo anche con Wget. Usa semplicemente il seguente comando per scaricare i file dai server FTP:

wget <ftp_url>

wget ftp

  • Scarica file da server FTP con Login

SE il tuo server FTP richiede un accesso per consentire il download dei file, puoi semplicemente passare le credenziali anche con Wget. Basta usare il seguente comando:

wget --ftp-username=USERNAME --ftp-password=PASSWORD <ftp_url>

wget ftp auth

VEDERE ANCHE: 30 comandi del terminale Mac per accedere a funzionalità nascoste

Usa facilmente Wget per scaricare file da Internet

Puoi usare Wget per scaricare file da qualsiasi punto di Internet. Tuttavia, mentre Wget funziona quasi sempre, ci sono alcuni server che impediscono l’accesso a Wget, nel qual caso puoi provare a cambiare il –user-agent per il tuo comando Wget. Tuttavia, questa non è una linea d’azione consigliata, a meno che tu non sappia assolutamente cosa stai facendo. Per la maggior parte, Wget ti consentirà di scaricare qualsiasi file da Internet, purché tu abbia accesso ad esso, e al suo URL.

Quindi, hai mai usato Wget per scaricare file da Internet? Facci sapere della tua esperienza con l’utilizzo di Wget per scaricare file, tramite i protocolli HTTP, HTTPS e FTP. Inoltre, se conosci altri usi di Wget che ritieni meritino di essere in questo elenco, faccelo sapere nella sezione commenti qui sotto.

Leave a Comment

Your email address will not be published.