Jak pobrać wszystkie strony witryny sieci Web w systemie Linux

Wget to potężne oprogramowanie open source w systemie Linux, które może być używane do pobierania treści ze stron internetowych. Czasami konieczne jest zrobienie kopii wszystkich treści na stronie internetowej, być może w celu utworzenia kopii lustrzanej witryny lub zachowania aktualnej zawartości do późniejszego wykorzystania. Dzięki Wget można pobrać całą witrynę za pomocą pojedynczego polecenia.

1.

Upewnij się, że wget jest zainstalowany za pomocą polecenia "which". Wpisanie "which wget", bez cudzysłowów, w terminalu pokaże, gdzie Wget jest zainstalowany na komputerach z systemem Linux. Jeśli Wget nie jest zainstalowany, użyj narzędzi instalacyjnych oprogramowania dystrybucji, takich jak Yum lub Apt-get, aby zainstalować Wget.

2.

Ustaw flagę do odzwierciedlenia witryny. Wget ma wiele flag, które można ustawić, aby zmienić zachowanie programu. Flaga "-m" jest używana do pobierania całej witryny. Na przykład wpisz:

wget -m www.fake-web-site.com

Spowoduje to utworzenie lokalnej kopii "www.fake-web-site.com" na twoim komputerze. Domyślnie Wget tworzy katalog o tej samej nazwie, co strona internetowa w katalogu, w którym został wykonany.

3.

Sprawdź, czy zawartość została nabyta, otwierając lokalną kopię strony w przeglądarce.

Rzeczy potrzebne

• wget

Ostrzeżenia

• Wget może zużywać znaczną część przepustowości podczas żądania zawartości z serwera. Ponadto niektóre zapory ogniowe mogą interpretować szybkie żądania od pojedynczego klienta jako atak, co może skutkować tymczasowym zablokowaniem adresu IP z serwera. Upewnij się, że flaga -w jest ustawiona tak, aby ograniczyć czas między żądaniami. Na przykład:
• wget -m -w 10 www.fake-web-site.com
• sprawi, że Wget zaczeka na 10 sekund, zanim zażąda kolejnych plików z serwera.