wget linux

Programovacie jazyky, rady, poradňa...
martintv
Medium Expert
Medium Expert
Používateľov profilový obrázok
Príspevky: 108
Registrovaný: 01 feb 2011, 19:59

wget linux

Príspevok od používateľa martintv »

Zdravím,

mam mensi problem, mojou ulohou je stiahnut velke mnozstvo stranok, pre moje potreby mi staci len index.html
to mam vyriesene cez

Kód: Vybrať všetko

#!/bin/bash
file="tahaj1.txt"
while IFS= read -r line
do
wget -x -t 1 -T 1 "$line"
done <"$file" 
ale trva to strasne dlho, presli 4 hodiny a mam len 25k stranok, treba mi stiahnut 300 000.
niekto nejaku fintu? som v tomto zaciatocnik, skusal som to rozparalelnit, zeby som rozdelil input file na mensie casti a naraz stahovat, no nefungovalo to :D
Boccaccio
Medium Professional
Medium Professional
Používateľov profilový obrázok
Príspevky: 1097
Registrovaný: 01 mar 2014, 14:00
Bydlisko: Bratislava

Re: wget linux

Príspevok od používateľa Boccaccio »

skús použiť
wget -b -x -t 1 -T 1 "$line"
martintv
Medium Expert
Medium Expert
Používateľov profilový obrázok
Príspevky: 108
Registrovaný: 01 feb 2011, 19:59

Re: wget linux

Príspevok od používateľa martintv »

Boccaccio napísal:skús použiť
wget -b -x -t 1 -T 1 "$line"
no to mi neurýchli download, len mi to hodi na pozadie, co tym ziskam? :D
Boccaccio
Medium Professional
Medium Professional
Používateľov profilový obrázok
Príspevky: 1097
Registrovaný: 01 mar 2014, 14:00
Bydlisko: Bratislava

Re: wget linux

Príspevok od používateľa Boccaccio »

Skús to, teraz sa čaká na stiahnutie a potom sa až sťahuje dalšie.
Na pozadí by to mohlo možno fičať paralelnejšie.
martintv
Medium Expert
Medium Expert
Používateľov profilový obrázok
Príspevky: 108
Registrovaný: 01 feb 2011, 19:59

Re: wget linux

Príspevok od používateľa martintv »

Boccaccio napísal:Skús to, teraz sa čaká na stiahnutie a potom sa až sťahuje dalšie.
Na pozadí by to mohlo možno fičať paralelnejšie.
ani nevies ako to pomohlo :D keby sa dalo tak u mna mas pivo :D
Boccaccio
Medium Professional
Medium Professional
Používateľov profilový obrázok
Príspevky: 1097
Registrovaný: 01 mar 2014, 14:00
Bydlisko: Bratislava

Re: wget linux

Príspevok od používateľa Boccaccio »

martintv napísal:ani nevies ako to pomohlo :D keby sa dalo tak u mna mas pivo :D
a nedá sa? :?
martintv
Medium Expert
Medium Expert
Používateľov profilový obrázok
Príspevky: 108
Registrovaný: 01 feb 2011, 19:59

Re: wget linux

Príspevok od používateľa martintv »

Boccaccio napísal: a nedá sa? :?
si z BA, ja som v KE :D aspon co mas pod podpisom :D
Napísať odpoveď