[solved] HTML-Datei für wget vorbereiten

[kuechenchef]

Hallo,

ich habe hier eine Link-Sammlung als HTML-Datei liegen und möchte nun die Links aus der Datei an wget übergeben.

Dazu müsste ich alles, was nicht zu Link gehört entfernen.

<a href="http://www.bla.de/index12.html">bla bla bla</a>

<a href=" und ">bla bla bla</a> müssen weg damit wget diesen Link lesen kann.

Mein erster ansatz war :

cat index12.html | grep "http://"

nun komme ich nicht weiter.

 

[ninguno]

wie schaut denn die link datei aus? aber vielleicht meinst du's so

grep "http://" index12.html | while read zeile; do link=${zeile%\">*};echo ${link#*=\"} ;done

 

[TeXpert]

oder mit sed, also
sei die Datei input.txt:

<a href="http://www.example.org/eins.html">bla bla bla</a>
<a href="http://www.exampe.org/zwei.html">bla bla bla</a>
<a href="http://www.example.org/drei.html">bla bla bla</a>
<a href="http://www.example.org/vier.html">bla bla bla</a>

dann können die relevanten Teile mit sed rausgelesen werden:

sed -e 's/[^"]*"\([^"]*\)".*/\1/' input.txt > urls.txt

alternativ (wenn input.txt überschrieben werden kann auch mit

sed -i -e 's/[^"]*"\([^"]*\)".*/\1/' input.txt

die können dann problemlos mit wget -i urls.txt geholt werden.

etwas kürzer gehts es so:

wget $(sed -e 's/[^"]*"\([^"]*\)".*/\1/' input.txt)

dabei wird dynamisch aus der Datei eine Liste der URLs generiert und an wget verfüttert.

 

[Codeman]

hallo da mich das perönl. auch interessiert mal ne frage
geht das auch mit *.php datein?

und kann ich alles rauswerfen also "echo" und was nicht alles?

oder muss ich die datei schon so zusammenbasteln?

 

[TeXpert]

wenn Du Dein rauswerfen als RegularExpression beschreiben kannst... klar

 

[kuechenchef]

Danke das war genau das richtige