Databot

Alle Webseiten werden in einem Textdatei, die als Input für das Ausführen von Skripten verwendet werden aufgelistet.
Der Code ist gut kommentiert und sollte alle Tipps für die Konfiguration benötigt werden.
Die Seiten können als pe analysiert und Informationen von ihnen extrahiert.
Die resultierenden gespeicherten Dateien werden in einem Unterverzeichnis von dem URL der abgerufenen Seite mit dem Namen gespeichert und die Dateien werden mit dem aktuellen Datum / Zeitstempel, um die Dateien nicht überschrieben werden benannt.