Spidr

Das Skript kann auf einer einzelnen Seite, Website, mehrere Domains oder auch non-stop laufen.
Spidr soll schnell und einfach zu bedienen sein

Eigenschaften .

• von einer früheren Sitzung wiederherstellen Spidern Warteschlange und Geschichte .
• Individuelle User-Agent-Strings.
• Benutzerdefinierte Proxy-Einstellungen.
• HTTPS-Unterstützung.


• folgt:
• Tags ein.
• iframe-Tags.
• Frame-Tags.
• Cookie geschützt Links.
• HTTP 300, 301, 302, 303 und 307 Redirects.
• Meta-Refresh Redirects.
• HTTP Basic Auth geschützt Links.


• Black-Liste oder weiß-Liste URLs basierend auf:
• URL-Schema.
• Hostname
• Port-Nummer
• Voll Link
• URL-Erweiterung


• Bietet Rückrufe für:
• Jede besuchte Seite.
• Jeder besuchte URL.
• Jeder besuchte URL, die einem bestimmten Muster übereinstimmt.
• Jeder Herkunfts- und Ziel URI eines Links.
• Jede URL, die nicht zu besichtigen.


• Bietet Aktionsmethoden an:
• Pause Spidern.
• Verarbeitung von Seiten überspringen.
• Verarbeitung von Links überspringen.

Was ist neu in dieser Pressemitteilung:

• Fangen Sie OpenSSL SSL :: :: SSLError Ausnahmen, wenn initiiert HTTPS Sessions.