PHPCrawl

Kann schriftlich Such Crawler (Spinnen), dass die Mine Webseiten für verschiedene Daten verwendet werden.
PHPCrawl erhält Informationen, die es so konfiguriert war, zu holen und gibt sie an leistungsfähiger Anwendungen zur Weiterverarbeitung

Eigenschaften .

• Die Filter für die URL und Content-Type-Daten
• Möglichkeiten, Cookies umgehen Definieren
• Möglichkeiten, robots.txt-Dateien verarbeiten definieren
• Begrenzen seine Tätigkeit auf verschiedene Weise
• Multi-Processing-Modi

Was ist neu in dieser Pressemitteilung:

• Fixed bugs:
• Links, die teilweise urlencoded und teilweise nicht erhalten Wiederaufbau / jetzt richtig codiert werden.
• Entfernt eine unnötige Debug var_dump () aus PHPCrawlerRobotsTxtParser.class.php
• Server-Namen-Anzeige in TLS / SSL funktioniert nun korrekt.
• & quot; base-href & quot;. -Tags In Websites bekommen jetzt wieder korrekt interpretiert

Was ist neu in der Version 0.80 Beta:

• -Code wurde komplett umgestaltet, um portiert PHP5-OO- Code und eine Menge Code wurde neu geschrieben.
• Möglichkeit hinzugefügt, Verwendung mehrerer Prozesse verwenden, um eine Website Spinne. Verfahren & rdquo; goMultiProcessed () & quot; hinzugefügt.
• New overridable Verfahren & rdquo; initChildProcess () & quot; für die Einleitung kinder Prozesse bei der Verwendung der Crawler in Multi-Prozess-Modus hinzugefügt.
• eingebaut wurden eine Alternative, Innen SQlite Caching-Mechanismus für die URLs, die es ermöglichen, sehr große Websites Spinne.
• Method & quot; setUrlCacheType () & quot; hinzugefügt.
• Neue Methode Arbeitsverzeichnisdefinieren () hinzugefügt für die Position der Raupen temporäre Arbeitsverzeichnis manuell definieren. Dafür Verfahren & rdquo; setTmpFile () & quot; wird als veraltet markiert (keine Funktion mehr).
• Neue Methode & quot; addContentTypeReceiveRule () & quot; ersetzt das alte Verfahren & rdquo; addReceiveContentType () & quot;.
• Die Funktion & quot; addReceiveContentType () & quot; noch vorhanden ist, aber als veraltet. markiert

Anforderungen :

• PHP 5 oder höher
• PHP mit OpenSSL-Unterstützung