Web Crawler Methodik. Breitensuche in Python mit Scrapy Framework
Seiten
2016
|
16001 A. 1. Auflage
GRIN Verlag
978-3-668-27530-0 (ISBN)
GRIN Verlag
978-3-668-27530-0 (ISBN)
- Titel nicht im Sortiment
- Artikel merken
Projektarbeit aus dem Jahr 2016 im Fachbereich Informatik - Programmierung, Note: 1, Hochschule Darmstadt (Fachbereich Media), Veranstaltung: Informationswissenschaftliches Kolloquium, Sprache: Deutsch, Abstract: Python ist eine sehr effiziente und einflussreiche Programmiersprache. In diesem Buch geht es um die Durchsuchung des World Wide Web. Kann man mit der Programmiersprache Python Linkquellen aus unterschiedlichen Webseiten analysieren? Mithilfe von Python, einem Python-Framework namens Scrapy und einer Datenbank namens MongoDB wird in diesem Buch der Versuch gestartet, Linkquellen zu untersuchen. Untersuchte Linkquellen sollen zunächst in einer Datenbank abgelegt werden und sobald der erste Durchlauf vollendet ist, soll der Crawler die nächste gespeicherte Linkquelle aus der Datenbank entnehmen und diese Linkquelle nach weiteren Linkquellen untersuchen.Dabei ist es wichtig, dass bei den gespeicherten Linkquellen keine Duplikate enthalten sind und die bereits untersuchten Webseiten nicht erneut untersucht werden. Kann man mit Python als Programmiersprache einfach und schnell eine hohe Anzahl an Linkquellen unterschiedlicher Webseiten aufspüren?Zuerst tauchen wir gemeinsam in die Theorie der beiden Suchalgorithmen: Breiten- und Tiefensuche. Im Anschluss wird auf Konzeption, Voraussetzungen und Installation eingegangen, die man für einen solchen Versuch braucht.
| Erscheinungsdatum | 21.08.2016 |
|---|---|
| Sprache | deutsch |
| Maße | 148 x 210 mm |
| Gewicht | 66 g |
| Themenwelt | Informatik ► Programmiersprachen / -werkzeuge ► Python |
| Schlagworte | MongoDB • Programmier- und Skriptsprachen, allgemein • Python • Python Framework • PythonFramework • Scrapy • Searchengine • Suchmaschine • Web crawler • WebCrawler • Webscraping • Web Scraping • Web Spider • WebSpider |
| ISBN-10 | 3-668-27530-0 / 3668275300 |
| ISBN-13 | 978-3-668-27530-0 / 9783668275300 |
| Zustand | Neuware |
| Haben Sie eine Frage zum Produkt? |
Mehr entdecken
aus dem Bereich
aus dem Bereich
eine praktische, projektbasierte Programmiereinführung
Buch | Softcover (2023)
dpunkt (Verlag)
CHF 45,95
Grundlagen und Praxis der Python-Programmierung
Buch | Softcover (2024)
O'Reilly (Verlag)
CHF 69,85
