Fakultät Medien

Kreativität, kritisches Denken und gesellschaftliche Verantwortung - das ist die Fakultät Medien!
 

Onion Crawler

|

Basierend auf einem bereits bestehenden, jedoch nicht mehr lauffähigen Darknet-Crawler der Hochschule Offenburg, welcher Seiten aus dem Darknet extrahiert und indexiert, soll das bestehende Projekt auf eine neue Serverinstanz portiert werden sowie eine erneute Lauffähigkeit gewährleistet werden. Eine finale Abschlussdokumentation soll die detaillierte Vorgehensweise der Portierung beschreiben und auftauchende Probleme, Änderungen sowie Verbesserungen schildern. Die Portierung findet von einem Ubuntu 14.04 LTS System auf Fedora 28 statt und beinhaltet Schlüsselbegriffe wie Python, Django, Scrapy, MariaDB, Tor oder Machine Learning.

Im Rahmen einer Projektarbeit zwischen der HS-Offenburg und verschiedenen Ermittlungsbehörden wurde im Jahr 2016 ein Darknet-Crawler entworfen, welcher es ermöglicht, das Darknet automatisiert zu indexieren und Seiteninhalte in eine Datenbank zu extrahieren. Durch weitere Projekte in fortlaufenden Jahren wurde der Crawler stets weiterentwickelt (z.B. Implementation von Machine Learning Algorithmen oder einer schnelleren Suchdatenbank Solr) und erste Analysearbeiten für die Ermittlungsbehörden durchgeführt – mit dem Ziel, illegale Seitenbetreiber und Aktivitäten ausfindig zu machen sowie Informationen sinnvoll aufzubereiten.

Unglücklicherweise musste nun Anfang des Jahres 2018 festgestellt werden, dass der Darknet-Crawler keine Seiten mehr indexiert und demnach nicht mehr funktionstüchtig ist. Im Weiteren wurde festgestellt, dass das zugrundeliegende Betriebssystem Ubuntu 14.04 LTS schon Anfang nächsten Jahres 2019 „End of Life“ erreicht und nicht mehr mit Sicherheitsupdates versorgt wird. Auf Wunsch von Prof. Dr. Daniel Hammer, dem Hauptverantwortlichen des Projekts und Vermittler zwischen HSO und den Ermittlungsbehörden, wurde demnach diese Projektarbeit ins Leben gerufen, um den in die Jahre gekommenen Darknet-Crawler erneut funktionstüchtig zu machen und zu überarbeiten. Aus diesem Anlass wurde eine neue Serverinstanz mit aktueller Hardwarekomponenten erworben, um den reibungslosen Ressourcenbedarf für das Projekt und die kommenden Folgejahre sicherzustellen. Im Weiteren wurde beschlossen, von dem einstigen Betriebssystem Ubuntu 14.04 LTS auf die neuste Fedora 28 Betriebssystemversion zu wechseln und somit das gesamte Projekt zu portieren. Ziel dieser Projektarbeit war es demnach, den nicht funktionstüchtigen Darknet-Crawler von der Betriebssysteminstanz Ubuntu LTS eines veralteten Servers auf eine neue Serverinstanz mit Fedora zu portieren. Auftauchende Probleme, notwendige Änderungen oder implementierte Verbesserungen sollten detailliert in einer Abschlussdokumentation festgehalten werden sowie die genauen Installationsanweisungen für eine Portierung oder Neuinstallation niedergeschrieben werden.

 

Projektteam:
Laurent Vetter, Jonas Eble, Lukas Sökefeld, Ulrich Winterer, Wladislaw Duschkin

Projektbetreuung:
Prof. Dr. Daniel Hammer

Zurück