Deep-Learning, der Star der Junction

Doch vorab erst mal: Was genau ist ein Hackathon eigentlich? Ein Hackathon ist ein Programmierwettbewerb, bei dem Teams an Lösungsideen und Prototypen zu unterschiedlichen Problemstellungen arbeiten.

In diesem Jahr standen den Teilnehmern 18 solcher Herausforderungen  zur Auswahl. Dabei konnte man sich mit ganz unterschiedlichen Themen auseinandersetzen,  so beschäftigten sich einige Teilnehmer mit Aufgaben zu Blockchain oder Web3. Andere versuchten Lösungen zu konkreten Problemstellungen in Bereichen wie Nachhaltigkeit oder auch psychischer Gesundheit zu finden. In einem weiteren großen Themenbereich beschäftigte man sich mit der Generierung, Analyse und Visualisierung von Daten. Einige Unternehmen stellten dafür Datensätze zur Verfügung, andere Teilnehmer bekamen Lesegeräte für NFC-Chips und versuchten damit, Daten aus Bank- und Kreditkarten zu lesen. Im Zweitag Team versuchten wir uns mit einer Challenge von Smartly.io, einer Firma aus der Werbebranche. Hier wurde nach Ansätzen gesucht, um aus möglichst wenig Input möglichst viel Inhalt für Werbekampagnen zu generieren. Zu unserem Team gehörten Tim Göller, Jonas Schiefner, Felix Seidel und ich.

Das Event

Als Location für die Junction stand die Aalto Universität in der finnischen Hauptstadt Helsinki zur Verfügung. Das Zweitag Team hat sich am Freitagmittag in Helsinki getroffen und konnten die Zeit bis zum Start der Junction am Abend für einen kleinen Trip durch die Stadt nutzen. Neben dem Hafen und der Innenstadt haben wir auch noch die Zentralbibliothek besucht. Die Bibliothek ist ein sehr schickes und modernes Gebäude mit einer Fassade aus langen Holzbalken, die sich mit der Form des Gebäudes biegen. Wie das Äußere erinnert auch das Innere nicht an eine Bibliothek, wie wir sie gewohnt sind. Von Innen ist sie mit neuester Technik ausgestattet und so findet man dort, zu unserer Überraschung, auch ein Tonstudio, verschiedene Werkstätten und kleine Roboter, die sich autonom bewegen und Kisten mit Büchern hin und her fahren. Damit ist die Oodi Bibliothek eine vielleicht unerwartete, aber sehr lohnende Empfehlung für alle, die nach Helsinki kommen.

Nach dieser kurzen Sightseeing Tour begann die eigentliche Veranstaltung mit einer Vorstellung aller Challenges und wir konnten noch am selben Abend mit der Entwicklung beginnen. In den nächsten eineinhalb Tagen sind alle Teilnehmer dann in ihren Aufgaben versunken. Während des Events konnten wir auf dem Gelände der Uni und den dafür vorgesehenen Kursräumen übernachten. Dabei handelte es sich vielleicht nicht um die bequemste Unterkunft, aber zum Glück blieb ja ohnehin nicht so viel Zeit zum Schlafen. Bis zur Abgabe am Sonntagmorgen konnten wir so alles entwickeln, was wir uns vorgenommen haben und übermüdet, aber dennoch zufrieden unser Projekt einreichen.

Im Anschluss wurde der Sonntag genutzt, um die Ergebnisse zu bewerten. Zum einen gab es eine Bewertung der einzelnen Unternehmen, die die Projekte zu ihren jeweiligen Challenges beurteilten und die Sieger bekannt gaben. Zum anderen gab es noch eine Peer Review, an der alle Teilnehmer beteiligt waren. Hier sollte man Projekte zu seiner, aber auch anderen Challenges bewerten. So bekamen alle  auch die Chance, sich mit den Ergebnissen der anderen Teilnehmer zu beschäftigen und die Möglichkeit, einen Einblick in die Arbeit der anderen Teams zu erhalten. Das ist aus meiner Sicht immer viel Wert, zu sehen, wie andere Teams Probleme angehen und lösen. Im Anschluss stellten die zehn bestbewerteten Teams ihr Projekt auf einer großen Abschlusspräsentation vor und aus ihnen wurde der Gewinner der Junction gewählt. Zu den Gewinnern später mehr.

Unser Projekt

Wir haben eine der neuesten Innovationen im Bereich KI und maschinellem Lernen der letzten Zeit genutzt, um unterschiedliche Werbebilder für beliebige Produkte zu generieren.

Mit den Deep-Learning Modellen Stable Diffusion und DALL-E 2 gab es in diesem Jahr zwei Durchbrüche im Bereich Text zu Bildgenerierungen. Mit den beiden Modellen ist es möglich, aus einfachen Beschreibungen in Alltagssprache hochauflösende Bilder zu generieren. Unsere Idee war es, auf diesem Weg viele Werbebilder zu einem einzelnen Produktfoto zu erstellen und so schnell viel Inhalt aus wenig Input zu erzeugen, wie in der Challenge von Smartly.io gefordert. Um die Texteingaben für die Bildgenerierung zu automatisieren, sollte unser Programm aus Punkten auf einer Weltkarte eine Ortsbeschreibung generieren. Konkret haben wir eine Webanwendung geschrieben, auf der man Bilder hochladen kann und in die eine Karte von OpenMapTiles eingebaut ist. OpenMapTiles bringt dabei unterschiedliche Funktionen mit, um Karten zu visualisieren und in ihnen zu navigieren. Danach bestimmen die Seite mithilfe der API von OpenStreetMaps interessante Orte in der Umgebung. OpenStreetMaps ist eine Open Source Plattform, mit der alle möglichen Daten zu Straßen, Gebäuden oder der Geographie an einem gegebenen Ort bestimmt werden können. Anschließend wird dem Nutzer  eine Ortsbeschreibung vorgeschlagen, die er noch etwas modifizieren kann, bevor dann 3 Varianten der Produktbilder generiert werden.

Als Deep-Learning Modell haben wir uns für DALL-E 2 entschieden, weil es hier eine fertige API gab, die wir nutzen und so Zeit für die anderen Aufgaben sparen konnten. Zudem kann das Netz Bilder mit transparenten Flächen sinnvoll vervollständigen. So wird nicht nur ein Hintergrundbild für das Produkt erzeugt, sondern es wird mehr oder weniger sinnvoll in die Szene eingearbeitet. Dadurch sind zum Teil beeindruckend realistische und manchmal auch durchaus kreative Ergebnisse entstanden.

Eine weitere Funktion unserer Web App besteht darin, durch ein Clustering interessante Orte auf einem Kartenausschnitt zu finden, um den Prozess weiter zu automatisieren. Um diese Orte zu finden, hat unser Programm Ansammlungen von bestimmten Einträgen in der Karte von OpenStreetMaps ermittelt. Da die Zeit fehlte, einen ausgeklügelten Algorithmus zu entwickeln, kam Felix auf die Idee, Ansammlungen von Bars und Kneipen als Indikator für relevante Orte zu nutzen. Dieser Ansatz funktioniert besser als erwartet und zeigt unter anderem, wie vielfältig die Möglichkeiten mit OpenStreetMaps sind und wie aussagekräftig scheinbar irrelevante Daten sein können. Ein ganz alternativer Ansatz für unser Tool war es, Pseudo-Urlaubsbilder zu erzeugen, indem man Bilder von sich und keine Produktbilder verwendet. Hierbei werden jedoch auch die aktuellen Grenzen von DALL-E 2 sichtbar, denn bei der Verarbeitung von Bildern mit Menschen gelingt es dem Modell oft noch nicht, die Person sinnvoll zu erkennen und in das generierte Bild einzubauen.

Wie sich gezeigt hat, waren diese neuen Modelle zur Bildgenerierung mit unter das große Thema auf diesem Hackathon und so wurde versucht, die unterschiedlichsten Herausforderungen mit diesen Modellen zu lösen. So hat auch die Konkurrenz, die sich in unserer Challenge durchsetzen konnte, einen ähnlichen Ansatz genutzt, um Werbebilder zu generieren. Statt Bilder aus Karten zu generieren, haben sie versucht, bestehende Bilder und Videos durch die Eingabe von kurzen Beschreibungen zu verändern und anzupassen.

Weitere spannende Projekte

Das Team, welches im Teilnehmer Voting überzeugen konnte, hat eine App entwickelt, die eine motivierende Möglichkeit bietet, Tagebucheinträge zu schreiben. Damit ist das Gewinner-Projekt ein weiteres Beispiel für die unterschiedlichen Anwendungsgebiete der oben beschriebenen Deep-Learning Modelle. Konkret  wurde hier versucht, KI generierte Bilder zu nutzen, um Titelbilder für die einzelnen Tagebucheinträge zu generieren und so einen Anreiz zum regelmäßigen Tagebuchschreiben zu schaffen. Der Aufhänger für diese Idee waren von der Gruppe zitierte Studien, nach denen es positive Auswirkungen auf die mentale Gesundheit haben soll, wenn man regelmäßig Tagebuch führt. In der technischen Umsetzung kam hier Stable Diffusion zum Einsatz, um die entsprechenden Bilder zu erzeugen. Da dieses Modell jedoch kurze Beschreibungen und keine langen Texte verarbeiten kann, haben die Entwickler zuvor GPT-3, ein Deep Learning Modell von OpenAI, verwendet. Dieses Modell ist in der Lage, natürliche Sprache auf unterschiedlichen Arten zu verarbeiten, so kann es etwa Zusammenfassungen für längere Texte generieren. Mit diesem Ansatz haben die Entwickler also die gegebenen Tagebucheinträge zusammengefasst, um dann Titelbilder zu generieren.

Es haben auch weitere Deep-Learning basierte Projekte in die Top 10 geschafft. In einer Challenge von BNB Chain hat ein Team eine Suchplattform für NFTs gebaut. Hier wurden die NFTs von unterschiedlichen Plattformen aufgelistet und es ermöglicht, diese per Bildersuche zu filtern. In diesem Fall wird ein Deep-Learning Modell verwendet, um die Bild Inputs zu Text umzuwandeln und mit diesem Text eine Suche durchzuführen.

Fazit zur Junction

Insgesamt war die Junction eine super Erfahrung und Möglichkeit, sich intensiv mit aktuellen Problemen und neuesten Lösungsansätzen zu beschäftigen und durch die Vielzahl von Teilnehmern und Challenges Einblicke in viele Bereiche zu bekommen. Man bekam hier die Möglichkeit sich an neuen Technologien auszutoben, in unserem Beispiel als mit dem Bildgenerator DALL-E 2 und OpenStreetMaps. Das ganze fand in einer sehr motivierenden Umgebung statt, mit vielen Leuten, die an allen möglichen spannenden Projekten arbeiten. So konnten wir uns im Zweitag Team nach zwei Tagen, in denen wir voll in unser Projekt abtauchen konnten, mit einer sehr zufriedenstellenden Lösung und vielen neuen Eindrücken den Heimweg antreten.