Mitarbeiter von ccc entwickeln im Rahmen eines geförderten Projektes aktuell Methoden und Algorithmen für die automatische Objekterkennung sowie 3D-Posenerkennung. Momentan kommt die Technologie insbesondere für die Erkennung von Skispringern zum Einsatz, um mehrere Kameraaufnahmen zu einem Video zusammenzufügen.
Zukünftig sollen die entwickelten Algorithmen als Basis für die Neu- und Weiterentwicklung der Videoanalyselösungen von ccc dienen. So sollen Module entwickelt werden, die unterschiedliche Aufgaben realisieren können (KI-basierte Objekterkennung und -verfolgung sowie 3D-Posenerkennung).
Für die Entwicklung der KI wurden Trainingsdatensätze zur Skispringer-Erkennung erstellt. Damit wurden neuronale Netze trainiert, die schließlich an das Videoanalysesystem utilius kiwano angebunden werden.
Bisher wurde versucht mittels Bildverarbeitungsalgorithmen schnelle Bewegungen in dem Bild und somit Skispringer zu erkennen. Diese Algorithmen sind jedoch nur unter bestimmten Bedingungen einsetzbar und sind anfällig den Skispringer nicht zu erkennen, wenn beispielsweise sehr viel Schnee fällt oder andere Personen auf den Schanzen zu sehen sind.
Ein Ansatz robustere Algorithmen zu entwickeln, besteht darin, neuronale Netze zu trainieren. Im Bereich der Objekterkennung, Klassifizierung und Objektverfolgung wurden in den letzten Jahren viele bahnbrechende Erfolge erzielt. Es ist mittlerweile möglich, Bilder sehr schnell und mit einer hohen Güte zu analysieren.
Dabei werden Methoden eingesetzt, bei denen ein Bild in verschiedene Bereiche aufgeteilt wird. Für jeden Bereich wird die Wahrscheinlichkeit berechnet, dass sich ein Objekt der Klasse in einem Bereich befindet. Bereiche mit der gleichen Klasse und hoher Wahrscheinlichkeit werden zusammengefasst.
Mit Hilfe der trainierten neuronalen Netze sollte der Zusammenschnitt der Videos an den Standorten Oberstdorf und Oberhof verbessert werden. Bei diesen Systemen wird die Anfahrt, der Absprung und die Flugphase der Skispringer seitlich aufgenommen. Außerdem gibt es noch eine PTZ-Kamera, die den Skispringer von hinten verfolgt. Nachdem der Skispringer seinen Sprung beendet hat, werden die Sequenzen, in denen der Skispringer in einem Video zu sehen ist, aneinandergeschnitten und mit dem Video der PTZ-Kamera synchronisiert. Der Eintritt und der Austritt eines Skispringers in den Bildausschnitt muss also erkannt werden.
Um den Skispringer zu erkennen, musste ein neuronales Netz trainiert werden und dafür war es nötig, einen Trainingsdatensatz zu erstellen. Dieser besteht aus 300 Bildern mehrerer Schanzen, je mit verschiedenen Skispringern, Jahreszeiten und Witterungsbedingungen.
In allen Bildern wurde der Bereich, in dem der Skispringer sich befindet, markiert und somit die Bildkoordinaten erfasst. Das Netzt lernt dann, diese Bereiche zu erkennen und mit dem Label Skispringer zu versehen.
Im Nachhinein wurde ein neuer Nachbearbeitungsprozess in utilius kiwano implementiert. Dieser nutzt das trainierte Modell, um Zeiten im Video zu bestimmen, in denen der Skispringer zu sehen ist. Ein Nachbearbeitungsprozess wird ausgeführt, sobald eine Aufnahme beendet wurde. Danach werden die Videos von einem anderen Nachbearbeitungsprozess aneinandergeschnitten.
Für den Nutzer entsteht so ein einzelnes Video, bei dem der Springer ständig zu sehen ist. Und das obwohl der Sprung von etwa 10 Kameras aufgenommen wurde, bei denen der Springer nur sehr kurz im Bild zu sehen ist.
Dieses Vorhaben wird aus Mitteln des Europäischen Fonds für regionale Entwicklung (EFRE) gefördert.