Future Music Camp 2024: Christian Siever von DEEPWERK über ihr KI-Tool, das zu Audiofiles passende Musikvideos erzeugt

Das Start-Up DEEPWERK hat ein KI-Tool entwickelt, das zu Audiofiles passende Videos erstellt. Im Interview sprachen wir über die Entwicklung des Tools, die Herausforderungen der Finanzierung und Markteinführung und darüber, was die Besucher bei ihrer Session beim Future Music Camp 2024 erwartet.

Backstage PRO: Hallo Christian, auf eurer Homepage https://create.deepwerk.io/ ist es möglich, Videos zu hochgeladenen Audiofiles zu erstellen. Wie funktioniert das?

Christian Siever: Hey Daniel, genau, das ist unsere neueste DEEPWERK-Lösung. Wir nutzen eine Kombination aus zwei KIs: Die erste KI analysiert das Audiofile und extrahiert Informationen wie bpm, Songtext und Stimmung. Die zweite KI verwendet diese Daten, um ein passendes Video zu generieren. Das Ergebnis ist ein Video, das perfekt zur Musik passt und die Emotionen und Dynamik des Songs visuell widerspiegelt. Unser Ziel ist es, Künstler*innen und Musikschaffenden eine einfache und effektive Möglichkeit zu bieten, beeindruckende visuelle Inhalte zu erstellen, die ihre musikalischen Werke auf ein neues Level heben.

Backstage PRO: Ich habe eure Seite mit zwei Files ausprobiert: zuerst mit einer freien elektronischen Soundfile und dann mit "Corduroy" von Pearl Jam. Ich finde das Ergebnis optisch sehr eindrucksvoll, aber es besteht aktuell "nur" aus Szenen, die sich für die gesamte Dauer des Songs wiederholen. Wie weit seid ihr davon entfernt, ein gesamtes Lied mit Visuals zu versehen, die sich an das Lied für die gesamte Spielzeit anpassen?

Christian Siever: Danke für das Kompliment! Die derzeit öffentlich verfügbare Version bietet eine erste Vorschau unserer Videogenerationstechnologie. Sie gibt einen Eindruck von der Videoqualität und einer einfachen Form der Audioanalyse, wobei sich die generierten Szenen wiederholen. Unsere nächste Version, die bereits intern verwendet wird, integriert den Songtext, ermöglicht längere Videos und bietet neue Styles und Seitenverhältnisse. Momentan hält uns die benötigte Rechenkapazität davon ab, diese Version zu veröffentlichen. 

Backstage PRO: Wie könnt ihr dieses Problem lösen?

Christian Siever: Wir suchen nach Möglichkeiten, diesen Service nachhaltig und kosteneffizient anzubieten und führen parallel Gespräche mit Investor:innen, um die nötige Unterstützung zu erhalten. Unser Ziel ist es, bald eine Version anzubieten, die vollständig dynamische und einzigartige Visuals für die gesamte Dauer eines Songs generiert.

Backstage PRO: Welche Nutzungsmöglichkeiten seht ihr für euer Produkt?

Christian Siever: Musik ist heutzutage untrennbar mit visuellen Elementen verbunden. Von den klassischen Musikvideos auf MTV bis hin zu kurzen, prägnanten Visuals auf Plattformen wie Instagram und TikTok – die visuelle Darstellung spielt eine entscheidende Rolle. Unser Produkt kann für Musikvideos, Instagram Stories, Spotify Canvases, TikTok Posts, Live-Konzertvisuals und vieles mehr genutzt werden. Wir sind gespannt darauf, welche kreativen Anwendungsmöglichkeiten unsere User noch entdecken werden. Die flexible Anpassungsfähigkeit unserer Technologie ermöglicht es Künstlern und Musikschaffenden, ihre kreative Vision auf innovative Weise zum Ausdruck zu bringen und ihre Reichweite durch ansprechende visuelle Inhalte zu erweitern.

Backstage PRO: Wer verbirgt sich hinter DEEPWERK? Kannst du uns bitte etwas mehr über euer Unternehmen erzählen?

Christian Siever: Hinter DEEPWERK stehen musikbegeisterte Menschen, die KI als türöffnende Technologie sehen. Unsere Reise mit generativer KI begann vor über fünf Jahren, als wir zum Beispiel ein Modell entwickelten, das neue Logos generieren konnte. Obwohl die Ergebnisse damals nicht überwältigend waren, entfachte die Erstellung von Logos "aus dem Nichts" unsere Faszination für die Technologie. Unsere Leidenschaft für Musik, sei es als Künstler auf der Bühne oder als Techniker hinter den Kulissen, führte uns schließlich zu DEEPWERK. Unser Team besteht aus Experten in den Bereichen KI, Musikproduktion und Design, die gemeinsam daran arbeiten, Künstler:innen weltweit innovative Tools zur Verfügung zu stellen.

Backstage PRO: Aktuell kann man eure Tools kostenlos testen, aber wie teuer wird die kommerzielle Anwendung sein?

Christian Siever: Das ist eine spannende Frage, die wir momentan noch erörtern. Unser Ziel ist es, die Technologie für eine breite Nutzerbasis zugänglich zu machen und gleichzeitig eine hohe Qualität zu gewährleisten. Den idealen Preispunkt müssen wir noch finden. Bis dahin nehmen wir Sonderaufträge über E-Mail entgegen und arbeiten intensiv daran, unseren Service schnellstmöglich für alle verfügbar zu machen. Wir wollen sicherstellen, dass unser Preis-Leistungs-Verhältnis sowohl für aufstrebende Künstler*innen als auch für etablierte Musikschaffende attraktiv ist, um eine breite Akzeptanz und Nutzung unserer Plattform zu gewährleisten.

Backstage PRO: Wie gelingt es, auf der Basis einer Idee wie KI-generierte Musikvideos ein Unternehmen zu gründen und aufzubauen?

Christian Siever: Es klingt einfach: Wir bieten einen Service an, Kundinnen und Kunden sehen den Wert und bezahlen dafür – und so machen wir Umsatz. Doch die Realität ist komplexer. Im Moment ist unsere große Hürde die Beschaffung von Hardware. Danach wird das nächste Problem warten, das es zu lösen gilt. Dennoch sind wir begeistert von der Reise und gespannt auf die Zukunft. Der Weg von der Idee zur Umsetzung erfordert Leidenschaft, Hartnäckigkeit und die Bereitschaft, ständig zu lernen und sich anzupassen. Wir haben festgestellt, dass der Schlüssel zum Erfolg darin liegt, ein starkes Netzwerk aufzubauen und offen für Feedback zu sein, um unser Produkt kontinuierlich zu verbessern.

Backstage PRO: Ihr bietet auch KI-Tools für Clubs an, die Videos zu der Musik generieren, die gerade im Club läuft. Kannst du dazu mehr verraten?

Christian Siever: Ja, unsere Club-Lösung erfordert, dass wir in Echtzeit auf die Musik reagieren. Aktuell können wir die Visuals wegen Rechenleistungslimitationen nicht in Echtzeit generieren, aber wir passen sie in Echtzeit an. Wir bieten stark personalisierte Visuals, die an das Motto des Abends oder das Logo des Clubs angepasst werden können. Diese Visuals lassen sich auch vom Lichtpult via DMX/Artnet steuern, was den DJs und VJs zusätzliche kreative Möglichkeiten bietet. Auf diese Weise gelingt es uns, die visuelle Atmosphäre im Club dynamisch und interaktiv zu gestalten, wodurch ein einzigartiges und fesselndes Erlebnis für die Gäste geschaffen wird.

Backstage PRO: Wie ist die Resonanz der Clubs?

Christian Siever: Wir befinden uns in der Pilotphase mit verschiedenen Clubs und die Resonanz ist positiv. Es gibt eine gemeinsame Vision, aber auch Herausforderungen, die gelöst werden müssen, wie die Entwicklung eines einfachen User-Interfaces für das Clubpersonal. Die Clubs schätzen besonders die Möglichkeit, individuelle und markenspezifische Visuals zu nutzen, die das Gesamtambiente des Abends verstärken und die Gäste begeistern.

Backstage PRO: Was erwartet die Besucher eurer Session beim Future Music Camp?

Christian Siever: Das weiß niemand so genau! Wir planen am Donnerstag, 6. Juni um 15:15 Uhr im Raum 001 der Popakademie eine Brainstorming-Session mit dem Titel "Live Concerts can suck – could AI help?". Wir werden Input geben und dann gemeinsam mit den Teilnehmenden die aktuelle Situation erörtern, Lösungsansätze diskutieren und Zukunftsszenarien erträumen. 

Der Erfolg der Session hängt stark vom Engagement der Teilnehmenden ab, daher freuen wir uns über jede zusätzliche Person im Raum. The more, the merrier! Wir sind gespannt darauf, welche kreativen Ideen und Perspektiven die Teilnehmenden einbringen werden und wie wir gemeinsam die Zukunft der Live-Musik mit Hilfe von KI gestalten können.

Backstage PRO: Herzlichen Dank für das Gespräch!