Erstellen Sie Videos aus jedem Bild
Die Kunstplattform für künstliche Intelligenz Leonardo hat ein neues Bild-zu-Video-Tool namens Motion auf den Markt gebracht. Das Modell basiert auf Stable Video Diffusion und kann ein generiertes Bild mit beeindruckenden Ergebnissen in kurze Videoclips umwandeln.
Das generative KI-Startup, das auch über eine App verfügt, mit der Sie Skizzen in Kunstwerke verwandeln können, hat letzten Monat 31 Millionen US-Dollar gesammelt, um seine Dienste für Verbraucher und Unternehmensanwender auszubauen.
Das Animations-KI-Tool funktioniert unabhängig vom ursprünglichen Bildstil und produziert zwischen drei und vier Sekunden Filmmaterial. Derzeit ist es nicht möglich, die Dauer zu verlängern, wie dies bei Pika 1.0 und Runway der Fall ist.
Wie funktioniert es?
Wir haben Motion gerade für noch bessere Konsistenz und Wiedergabetreue aktualisiert. Ab sofort für alle Benutzer verfügbar. Weitere Updates bald. 🎬 pic.twitter.com/KMWj68yIm2 28. Dezember 2023
Die Verwendung von Motion ist so einfach wie das Klicken auf eine Schaltfläche auf einem beliebigen Bild in Leonardo . Es funktioniert auf die gleiche Art und Weise, wie Sie ein Bild neu mischen oder hochskalieren können. Klicken Sie auf die Schaltfläche und es wird ein Video erstellt.
Im Moment haben Sie nur die Kontrolle über die Ausgabe, wie viel Bewegung, aber ich war beeindruckt, wie gut das Bild interpretiert und die Animation erstellt wird.
Sie können jede Videoausgabe auch privat machen oder im öffentlichen Feed verfügbar machen, damit andere Leonardo-Benutzer sie finden können. Motion steht allen Benutzern zur Verfügung, erstellt eine MP4-Datei und jede Generation benötigt 25 Token.
Wie ist die Ausgabe?
Leonardo Motion ist eine angepasste Version von Stable Video Diffusion, die von StabilityAI entwickelt wurde. Im Gegensatz zur Rohimplementierung werden jedoch einige der Feinabstimmungen angewendet, die bei anderen Leonardo-Modellen angewendet wurden.
Was die Qualität der Bewegung angeht, kann die Ausgabe ein Volltreffer sein, aber wenn sie funktioniert, ist sie unglaublich beeindruckend. Menschen haben Clips von lebensechten menschlichen Bewegungen, Lichtreflexionen auf Glas im Licht und sogar explodierenden Feuerwerkskörpern am Himmel geteilt.
Das tatsächliche Aussehen der Ausgabe hängt von der Qualität der Eingabe ab. Je höher die Auflösung des Startbildes ist, desto besser sieht das Ausgabevideo aus.
Weitere neue Funktionen
Leonardo.ai basiert größtenteils auf den verschiedenen Stable Diffusion-Modellen und wurde mit fein abgestimmten Funktionen und verbesserten Quellbildern in Trainingsdaten angepasst. Im Laufe der Zeit integrieren sie weitere Stable Diffusion-Tools, sobald diese verfügbar sind.
Motion basiert auf Stable Video Diffusion und eine weitere neue Funktion, Realtime Gen, basiert auf SDXL Turbo , das ich Anfang dieses Monats getestet habe. Es ermöglicht die Generierung von KI-Bildern während der Eingabe und ist eine gute Möglichkeit, schnelle Ideen auszuprobieren, ohne auf die Generierung eines vollständigen Bildes warten zu müssen.
Sie können Realtime Gen verwenden, um eine Idee zu testen, sie mit der kreativen Hochskalierungsfunktion in ein Bild mit höherer Auflösung umzuwandeln und sie dann durch Motion laufen zu lassen, um ein kurzes Video zu erstellen drake net.
Overall Motion ist eine gute Ergänzung zum wachsenden Angebot an KI-Videotools. Es ist nicht so funktionsreich wie die etablierteren Modelle, leistet aber gute Arbeit bei der Animation vorhandener Bilder und wird sich wahrscheinlich im Laufe der Zeit verbessern, wenn neue Versionen von Stable Video Diffusion veröffentlicht werden.
