Dubler Studio Kit ist ein Projekt auf Kickstarter, dass genau das verspricht. Man singt oder summt eine Melodie und der Synthesizer spielt das in Echtzeit nach. Oder man löst durch verschiedene Vokale beim Beatboxen unterschiedliche Samples aus und steuert ein Drumkit mit seiner Stimme.
Das ist auf einen kurzen Nenner gebracht der Zweck des Dubler Studio Kits, einer Kombination eines speziellen, auf geringe Latenzen optimierten USB-Mikrofons und einem Standalone-Programm, das die Signale verarbeitet und als MIDI-Noten ausgibt.
Ein kurzes Video zur Voice-Funktion von Dubler Studio Kit
Ein Video zur Drum Trigger Funktionen
Die Kickstarter Projektseite: hhttps://www.kickstarter.com/projects/vochlea/dubler-studio-kit-your-voice-the-ultimate-midi-con
Die Frist für das Kickstarter-Projekt ist ungefähr Montag, der 15. April
Die einen mögen sich nun fragen, wozu soll das gut sein? Dann handelt es sich mit hoher Wahrscheinlichkeit um versierte Keyboarder, die keine Probleme haben eine Melodie einzuspielen, die sie im Kopf haben oder um geübte Finger-Drummer, die sich auf Maschine oder MPC austoben und spontan die Beats reinhauen können, die ihnen vorschweben. Nicht zu vergessen die Gitarristen, die einen Tonabnehmer verwenden können, der nach MIDI übersetzt oder sogar mit MIDI Guitar 2 oder MiGiC eine Software verwenden, die aus akustischen Signalen ebenfalls MIDI-Noten extrahiert – was zwar mit Gitarrenklängen zuverlässig funktioniert, mit Vocals aber nur sehr ungenau.
Die anderen sind entweder Instrumentalisten, wie Bläser, für die es ebenfalls kein geeignetes Programm gibt oder Musikproduzenten mit eher bescheidenen Keyboard-Skills. Für diese kann das Dubler Studio Kit durchaus interessant sein. Denen wird es öfter so gehen, dass sie mit dem einzigen Instrument, dass sie natürlicherweise zur Verfügung haben, nur bedingt etwas anfangen können, denn ohne ein fortgeschrittenes Hörtraining und einer gewissen Fingerfertigkeit an den Tasten ist es ziemlich mühsam, die Melodien, die man spontan vor sich hin oder zu einem Akkord-Grundgerüst dazu summt, in die Pianorolle zu bekommen. Das kann einen schon ganz schön ausbremsen im Prozess der Musikproduktion am Computer.
Jeder hat da etwas andere Strategien, direkt versuchen nachzuspielen, mit vielen Irrtümern und Neuanfängen. Die gesummte oder gepfiffene Melodie aufnehmen und nachspielen, um das rhythmische Gerüst besser zu erfassen. Oder aufnehmen und in einem Programm wie Melodyne, dass das meiner Erfahrung nach noch am besten macht laden und in der Assistant-Version auch als MIDI exportieren kann. Aber da, das nicht in Echtzeit geschieht, ist es doch oft noch notwendig, die Noten zu korrigieren, wenn sie nicht ganz korrekt eingesungen oder erkannt wurden und der ganze Prozess ist dadurch zwar beschleunigt, aber immer noch ein Bremsklotz, der quer im Weg liegt und das spontane Arbeiten an einem Track behindert.
Einige DAWs wie Live, Cubase, Logic, FL Studio bieten auch direkt mit Tools der Workstation eine Konversion in MIDI an, die Ergebnisse sind aber meinem Eindruck nach sehr vom Eingangsmaterial abhängig. Alternativ zu dem relativ teuren Melodyne bietet sich entweder Newtone von Image Line an, das auch Korrekturen vor der Umwandlung gestattet, das aber im Vergleich öfter Müll analysiert oder ein spezialisiertes Programm, wie der Songs2See Editor, das vielleicht besser als Newtone funktioniert, vor allem kann man hier noch ein Spektrogramm im Hintergrund einblenden, das Orientierung gibt. Aber es kann dann eben nur die Umsetzung in MIDI und keine Tonhöhenkorrektur des Audiomaterials.
Reagiert aber der Synthesizer oder das Piano direkt auf die Stimme, ist es doch wahrscheinlich viel eher möglich das Finetuning zu erreichen, das notwendig ist, damit es nicht etliche Versuche braucht, bis es dann mal passt. Zumal die Software im Dubler Studio Kit einiges an Anpassung und Feineinstellung an die eigene Stimme zu ermöglichen scheint. Zudem – und das ist der entscheidende Punkt: Es ist möglich eine Erfassung der Tonhöhenänderung innerhalb einer Note zusätzlich zu aktivieren, was dann als Pitchbend-Information ausgegeben wird. Damit und in Verbindung mit einer Volumen-Envelope, die sich an der Lautstärke des Tons und deren Änderung orientiert, werden die expressiven Variationen in der Stimme mit erfasst und nicht nur statische Noten aus einem Mittelwert. Vibrato, Tremolo und Slides innerhalb einer Phrase werden in MIDI-Informationen überführt. Man könnte also fast schon von einer Art MPE-Controller sprechen, da nicht nur die Tonhöhe und die anfängliche Lautstärke umgewandelt werden – nur bleibt das Ganze monofon.
Dubler Studio Kit unterscheidet zudem die drei Vokale A, E und U und zusätzlich ein Mmmh und gibt diese in Verbindung mit der Lautstärke-Variation als CC-Werte aus, die man auf beliebige Parameter in einem Synth routen kann. Zum Beispiel auf den Filter Cutoff, einen Distorsion-Effekt usw. Wobei in den Videos die durch Vokale ausgelösten MIDI-CC Parameter immer wieder auf Null zurückfallen, wenn der Vokal gewechselt wird, was mir etwas kontraproduktiv erscheint.
Was ich mich gleich gefragt habe ist: Warum braucht es dazu ein eigenes Mikrofon, was dieses Bundle dann doch kostspielig macht? Ob dazu die Echtzeitfähigkeit, die man mit einem Nicht-USB Mikro an einem Audiointerface auch hätte, wirklich ausschlaggebend ist oder der genormte Frequenzgang, auf den die Software geeicht ist oder einfach die Überlegung, wie der Profit mit so einer Software zu steigern wäre sei dahingestellt. Tatsache ist, das Programm gibt es nur im Bundle mit der Hardware und das zu einem verhältnismäßig stolzen Preis. Dafür bekommt man jedoch ein ziemlich innovatives Programm, dass parallel auf verschiedenen Kanälen Samples auslösen, Pitch mit Pitchbend zu Noten konvertieren und sogar MIDI-CC Werte weiter geben kann und auf die Nuancen der Stimme reagiert.
Es gibt aktuell zwei weitere auf die Stimme spezialisierte Pitch Tracking Programme, allerdings ohne Bundle-Zwang mit einem Mikrofon. Das eine ist Imitone, dieses Projekt befindet sich zwar seit 2014 in der Beta-Phase, wird aber kontinuierlich weiter entwickelt. Der Entwickler hat sich ganz dieser wohl doch sehr anspruchsvollen Aufgabe gewidmet, ein so schwieriges und wechselhaftes Klanggebilde, wie die menschliche Stimme in Noten zu überführen. Noch ist da aber noch ein Stück Weg zu gehen, bis das rundum zufriedenstellend funktioniert. In diesem Blogeintrag zu weiteren Forschungsarbeiten wird das dokumentiert (hhttps://www.kickstarter.com/projects/evanbalster/imitone-mind-to-melody/posts/2391339 ). Also trivial scheint das Problem wirklich nicht zu sein.
Imitone bietet einige Einstellungen an, was die Anpassung an das hereinkommende Audiosignal angeht, aber auch auf der Ausgabeseite kann man zwischen verschiedenen Instrumententypen als Ziel wählen, ob es eher ein Instrument mit gleichmäßiger Tonhöhe pro Note und schnellerem Ausklang, wie ein Piano ist oder eines mit längerem Sustain und Dynamik, wie ein Synthesizer oder ein Saxofon. Je nach Typ wird auch empfohlen, andere Vokale zu singen, der Ansatz des Programms ist zumindest in der größeren Studio-Version durchaus ein Professioneller, auch wenn das eigenwillige Design der Oberfläche eher so aussieht, als wäre es an Kinder gerichtet.
Produkt-Seite von Imitone: https://imitone.com/
Welches Mikrofon verwendet wird, spielt auch hier eine Rolle. Die Empfehlung lautet, dass am besten ein dynamisches Mikro verwendet werden soll. Möglichst eines, dass gut isoliert und wenig vom Raumhall einfängt. Ein Großmembran Kondensator-Mikro mit Kugelcharakteristik, dass jede Einzelheit wiedergibt und damit auch Störanteile ohne Pitchinformation liefert, wäre also falsch. Aber ein teures, auf die Anwendung abgestimmtes Mikrofon ist nicht notwendig.
Das Standalone-Programm erscheint als ein MIDI-Eingabegerät und wird auf eine DAW und dort auf ein Instrument geroutet. Alternativ können auch eingebaute Klangquellen verwendet werden.
In der Praxis wird schnell klar, dass man sich auf die Arbeit mit diesem Prinzip erst einstellen und daran anpassen muss. Einfach einsingen und es kommt das heraus, was man sich vorgestellt hat, klappt so nicht. Die Intonation muss nicht nur halbwegs stimmen, sondern ziemlich genau, vor allem im chromatischen Modus ist es kaum zu vermeiden, beständig Noten auszulösen, die man eigentlich gar nicht meinte. Knapp daneben ist auch vorbei. Es kann eine Skala, wie C-Dur usw. ausgewählt werden, auf die dann quantisiert wird, doch das hat auch seine Tücken.
Imitone bietet etliche Einstellmöglichkeiten, wie das Programm auf die festgestellte Pitchinformation reagiert. Ob die Notenerkennung genauer ist, aber eine Latenz entsteht oder ungenauer, dafür schneller. Ob gewartet wird, bis die Pitchänderung zu einem Stillstand kommt und dann die neue Note ausgelöst wird, oder ob kontinuierlich alle Noten dazwischen getriggert werden. Oder ob die Spielweise an Legato oder Portamento angepasst wird usw.
Einige Presets für verschiedene Instrumententypen, die man ansteuern will wie Synth, Windinstrumente, Piano usw. passen die Einstellungen spezifisch an.
Die Lautstärke kann bei kontinuierlichen Tönen über einen gesendeten MIDI Expression Controller gesteuert werden. Bei dem Modus für perkussive Töne, wie Gitarre, Piano, Marimba wird die anfängliche Lautstärke in Velocity umgesetzt.
Vibrato in der Stimme oder dem Pfeifton verändert entweder den Pitch kontinuierlich und kann damit auch zwischen Noten schnell wechseln oder ganz herausgerechnet werden oder sozusagen abgetrennt und als MIDI Modwheel Wert gesendet werden.
Dem ersten Eindruck nach ist es sicher nur mit Übung einigermaßen möglich die Melodielinie herauszubekommen, die man im Kopf hat. Perfekt wird das selbst ein ausgebildeter Sänger nicht hinbekommen. Denn auch wenn man nur kurz über die Grenze zur nächsten Note rutscht, wird sie schon getriggert. Intervallsprünge genau hinzubekommen, ist schwierig. Nimmt man das Ergebnis als MIDI Noten auf, wird meist noch eine Nachkorrektur notwendig sein. Aber um zu improvisieren ist das eine verblüffend andere und spontane Methode, die zu Melodien führt, die man nur als guter Keyboarder oder Gitarrist einspielen könnte. Mit den Skalen, die man an sein Projekt anpassen kann, bleibt man in der passenden Harmonik.
Da leider zu wenig Zeit zur Verfügung stand, hier nur einige rohe, kaum geschnittene und kommentierte Roh-Videos von Imitone, die jedoch die erste Begegnung mit diesem Werkzeug wiedergeben und einen Eindruck vermitteln können, was eine solche Voice to MIDI Software leisten kann:
Imitone Synth 01 stabile Stimmung
Imitone Synth 02 C Dur
Imitone Synth 03 Pitch Bend
Imitone Synth 04 Power to Volume
Imitone Synth 05 Einfache Melodie
Imitone Synth 09 Pitch Bend aufnehmen
Imitone String 10 Pitch Bend
Imitone String 11 Volume
Imitone Guitalele 13 Attack Mode
Das andere Realtime (-zumindest in der teureren Version) Standalone-Programm ohne Mikrofonzwang ist Digital Ear, das schon mal durch seinen uralt- Windows 95 Look abschreckt, aber eben auch wie Imitone zusätzlich die Volumen-Hüllkurve erfasst und Pitchbend-Variationen generiert. Zusätzlich noch einen „Brightness-Faktor“, der dann auch auf den Filter-Cutoff gelenkt wird, wobei nicht so ganz klar ist, was das Programm hier erfasst. Das Programm nimmt nicht nur in Echtzeit Signale entgegen, sondern kann auch Audiodateien öffnen und analysieren, was die Anwendungsmöglichkeiten noch erweitert. Es gibt wenig Information dazu im Netz und fast nichts auf YouTube, sodass es schwerfällt zu sagen, was das Programm taugt. (http://www.digital-ear.com/digital-ear/index.asp )
Dubler Studio Kit bietet zwei Möglichkeiten Stimme in MIDI umzusetzen, die auf bestimmte Laute angelernten Drum-Trigger und den Voice-Mode, der wiederum dem entspricht, was Imitone macht. Ich vermute, dass Imitone hier die Nase vorn hat, denn die Entwicklung des Programms geht nun schon über einige Jahre und der Entwickler hat sich mit den damit zusammenhängenden Fragen sehr tiefgehend beschäftigt. Und immer noch gibt es Entwicklungsbedarf und Luft nach oben, denn dieses Vorhaben ist an sich technisch schwierig.
Dennoch bietet Dubler Studio Kit mit seinem Echtzeit-Spezialmikrofon und den anderen Features, die über das, was Imitone bisher macht, hinausgehen einen frischen, interessanten Ansatz. Ob dieser Ansatz den hohen Preis für das Bundle rechtfertigt, muss jeder selbst entscheiden. Ich finde nach der Begegnung mit Imitone, trotz aller Unzulänglichkeiten das Thema sehr spannend und fände es interessant herauszufinden, was Dubler Studio Kit vielleicht besser oder anders macht.