Abstract:
We present MuSE, an autoregressive model for multilingual speech editing at both phoneme and word-level granularity.
Built on LLaSA, MuSE is trained using a three-stage curriculum learning approach, progressing from text-phoneme grounding
to full bidirectional audio infilling. We train on multilingual-audio-alignments, a 32.5k-hour phoneme-aligned corpus
spanning 13 languages. MuSE achieves state-of-the-art performance on the RealEdit benchmark and we introduce
MultiLingualEdit, a multilingual extension with handcrafted editing examples across all 13 supported languages.
Setup:
Each sample below was produced by editing the transcript of an original speech recording and regenerating the modified segment.
The target transcript shown is the desired output after editing. We compare our model (MuSE) against
VoiceCraft-X (and VoiceCraft for English).
English
Original transcript
Not everybody agrees that globalisation is progress
Target transcript
"Not everybody agrees that globalisation is actually truly progress"
Original transcript
and the moon is already out, looking pale towards the sunset.
Target transcript
"And the moon is already out this unimaginably beautiful afternoon, looking pale towards the sunset"
German
Original transcript
darum ist bei allem was man im fernseher sieht oben unten und an den seiten der rand abgeschnitten
Target transcript
"Darum ist bei allem, was man im Fernseher sieht, der Rand abgeschnitten."
Original transcript
etwa zehn minuten bevor sie beim zweiten anflug landen sollte verschwand sie
Target transcript
"Etwa zehn Minuten bevor sie landen sollte, verschwand sie."
French
Original transcript
Et d'autre part, la beauté de la Terre qui est habitable.
Target transcript
"Et d'autre part, la beauté incroyable de la Terre qui est habitable."
Original transcript
Et y avait absolument rien qui pourrait les en dissuader.
Target transcript
"Et y avait peu de choses qui pourraient les en dissuader."
Spanish
Original transcript
En el Museo del Prado se conserva un retrato de dama.
Target transcript
"En el Museo del Prado se conserva un retrato de una joven dama."
Original transcript
Se encuentra ubicado en la costa norte de la isla.
Target transcript
"Se encuentra en la costa norte de la isla."
Italian
Original transcript
così de latto suo per gli occhi infuso nellimmagine mia il mio si fece e fissi gli occhi al sole oltre nostruso molto è licito la che qui non lece alle nostre virtù mercè del loco fatto per proprio dellumana specie
Target transcript
"Così de latto suo per gli occhi infuso nell'immagine mia il mio si fece e guardai direttamente al sole oltre nostr'uso. Molto è licito là che qui non lece alle nostre virtù, mercè del loco fatto per proprio dell'umana specie."
Original transcript
astro di sera deliziosa zuppa inte il mio passo in zuppa e dite canto oh zuppa canto al lastro di sera canto la tua bontà c vile zuppa
Target transcript
"Astro di sera, zuppa calda inte il mio passo in zuppa e dite canto, oh zuppa canto al lastro di sera, canto la tua bontà, c'vile zuppa."
Portuguese
Original transcript
as pessoas não imaginam que paciência e compreensão também são fundamentais para os viajantes que estão voltando para casa
Target transcript
"As pessoas não imaginam que paciência e compreensão também são fundamentais para os turistas que estão voltando para casa."
Original transcript
segundo informações ele estava na casa dos 20 anos em uma declaração bieber disse que embora eu não estivesse presente nem diretamente envolvido neste trágico incidente meus pensamentos e orações estão com a família da vítima
Target transcript
"Segundo informações, ele estava na casa dos 20 anos. Em uma declaração, Bieber disse que, embora eu não estivesse diretamente envolvido neste trágico incidente, meus pensamentos e orações estão com a família da vítima."
Polish
Original transcript
bynajmniej lecz tylko myśmy ich nie widzieli dały nam dopiero o nich wiadomość udoskonalony instrumenta wieżaj mi lordzie
Target transcript
"Bynajmniej, lecz nie widzieli. Dały nam dopiero o nich wiadomość udoskonalony instrumenta. Wierzaż mi, lordzie."
Original transcript
mrowisko jest bardziej wioską zamieszkałą przez rozmążoną rodzinę bardziej szczepem aniżeli państewkiem z władzą naczelną wobec takiej równości zastanawiającym jest faktem porządek panującyc h mrowisku
Target transcript
"Mrowisko jest raczej dużą osadą zamieszkałą przez rozmażoną rodzinę, bardziej szczepem aniżeli państewkiem z władzą naczelna. Wobec takiej równości zastanawiającym jest faktem porządek panujący w mrowisku."
Korean
Original transcript
이처럼 배우자의 외도가 검은 머리가 파뿌리가 될 때까지 고락을 함께해온 노부부의 주된 이혼 사유가 되는 셈이다
Target transcript
이처럼 성격 차이가 검은 머리가 파부리가 될 때까지 고락을 함께해온 노부부의 주된 이혼 사유가 되는 셈이다
Original transcript
한 잔의 커피가 소비자에게 전해지기 위해선 여러 차례의 공정을 거쳐야 한다
Target transcript
한 잔의 맛있는 커피가 소비자에게 전해지기 위해선 여러 차례의 공정을 거쳐야 한다
Japanese
Original transcript
キミはスピリットについて旅人よりもよく知ってる。これがサンハジの遺物なら、もしものコトがあったとしても、キミならうまく対応できるハズ。
Target transcript
キミはスピリットについて旅人よりもよく知ってる。これがサンハジの遺物なら、キミならうまく対応できるハズ。
Original transcript
水をマレーシアから買わなくてはならないのです。
Target transcript
水を海外から買わなくてはならないのです。
Mandarin
Original transcript
今晚允许你在哪玩儿
Target transcript
今晚到底允许你在哪玩儿
Original transcript
要不然皇军叫你死啦死啦的
Target transcript
要不然老板叫你死啦死啦的