Жириновский в фильме Брат 2
Многие уже, наверное, видели нейрослоп, где Чак Норрис бьет ногой разных героев фильмов. Или как Илья Кузнецов попадает в «Терминатор» (спасибо, кстати, ему). Я сделал свою версию с внедрением известного героя в кинофильм.
Но я чуть заморочился, поэтому у меня пайплайн сложнее, т.к. приходится иметь дело с реальными фразами Жириновского. С молчащим или своим героем – проще. Своего всегда можно озвучить через микрофон в нужном темпе и с нужно интонацией.
Процесс выглядит примерно так:
1. Скачиваем готовые фразы из базы звуков или извлекаем их из видеофрагмента.
2. Очищаем фразы через Voice Isolator в ElevenLabs.
3. Подбираем фотографии Жириновского (профиль, фас, весь рост) – в интернете. Желательно единой внешности.
4. Через Nano Banana 2 делаем его в одном и том же костюме на всех имиджах.
5. Делаем лору – загружаем все имиджи Жириновского в Kling 3.0 Omni - Create Element.
6. Делаем скрины нужных сцен из фильма. В моем случае – Брат 2. При необходимости прогоняем через Банану, например, если на скрине остались логотипы.
7. В Kling Omni выбираем нашу лору (
https://t.me/zhirik), подгружаем имидж – скрин фильма.
Пишем промпт, типа: Мужчина в красном галстуке
https://t.me/zhirik подходит к девушке
https://t.me/image1 и спокойно говорит по-русски: «Я здесь хозяин».
Фразу прямо по-русски пишем. В промпте также важно заложить эмоцию произнесения фразы, соответствующую звучанию оригинала. В видео сгенерится звук на полу-польском языке (Клинг русский не поддерживает), но в целом, подходящий по артикуляции.
8. В монтажной программе подставляем звук с фразой Жириновского под видео. Ну и монтажно подшаманим липсинк. Процентов на 80% будет совпадать.
9. Кто хочет прям идеального липсинка, его можно сделать отдельно. Например, через http://sync.so/
