Нейросеть научили определять музыку по телодвижениям исполнителей

[StiVArk]

Исследователи Массачусетского технологического института научили нейросеть определять музыку по телодвижениям исполнителей.
Инструмент сопоставляет движения музыкантов с темпом отдельных партий. Это позволяет выделить одну флейту или одну скрипку из ряда инструментов.

Нейросеть можно использовать для микширования звука и увеличения громкости инструмента в записи, а также для снижения уровня посторонних шумов.

Стоит отметить, что новую систему разработали на базе старой, благодаря которой можно было кликать на музыкальные инструменты в концертном видео, чтобы сделать их звучание громче или тише. Новая разработка включает анализ данных о ключевых положениях тела музыканта. Это же используют спортивные комментаторы для отслеживания движений спортсменов. Нейросеть обучали на синхронизированных аудио- и видеозаписях.
Источник:

 

[sven]

красота, нейросеть рулит!

 

[djon]

скоро нейросеть завладеет миром!

 

[qwertyqwerty]

скоро нейросеть завладеет миром!

полностью с вами согласен, нейросети быть!