Професор от MIT разработва AI, който може да чува по-добре от хората

Зад проекта стои проф. Парис Смарагдис от Масачузетския технологичен институт (MIT), който разработва технологии за машинно слушане, способни да анализират, разделят и интерпретират звукова информация с изключителна точност.

Според него подобни системи биха могли да намират приложения в широк спектър от индустрии – от откриване на пътнотранспортни произшествия по звука от сблъсък до предвиждане на повреди в тежко промишлено оборудване още преди те да се случат.

От музиката към изкуствения интелект

Пътят на изследователя започва далеч преди навлизането му в света на AI. Роденият в Гърция Смарагдис свири на класическа китара още от детските си години, но интересът му се променя, когато баща му носи у дома малък синтезатор.

Възможността да създава напълно нови звуци се превръща в негова страст и го отвежда в Berklee College of Music в Бостън, където изучава компютърно базирано музикално творчество. По-късно участва в съвместни проекти с MIT Media Lab и защитава магистърска и докторска степен в института.

Именно там започва да се интересува от въпроса как компютрите могат да разбират звука, а не просто да го обработват.

Машините трябва да се научат да слушат

Още в началото на кариерата си Смарагдис избира сравнително непопулярно за онова време направление – машинното обучение. Вместо да програмира ръчно алгоритми за обработка на звук, той започва да обучава модели сами да разпознават и интерпретират аудио сигнали.

Според него това е единственият реалистичен подход, тъй като дори хората трудно могат да обяснят как разграничават мяукане на котка от звук на цигулка.

„Не можем просто да казваме на компютрите как да слушат. Трябва да ги научим да слушат“, смята изследователят.

По-късно негови разработки намират приложение в системи за анализ на видео съдържание, мобилни устройства и решения за наблюдение на трафика.

AI помогна за документалния филм за The Beatles

Една от най-интересните глави в кариерата на Смарагдис идва по време на работата му в Университета на Илинойс, където екипът му разработва невронни мрежи за разделяне на отделни звуци в сложни аудио записи.

Технологията привлича вниманието на екипа зад документалната поредица „The Beatles: Get Back“, която използва инструментите му за почистване и възстановяване на архивни записи на легендарната британска група.

При обработката на материалите се налага отделянето на гласове, разговори и музикални изпълнения, записани едновременно в една и съща аудио следа. Работата на Смарагдис допринася за спечелването на награда Emmy за звуков монтаж през 2022 г.

Следващата стъпка – AI за музиканти и аудио анализ

Днес изследователският екип на учения в MIT работи в две основни направления. Първото е създаване на интелигентни инструменти, които да подпомагат музиканти и звукорежисьори, без да ги заменят.

Сред проектите е разработването на системи, които могат да „слушат“ музикално изпълнение и да предоставят полезна обратна връзка на изпълнителите.

Втората насока е изграждането на ново поколение технологии за аудио обработка и разпознаване на реч, включително решения, които използват големи езикови модели за подобряване на качеството на звука и разбирането на човешката реч.

Според Смарагдис потенциалът на изкуствения интелект в областта на звука тепърва предстои да бъде разгърнат.

„AI е изключително мощен инструмент, но все още не сме открили най-добрия начин да го използваме за звук и музика“, смята той.

Освен научната си работа, професорът продължава активно да се занимава и с музика, като свири джаз бас, а в свободното си време практикува и подводен хокей – още едно необичайно занимание, което според него се вписва идеално в стремежа му постоянно да изследва непознати територии.