Британські дослідники розробили нейромережу, здатну розпізнавати натискання клавіш на комп’ютерній клавіатурі за звуком з рівнем точності до 95%. Завдяки цьому, алгоритму під силу розпізнавати паролі та листування під час відеодзвінків.
Для навчання нейромережі вчені зіставили звук кожної клавіші на клавіатурі з відповідною їй буквою. Далі експериментатори перетворили аудіозаписи на зображення у вигляді хвильових діаграм і спектрограм, використавши їх для навчання нейромережі. Потім набирали пароль на ноутбуці, а алгоритм просили обчислити, яке слово було введено, ґрунтуючись на послідовності звуків. У результаті програма розпізнавала друковані слова з точністю 95%.
Потім розробники вирішили перевірити, чи можна використовувати цей метод для підбору паролів під час відеодзвінка. Програма і в цьому випадку продемонструвала трохи меншу, але все ще дуже лякаючу точність розпізнавання: 92% для Skype і 93% у випадку з Zoom. Як джерело звуків і мікрофона використовували MacBook Pro з чипом М1 і 16-дюймовим екраном 2021 року та iPhone 13 mini, розміщений на відстані 17 сантиметрів від нього.
Захист від такого методу злому може бути вкрай простим – використовувати менеджер паролів, який автоматично підбирає складні паролі одним клацанням миші.
