Алгоритми Facebook допоможуть інтернет-компаніям шукати дублікати відео та зображень для боротьби з неприпустимим контентом

Facebook оголосила про відкриття вихідного коду двох алгоритмів, здатних визначати ступінь ідентичності для фотографій і відео, навіть якщо у них внесені невеликі зміни. Ці алгоритми соціальна мережа активно використовує для боротьби з контентом, що містить матеріали, пов’язані з експлуатацією дітей, терористичної пропагандою і різними формами насильства. Facebook зазначає, що вона вперше поділилася подібною технологією, і в компанії сподіваються, що з її допомогою інші великі портали і сервіси, невеликі студії по розробці і некомерційні організації зможуть ефективніше боротися з поширенням неприпустимого медіа-контенту в світовій Мережі.

«Коли ми знаходимо фрагмент неприпустимого вмісту, технології можуть допомогти нам знайти всі його дублікати і запобігти їх поширенню», — пишуть глава служби безпеки Facebook Антігона Девіс (Antigone Davis) і віце-президент по чесності Гі Розен (Guy Rosen) у своєму пості до четвертого щорічного хакатону «Безпека дітей в Facebook».

Facebook стверджує, що два опублікованих алгоритму — PDQ і TMK+PDQ — були розроблені для роботи з величезними масивами даних і засновані на вже існуючих моделях і реалізації, включаючи pHash, PhotoDNA від Microsoft, aHash і dHash. Наприклад, алгоритм PDQ для порівняння фотографій був натхненний pHash, але при цьому повністю розроблений з нуля розробниками з Facebook.

Марк Цукерберг вже давно стверджує, що ШІ в найближчому майбутньому істотно скоротить кількість зловживань, що здійснюються мільйонами недобросовісних користувачів Facebook. І дійсно, в опублікованому в травні звіті про дотримання стандартів спільноти Facebook компанія повідомила, що ШІ і машинне навчання допомогли значно скоротити кількість опублікованих заборонених матеріалів в шести з дев’яти категорій подібного контенту.