Siri на iPhone навчилася переглядати контент на екрані та відправляти стороннім службам

Компанія Apple представила новий API під назвою App Intent. Це алгоритм, який дозволяє Siri сканувати вміст на екрані iPhone та відправляти для аналізу стороннім службам, наприклад, чат-боту ChatGPT.

Що ще відомо

Нове API вже запровадили у другу бета-версію iOS 18.2, випущену 4 листопада. Вона буде встановлена ​​за замовчуванням у всіх, хто оновиться до цієї версії ОС. Очікується, що стабільне складання iOS 18.2 вийде на початку грудня.

Завдяки App Intent голосовий асистент Siri та вбудований ШІ Apple Intelligence зможуть «бачити» все, що відбувається на екрані смартфона, аналізувати вміст та відправляти для обробки у сторонні служби лише за запитом користувача.

Так, власник iPhone зможе відкрити документ, активувати Siri та попросити її скласти короткий вміст файлу. Голосовий помічник просканує документ і надішле його до ChatGPT. Чат-бот, у свою чергу, згенерує переказ вмісту. Або можна попросити Siri обробити знімок, коли відкрито програму “Фото” з потрібним зображенням. Те саме працюватиме з сайтами — можна покликати Siri разом із відкритою вкладкою в Safari, щоб ШІ зібрав коротке зведення за статтею.

«Коли користувач задає питання про екранний контент або хоче виконати дію з ним, Siri та Apple Intelligence можуть отримати контент, щоб відповісти на запитання та виконати дію. Якщо користувач явно запитує це, Siri та Apple Intelligence можуть відправляти контент у підтримувані сторонні служби. Наприклад, хтось може переглянути веб-сайт і використовувати Siri для надання резюме, сказавши або набравши фразу “Привіт, Siri, про що цей документ?” – Apple.

Поки що App Intent працює з обмеженнями. Apple вже надала API стороннім розробникам, щоб ті встигли підготувати свої програми до релізу iOS 18.2. Щоб сканувати екран, потрібно активувати Apple Intelligence. На даний момент пакет ШІ – функцій працює лише англійською мовою і не доступний в Україні.