Os pesquisadores da Apple criaram um modelo de IA que pode entender o que está acontecendo na tela do seu telefone. É o mais recente de uma linha crescente de modelos.
Chamado de Ferret-UI, esse modelo multimodal de linguagem grande (MLLM) pode executar uma ampla variedade de tarefas com base no que pode ver na tela do seu telefone. O novo modelo da Apple pode, por exemplo, identificar tipos de ícones, encontrar trechos específicos de texto e fornecer instruções precisas sobre o que você deve fazer para realizar uma tarefa específica.
Essas capacidades foram documentadas em um relatório publicado recentemente papel que detalhou como esse MLLM especializado foi projetado para compreender e interagir com telas de interface de usuário (IU) móvel.
O que não sabemos ainda é se isso fará parte do suposto Siri 2.0 ou se é apenas mais um projeto de pesquisa de IA da Apple que não vai além de um artigo publicado.
Como funciona o Ferret UI
Atualmente usamos nossos telefones para realizar uma variedade de tarefas – podemos querer procurar informações ou fazer uma reserva. Para fazer isso, olhamos para nossos telefones e tocamos em qualquer botão que nos leve aos nossos objetivos.
A Apple acredita que se esse processo puder ser automatizado, nossas interações com nossos telefones se tornarão ainda mais fáceis. Ele também prevê que modelos como o Ferret-UI podem ajudar em coisas como acessibilidade, teste de aplicativos e teste de usabilidade.
Para que tal modelo fosse útil, a Apple precisava garantir que pudesse entender tudo o que acontecia na tela do telefone e, ao mesmo tempo, ser capaz de se concentrar em elementos específicos da interface do usuário. No geral, ele também precisava ser capaz de combinar as instruções fornecidas em linguagem normal com o que estava vendo na tela.
Por exemplo, Ferret-UI viu uma foto de AirPods na loja da Apple e foi questionado sobre como comprá-los. Ferret-UI respondeu corretamente que era preciso tocar no botão ‘Comprar’.
Por que Ferret-UI é importante?
Como a maioria de nós tem um smartphone no bolso, faz sentido que as empresas estejam estudando como podem adicionar recursos de IA adaptados a esses dispositivos menores.
Cientistas pesquisadores do Meta Reality Labs já preveem que passaremos mais de uma hora todos os dias em conversas diretas com chatbots ou com processos LLM executados em segundo plano, potencializando recursos como recomendações.
O cientista-chefe de IA da Meta, Yann Le Cun, chega a dizer que os assistentes de IA mediarão toda a nossa dieta digital no futuro.
Portanto, embora a Apple não tenha explicado exatamente quais são seus planos para o Ferret-UI, não é muito difícil imaginar como tal modelo pode ser usado para sobrecarregar o Siri e tornar a experiência do iPhone muito fácil, possivelmente antes mesmo do ano terminar.
- Como usar a gravação de voz em um iPhone
- iOS 18 supostamente a ‘maior’ atualização da história – 9 atualizações chegando ao seu iPhone
- iOS 17.5 beta – aqui estão as novidades
