A Apple chegou tardiamente ao cenário do modelo de linguagem grande (LLM), ficando atrás do Google, Microsoft e Meta na criação de ferramentas poderosas de IA, mas parece estar se recuperando rapidamente.
No início deste ano, o CEO Tim Cook disse aos investidores que haveria um anúncio significativo em torno da IA que seria um “grande avanço”. Muitos suspeitam que esta será uma nova versão do Siri alimentada por um LLM semelhante ao substituto do Google Assistant pelo Gemini.
Os pesquisadores da Apple acabam de revelar detalhes do que poderia ser a base desta Siri de próxima geração e, se os rumores forem verdadeiros, poderia funcionar em conjunto Gêmeos no iPhone oferecendo uma escolha.
Lançado como um artigo de pesquisa pré-impressoo MM1 oferece essencialmente um novo método para usar dados e rótulos gerados por IA para acelerar o treinamento de novos modelos – incluindo possivelmente o Siri 2.0.
O que é Apple MM1?
No centro do MM1 está um novo método para treinar modelos multimodais usando dados sintéticos, incluindo imagens e texto.
Os pesquisadores por trás do MM1 afirmam que seu novo método acelera o desempenho e reduz o número de solicitações de acompanhamento para obter o resultado desejado.
Ser capaz de melhorar a compreensão imediata e chegar ao resultado desejado com o mínimo de interação possível com a IA é perfeito para tecnologia de consumo, especialmente no Siri, que será usado por um amplo grupo de pessoas com vários graus de habilidade tecnológica.
Os modelos alcançam métricas de pré-treinamento de última geração e desempenho competitivo em benchmarks multimodais após o ajuste fino.
MM1 parece ser uma família de modelos de IA, com os maiores em torno de 30 bilhões de parâmetros. Isto é significativamente menor do que os mais de um trilhão de parâmetros no GPT-4 e Claude 3 Opus, mas os pesquisadores ainda afirmam corresponder aos principais benchmarks devido a melhorias na eficiência.
“Ao ampliar sua receita, eles construíram o MM1, uma família de modelos multimodais com parâmetros de até 30B que alcançam métricas de pré-treinamento de última geração e desempenho competitivo em benchmarks multimodais após o ajuste fino”, escreveram eles.
O avanço significativo está na visão, especificamente na análise de imagens e outras formas de conteúdo visual e na capacidade de compreender o resultado. Recentemente testei o desempenho do ChatGPT, Claude e Gemini nessa tarefa.
Como funciona o Apple MM1?
O título completo do artigo é Métodos, Análise e Insights do Pré-treinamento Multimodal LLM. Ele foi lançado discretamente com o mínimo de alarde e estava disponível em código aberto com detalhes completos de dados de treinamento e benchmarks.
Nele, os pesquisadores argumentam que combinar diferentes tipos de dados de treinamento e arquiteturas de modelos — em vez de depender de um único conceito — pode levar a um desempenho de última geração.
A equipe escreveu que usou uma mistura de dados de legenda de imagem, texto de imagem e apenas texto e que um “conjunto de dados persificado abrangendo informações visuais e linguísticas” é necessário para obter esse desempenho.
Isso inclui legendas de imagens, respostas visuais a perguntas e compreensão de linguagem natural – como para solicitações únicas ou de poucas tomadas para obter o resultado desejado.
“Graças ao pré-treinamento em grande escala, o MM1 desfruta de propriedades atraentes, como aprendizado aprimorado no contexto e raciocínio multi-imagem, permitindo a ativação de cadeias de pensamento em poucos disparos”, explicou a equipe.
O que torna o Apple MM1 diferente?
O MM1 usa um tipo de arquitetura diferente para seus modelos, incluindo codificadores de resolução de imagem mais alta, adota uma abordagem diferente para pré-treinamento e rotulagem e se concentra no uso desse mix de dados para melhorar o desempenho geral a partir de um único prompt.
Ele também usa um modelo de mistura de especialistas (MoE) para aumentar a escala e, ao mesmo tempo, manter os requisitos de processamento baixos, o que sugere ainda mais seu uso potencial em dispositivos como iPhones ou laptops, em vez de funcionar na nuvem.
O Google recentemente aproveitou uma arquitetura MoE em seu modelo Gemini 1.5 Pro com uma janela de contexto de mais de um milhão de tokens. Isso permitiu melhorar a eficiência em relação a dados de entrada significativos.
O Apple MM1 alimentará o Siri 2.0?
Embora o artigo não mencione o Siri ou qualquer produto potencial, o foco no desempenho e na eficiência, na obtenção de resultados sólidos com o mínimo de aviso e na necessidade de amplos recursos multimodais sugerem a direção que a Apple seguirá com o Siri no futuro.
É provável que muitos dos recursos de qualquer Siri com LLM tenham que ser executados “no dispositivo”, especialmente no processamento de informações pessoais devido à postura de privacidade de longa data da Apple.
Ser capaz de desenvolver um modelo muito poderoso, capaz de aprender com as interações com os usuários e que seja pequeno o suficiente para rodar em um iPhone é uma grande mudança.
Com as notícias recentes de que a Apple pode estar trazendo o Gemini para o iPhone e os remorsos anteriores de que a empresa também está em negociações com o fabricante do ChatGPT OpenAI, parece que a Apple está adotando uma abordagem multifacetada para alcançar o “big bang” que Cook prometeu aos investidores. em IA.
- iOS 18 pode ser uma virada de jogo para o iPhone
- O iPhone 16 está prestes a ser um superfone de IA – 5 rumores que você precisa saber
- iOS 18 foi redesenhado – o que eu gostaria de ver a Apple apresentar