A Meta, empresa líder no setor de tecnologia, anunciou nesta semana o lançamento de sua mais recente versão do modelo de linguagem de grande escala (LLM), o Llama 3.1 405B. Esta versão, de código aberto, é apresentada como uma competidora à altura de outros LLMs proprietários, tais como o GPT-4 e o GPT-4o da OpenAI, e o Claude 3.5 Sonnet da Anthropic. O Llama serve como a base do assistente digital Meta AI, que a partir de terça-feira estará disponível no WhatsApp e no site Meta.ai. No entanto, ainda não está claro se o modelo mais recente será implementado em outras plataformas da Meta, como o Instagram e o Facebook, e a empresa não respondeu a solicitações de comentário sobre essa questão.
O Llama foi introduzido pela primeira vez em fevereiro de 2023. Naquela ocasião, o CEO Mark Zuckerberg admitiu que as versões iniciais estavam aquém dos concorrentes no mercado. Em uma publicação de blog recente, Zuckerberg revelou que a versão Llama 2 era apenas comparável a gerações anteriores de modelos de LLM.
Grandes modelos de linguagem, como o Llama 3.1 405B, são treinados em vastos conjuntos de dados para entender e gerar linguagem de forma que pareça humana. Estes modelos alimentam chatbots de IA generativa, incluindo o ChatGPT da OpenAI e o Gemini do Google. Além do novo Llama, a Meta também lançou esta semana um recurso de geração de imagens chamado Imagine. Este recurso permite criar imagens personalizadas, como uma foto de si mesmo surfando ou sendo parte de uma pintura surrealista, utilizando fotos já existentes. Imagine também inclui novas ferramentas de edição que permitem remover e alterar objetos em imagens, com disponibilidade para compartilhamento no Facebook, Instagram, Messenger e WhatsApp para usuários de língua inglesa.
Dados fornecidos pela Meta indicam que o Llama já foi baixado mais de 300 milhões de vezes. Os modelos mais recentes da linha Llama, incluindo o Llama 3.1 8B e 70B, vêm com uma capacidade de janela de contexto de 128.000 tokens, que define a quantidade de informação que o modelo consegue reter em uma única conversa. Em comparação, o GPT-4o da OpenAI também apresenta uma janela de contexto de 128.000 tokens, enquanto o Gemini 1.5 Pro do Google possui uma janela de 1 milhão de tokens.
De acordo com uma postagem separada no blog da Meta, os aprimoramentos no raciocínio dos modelos Llama possibilitam um entendimento melhor de consultas complexas, especialmente em campos como matemática e codificação. Os modelos Meta suportam oito idiomas diferentes. Tal como o Llama 3, lançado em abril, o Llama 3.1 405B foi treinado em mais de 15 trilhões de tokens, ou aproximadamente 11,25 trilhões de palavras. A Meta destaca que os modelos 8B e 70B são melhores para resumos de texto e como assistentes de conversação e codificação. Por outro lado, o 405B é apropriado para criação de dados sintéticos e destilação de modelos.
Mais de 25 parceiros, incluindo Amazon, Databricks e Nvidia, estão desenvolvendo serviços relacionados ao Llama 3.1 405B para suportar esses desenvolvedores. Este modelo também se distingue dos concorrentes por ser de código aberto, disponível para todos gratuitamente, ao contrário dos modelos proprietários, que requerem compra de acesso. Zuckerberg comparou essa abordagem com a evolução do software Linux, que eventualmente se tornou mais popular do que suas contrapartes proprietárias, como o Unix. Segundo ele, a abertura e acessibilidade resultarão em mais usuários e avanços.
Essa última atualização do Llama e suas aplicações prometem levar a tecnologia de modelos de linguagem a novos patamares, beneficiando tanto desenvolvedores quanto usuários finais.
