No dia 18 de julho de 2024, a equipe da Mistral AI anunciou o lançamento do Mistral NeMo, um modelo de 12 bilhões de parâmetros desenvolvido em colaboração com a NVIDIA. Com uma janela de contexto impressionante de até 128 mil tokens, o Mistral NeMo apresenta um desempenho excepcional em raciocínio, conhecimento de mundo e precisão em programação.
Esse modelo não só é fácil de usar, mas também se integra como uma substituição direta para sistemas que utilizam o Mistral 7B. Além disso, foram disponibilizados checkpoints pré-treinados, tanto básicos quanto ajustados para instruções, sob a licença Apache 2.0, facilitando a adoção por pesquisadores e empresas.
Lançamento do Mistral NeMo: Um Modelo de 12B
O Mistral NeMo é projetado com uma arquitetura padrão, o que facilita sua implementação como um substituto direto para o sistema que utiliza o Mistral 7B. Para promover a adoção entre pesquisadores e empresas, foram liberados checkpoints base pré-treinados e ajustados por instruções sob a licença Apache 2.0.
Além disso, o modelo foi desenvolvido com a consciência de quantização, permitindo a inferência em FP8 sem perder desempenho.
Uma comparação de precisão do modelo base Mistral NeMo foi feita com dois modelos pré-treinados recentes de código aberto, Gemma 2 9B e Llama 3 8B, mostrando que o Mistral NeMo lidera em precisão dentro de sua categoria de tamanho.
Este modelo também é considerado uma solução multilíngue para o mercado global. Ele foi treinado para atender aplicações que demandam múltiplos idiomas e se destaca particularmente em idiomas como inglês, francês, alemão, espanhol, italiano, português, chinês, japonês, coreano, árabe e hindi. Esta é uma nova etapa rumo à democratização dos modelos de IA de ponta, tornando-os acessíveis em várias línguas que formam a cultura humana.
Uma das inovações trazidas pelo Mistral NeMo é Tekken, um tokenizador mais eficiente que foi treinado em mais de 100 idiomas. O Tekken, baseado no Tiktoken, é capaz de comprimir texto de linguagem natural e código fonte de maneira mais eficiente do que o tokenizador SentencePiece utilizado em modelos anteriores da Mistral.
Ele é aproximadamente 30% mais eficiente na compressão de código fonte e de vários idiomas europeus. Para idiomas como coreano e árabe, a eficiência chega a ser 2x e 3x maior, respectivamente. Em comparação com o tokenizador do Llama 3, o Tekken se mostrou mais eficaz em comprimir texto para cerca de 85% de todas as línguas.
Além disso, o Mistral NeMo passou por uma fase avançada de ajuste fino de instruções. Em comparação ao Mistral 7B, o Mistral NeMo apresenta uma melhora significativa em seguir instruções precisas, raciocínio, manuseio de conversas múltiplas e geração de código.
Os pesos do Mistral NeMo estão disponíveis no HuggingFace, tanto para os modelos base quanto para os ajustados. Os usuários podem experimentar o Mistral NeMo agora mesmo com mistral-inference e adaptá-lo com mistral-finetune. O modelo está acessível na plataforma como open-mistral-nemo-2407 e também é disponibilizado em um contêiner como microserviço de inferência NVIDIA NIM, disponível em ai.nvidia.com.
O Que Torna o Mistral NeMo Especial?
Mistral NeMo é um modelo avançado de IA que se destaca por várias razões. Primeiramente, sua arquitetura padrão e facilidade de uso permitem que seja uma substituição direta para sistemas que já utilizam o modelo Mistral 7B. Isso significa que, para as empresas que já estão integradas nesse ecossistema, a adoção do Mistral NeMo será rápida e sem complicações.
Além disso, ele foi treinado com consciência de quantização, o que possibilita inferência FP8 sem perda de desempenho. Isso é crucial para aplicações empresariais que exigem alta performance e eficiência. Outro ponto notável é a janela de contexto de até 128k tokens, que permite que o modelo compreenda contextos extensos de maneira eficaz, oferecendo um aumento significativo no que diz respeito à razão e precisão de codificação.
Em comparação com outros modelos de código aberto, como Gemma 2 9B e Llama 3 8B, o Mistral NeMo se mostrou mais preciso em várias tarefas. Esta precisão torna o Mistral NeMo altamente relevante para pesquisas e desenvolvimentos em IA, especialmente em contextos multilíngues, onde sua abrangência linguística permite atender a uma base de usuários global. Assim, o Mistral NeMo destaca-se por sua capacidade técnica, praticidade de integração e potencial para revolucionar o
campo da inteligência artificial, tornando-o uma opção excepcional para empresas e pesquisadores.
Desempenho Multilíngue do Mistral NeMo
O Desempenho Multilíngue do Mistral NeMo é notável, tornando-o adequado para aplicações globais. O modelo é projetado para lidar com diversas línguas, oferecendo suporte a idiomas como inglês, francês, alemão, espanhol, italiano, português, chinês, japonês, coreano, árabe e hindi. Com uma capacidade de janela de contexto de até 128k tokens, o Mistral NeMo é capaz de compreender e gerar textos complexos em várias linguagens, apresentando um desempenho exemplar em benchmarks multilíngues.
A arquitetura padrão do Mistral NeMo permite que ele seja facilmente integrado em sistemas existentes. Ele foi otimizado para funções de chamada e demonstrou um alto nível de precisão na elaboração de respostas em diferentes idiomas. Essa coragem em treinar o modelo para ser eficiente na compreensão do contexto faz dele uma ferramenta poderosa para desenvolvedores e pesquisadores que desejam criar soluções de IA que beneficiem uma audiência global.
O modelo é também equipado com o tokenizador Tekken, que apresenta uma abordagem inovadora para a compressão de textos. Ele é mais eficiente do que os tokenizadores anteriores, compressando texto em mais de 100 idiomas e oferecendo uma eficiência de até 30% em relação ao código-fonte e outros idiomas relevantes. Essa característica contribui significativamente para a rapidez e precisão nas interações bilíngues e multilíngues.
Assim, o Mistral NeMo se posiciona como uma solução robusta e acessível para empresas e pesquisadores que buscam explorar as vastas possibilidades da inteligência artificial em um mundo multilíngue.
Tekken: O Tokenizador Mais Eficiente
O Mistral NeMo introduz Tekken, um tokenizador inovador baseado no Tiktoken, treinado para manusear e comprimir texto em mais de 100 idiomas. A eficiência do Tekken em compressão supera a do SentencePiece, utilizado em versões anteriores do Mistral. Estudos mostram que o Tekken consegue ser cerca de 30% mais eficiente na compressão de código-fonte, além de textos em idiomas como chinês, italiano, francês, alemão, espanhol e russo. A eficiência é ainda mais impressionante quando se observa o desempenho em coreano e árabe, onde é 2x e 3x mais eficaz, respectivamente.
A capacidade do Tekken de compactar dados é superior em aproximadamente 85% das línguas comparadas ao tokenizador Llama 3. Isso posiciona o Mistral NeMo como uma solução poderosa para aplicações que requerem processamento de linguagem natural e código.
As melhorias no Tekken não apenas otimizam o espaço, mas também contribuem para a eficiência geral e a eficácia do modelo, reforçando o compromisso da Mistral AI em inovar no campo da inteligência artificial.
Aprimoramento de Instruções do Mistral NeMo
O Mistral NeMo passou por um processo avançado de ajuste fino e alinhamento, uma etapa importante que o distingue de seu antecessor, o Mistral 7B. Este novo modelo demonstrou melhorias significativas em várias áreas-chave. Por exemplo, ele é muito mais eficaz em seguir instruções precisas, o que torna suas interações mais precisas e relevantes para o usuário.
Além disso, o Mistral NeMo se destaca em raciocínio e em gerenciar conversas multi-turno, aspectos essenciais para aplicações de IA que exigem uma interação contínua e coerente. A geração de código também foi aprimorada, aumentando a versatilidade do modelo para desenvolvedores e pesquisadores.
Os testes de precisão do modelo de instrução ajustado foram realizados usando o GPT4o como juiz, o que garantiu uma avaliação rigorosa em comparação com referências oficiais. Os resultados mostraram uma notável diferença de desempenho, reforçando o valor da fine-tuning em aplicações práticas. O Mistral NeMo está preparado para atender demandas complexas, proporcionando respostas mais acuradas e relevantes em diversos contextos.
Comparação de Precisão com Modelos Recentes
O Mistral NeMo se destaca em desempenho ao ser comparado com outros modelos recentes de código aberto. A tabela a seguir ilustra a precisão do modelo Mistral NeMo em relação aos modelos Gemma 2 9B e Llama 3 8B. Essa análise é fundamental para enfatizar as capacidades do Mistral NeMo, que foi projetado para oferecer reasoning excepcional, conhecimento do mundo e precisão na geração de código.
| Modelo | Precisão |
|---|---|
| Mistral NeMo | Estado da arte na sua categoria |
| Gemma 2 9B | Comparativamente inferior |
| Llama 3 8B | Modelo com limitações em algumas tarefas |
Esta comparação reflete não apenas a eficácia do Mistral NeMo, mas também sua capacidade de atuar como um modelo confiável em diversas aplicações. Ele foi otimizado com uma arquitetura padrão, o que facilita sua integração como um substituto direto do modelo anterior Mistral 7B. Tal versatilidade é um grande atrativo para empresas e pesquisadores que buscam progresso em suas implementações de inteligência artificial.
Além disso, as capacidades de quantização do Mistral NeMo, que permite inferência FP8 sem perda de performance, colocam-no em uma posição vantajosa em relação a modelos que não têm esse nível de preparação. Com isso, o Mistral NeMo se apresenta não só como uma opção poderosa, mas também como uma solução acessível e prática para as necessidades atuais do mercado.
Onde Encontrar o Mistral NeMo
No dia 18 de julho de 2024, a equipe da Mistral AI anunciou o lançamento do Mistral NeMo, um modelo de IA empresarial com 12 bilhões de parâmetros, desenvolvido em colaboração com a NVIDIA. Este modelo possui uma arquitetura padrão que o torna fácil de implementar como um substituto direto do Mistral 7B, facilitando sua adoção em diversas plataformas.
Uma das características notáveis do Mistral NeMo é sua capacidade de gerenciar até 128k tokens de contexto, o que melhora sua eficiência em tarefas que exigem um entendimento mais profundo e amplo do texto. A Mistral AI também disponibilizou checkpoints pré-treinados, tanto na versão base quanto na versão ajustada por instruções, sob a licença Apache 2.0, para incentivar a adoção por pesquisadores e empresas.
Os pesos do modelo estão hospedados no HuggingFace, permitindo acesso fácil aos desenvolvedores. Para quem deseja testá-lo, ele pode ser encontrado como open-mistral-nemo-2407 na plataforma de IA, e também está disponível como um microserviço de inferência NIM da NVIDIA em ai.nvidia.com. Você pode utilizar mistral-inference para experimentar o modelo e mistral-finetune para adaptá-lo a suas necessidades específicas.
