A inteligência da espécie humana não se baseia em um único ser inteligente, mas sim em uma inteligência coletiva. Individualmente, na verdade, não somos tão inteligentes ou capazes. Nossa sociedade e sistema econômico são baseados em uma vasta gama de instituições compostas por indivíduos diversos com diferentes especializações e conhecimentos.
Essa vasta inteligência coletiva molda quem somos como indivíduos, e cada um de nós segue seu próprio caminho na vida para se tornar um indivíduo único e, por sua vez, contribuir para ser parte de nossa inteligência coletiva em constante expansão como espécie.
Agora, imagine um mundo onde a inteligência artificial (IA) evolui como seres vivos, através de um processo inspirado na seleção natural. Essa é a realidade inovadora trazida pela Sakana AI, uma startup japonesa que está redefinindo os limites da tecnologia. Neste post, vamos mergulhar nos detalhes dessa abordagem revolucionária e explorar como ela pode mudar o futuro da IA.
De fato, já estamos notando uma tendência promissora no ecossistema de IA de código aberto. Modelos de base de código aberto são prontamente estendidos e ajustados em centenas de direções diferentes para produzir novos modelos que são excelentes em seus próprios nichos.
Não é surpreendente que a maioria dos modelos de alto desempenho nas classificações do Open LLM não sejam mais os modelos de base abertos originais, como LLaMA ou Mistral, mas modelos que são ajustes finos ou fusões de modelos existentes. Além disso, modelos abertos de diferentes modalidades estão sendo combinados e ajustados para serem Modelos de Linguagem-Visão (VLMs) que rivalizam com modelos VLM de ponta a ponta, exigindo apenas uma fração do poder de computação para treinar.
O que estamos testemunhando é uma grande comunidade de pesquisadores, hackers, entusiastas e artistas indo cada um a sua maneira no desenvolvimento de novos modelos de base, ajustando modelos existentes em conjuntos de dados especializados ou fundindo modelos existentes. Isso levou a uma explosão de não apenas uma vasta gama de modelos especializados de alto desempenho, mas também ao desenvolvimento de um novo tipo de alquimia, ou arte negra da fusão de modelos.
A Inovação da Sakana AI
A Sakana AI não é uma startup comum. Fundada por ex-pesquisadores do Google, ela lançou modelos de IA que representam um salto evolutivo no campo da tecnologia. Utilizando uma técnica chamada “fusão de modelos”, a empresa combinou modelos de IA existentes para criar novos, mais avançados. Mas o que realmente distingue a Sakana AI é a sua abordagem inspirada na seleção natural.
Este processo envolve a criação de centenas de gerações de modelos, onde os mais bem-sucedidos de cada geração são selecionados como “pais” para a próxima. Esse método não apenas simula a evolução natural, mas também promete acelerar o desenvolvimento de IA de maneira nunca antes vista.
Impacto e Aplicações
O impacto potencial dessa abordagem é imenso. Ao abrir dois de seus modelos de língua japonesa para o público, a Sakana AI não apenas promove a inovação aberta, mas também estabelece um novo padrão para o desenvolvimento de IA. Esses modelos podem ser a base para avanços em diversas áreas, desde a melhoria de assistentes virtuais até a criação de sistemas de IA mais intuitivos e adaptáveis.
Além disso, a abordagem da Sakana AI pode significar uma evolução na forma como entendemos e interagimos com a inteligência artificial. Ao imitar o processo de seleção natural, a startup japonesa está aproximando a IA da forma como a vida evolui, potencialmente tornando-a mais orgânica e menos previsível.
Colocando Tóquio no Mapa da IA
A Sakana AI não está apenas inovando na tecnologia; ela também está colocando Tóquio no mapa como um centro de inteligência artificial. Com um investimento inicial de 30 milhões de dólares, a startup está pronta para se juntar a gigantes como a OpenAI e a DeepMind, que transformaram San Francisco e Londres em hubs de IA, respectivamente.
Essa iniciativa não apenas destaca o Japão como um jogador importante no campo da IA, mas também promove uma diversidade geográfica que é vital para o desenvolvimento global da tecnologia.
Em conclusão, a Sakana AI está na vanguarda de uma revolução na inteligência artificial, com seu modelo inspirado na seleção natural. Essa abordagem não apenas promete acelerar o desenvolvimento de IA, mas também traz uma nova dimensão à forma como entendemos e interagimos com a tecnologia. Com a Sakana AI, o futuro da IA parece não apenas brilhante, mas também infinitamente evolutivo.
Abordagem Evolucionária para a Fusão de Modelos
A fusão de modelos mostra grande promessa e democratiza a construção de modelos para um grande número de participantes. No entanto, pode ser uma “arte negra”, dependendo muito da intuição e do conhecimento de domínio. A intuição humana, no entanto, tem seus limites. Com a crescente diversidade de modelos abertos e tarefas, precisamos de uma abordagem mais sistemática.
Os algoritmos evolucionários, inspirados na seleção natural, podem desbloquear soluções de fusão mais eficazes. Esses algoritmos podem explorar um vasto espaço de possibilidades, descobrindo combinações novas e não intuitivas que métodos tradicionais e a intuição humana podem perder. Se você deseja saber mais sobre algoritmos evolucionários, podemos recomendar este post do blog.
Usar algoritmos evolucionários para automatizar o design não é novidade. A evolução tem sido aplicada com sucesso ao design de antenas espaciais, plantas baixas, arquitetura, peças mais fortes e mais leves para espaçonaves.
Através de sucessivas gerações (até centenas), a evolução também produzirá novos modelos de base selecionados naturalmente para se saírem muito bem em um domínio de aplicação específico especificado pelo usuário.
Espaço de Fluxo de Dados: A primeira abordagem é usar a evolução para descobrir as melhores combinações das camadas de diferentes modelos para formar um novo modelo. Na comunidade de fusão de modelos, intuição e heurísticas são usadas para determinar como e quais camadas de um modelo são combinadas com camadas de outro modelo.
Espaço de Parâmetros: A segunda abordagem é evoluir novas maneiras de misturar os pesos de vários modelos. Existem um número infinito de maneiras de misturar os pesos de diferentes modelos para formar um novo modelo, sem mencionar o fato de que cada camada da mistura pode, em princípio, usar diferentes proporções de mistura. É aqui que uma abordagem evolutiva pode ser aplicada para encontrar de forma eficiente novas estratégias de mistura para combinar os pesos de vários modelos.
Olhando para o Futuro: O Surgimento da IA Evolucionária
No lançamento da Sakana AI, foram relatados alguns dos progressos iniciais no uso da evolução para automatizar a produção de modelos de base. Embora as técnicas apresentadas tenham ampla aplicabilidade, como um laboratório de IA com raízes no Japão, optou-se por aplicar esses métodos para produzir modelos de IA de base de primeira classe para o Japão.
Mas acredita-se que isso seja apenas o começo na exploração das capacidades completas dessa tecnologia, e espera-se que este seja apenas o início de um desenvolvimento empolgante a longo prazo!
Para o laboratório de IA, o foco principal não é apenas treinar um único modelo de base. Em vez disso, está se embarcando em uma direção de pesquisa muito promissora na interseção de neuroevolução, inteligência coletiva e modelos de base. Há gratidão pelo apoio do governo japonês por meio do prêmio NEDO Grant, que permitirá escalar as ideias e experimentos no mais recente cluster de supercomputação de GPU nacional no Japão.
Espera-se que haja uma tendência crescente no desenvolvimento de IA: evoluir novos modelos com habilidades inesperadas combinando os existentes. Isso é especialmente emocionante quando se considera os custos crescentes de treinar modelos de base massivos do zero.
Ao aproveitar o vasto ecossistema de código aberto de modelos de base diversos, grandes organizações como instituições governamentais e empresas podem explorar uma abordagem evolutiva mais econômica. Isso permitirá desenvolver modelos de base em estágio inicial mais rapidamente antes de comprometer recursos significativos para construir modelos totalmente personalizados, se isso for necessário. É essencialmente obter mais do que já se tem, abrindo caminho para ciclos de inovação mais rápidos.
