Os atuais algoritmos de inteligência artificial, sejam modelos de linguagem (como o ChatGPT e o Gemini), geradores de imagens (Dall-E, Stable Diffusion, Midjourney) ou vídeos (Sora, Runway), bebem da mesma fonte: eles foram “treinados” com material copiado da internet. Existe uma relação direta, ainda que não exclusiva, entre a sofisticação de um algoritmo de IA e a quantidade de dados que ele recebeu para analisar. E isso pode ser um obstáculo para a evolução do setor: como criar IAs mais avançadas sem dar a elas mais dados? Nos últimos anos, as grandes empresas de tecnologia já copiaram, geralmente sem autorização, todo o conteúdo online que conseguiram alcançar.
O próximo passo pode estar em outro tipo de conteúdo: dados sintéticos, gerados por IAs para alimentar o desenvolvimento de outras IAs. Essa é a proposta do algoritmo Nemotron-4 340B, criado pela Nvidia. Ele é capaz de analisar um conjunto de informações e gerar uma nova massa de dados, que então podem ser usados para treinar uma segunda IA.
Os dados sintéticos costumam estar associados a um risco: o “colapso do modelo”, uma degeneração progressiva que acomete modelos de linguagem alimentados com informações geradas por outras IAs. Nesse fenômeno, que foi demonstrado pela primeira vez em 2023, o algoritmo vai gerando respostas cada vez mais distorcidas, até chegar a um ponto em que se torna irrecuperável.
A Nvidia não aborda esse risco no artigo de apresentação do Nemotron. Mas destaca outro modelo de uso, que talvez não esteja sujeito a ele: a utilização de dados sintéticos para o chamado alinhamento (ajuste de uma IA para garantir que ela gera as respostas esperadas, de acordo com os objetivos de seus criadores). O alinhamento é um ponto crucial para a adoção segura da IA no futuro.
Num teste realizado pela Nvidia, o Nemotron gerou dados sintéticos, que então foram usados para alinhar outro algoritmo de IA: o Llama 3 70B, criado pela Meta. Segundo a Nvidia, o resultado foi excelente: o Llama alcançou alto grau de alinhamento, igualando ou superando o Llama 3 70B Instruct (um terceiro algoritmo, alinhado com dados gerados por humanos).
Assine
Assine
Assine
Assine
Assine
Assine
Leia também no 
Abril Comunicações S.A., CNPJ 44.597.052/0001-62 – Todos os direitos reservados.
Matéria exclusiva para assinantes. Faça seu login
Este usuário não possui direito de acesso neste conteúdo. Para mudar de conta, faça seu login
10 grandes marcas em uma única assinatura digital
MELHOR
OFERTA
Acesso ilimitado ao site, edições digitais e acervo de todos os títulos Abril nos apps*
a partir de 9,90/mês*
Receba Super impressa e tenha acesso ilimitado ao site, edições digitais e acervo de todos os títulos Abril nos apps*
a partir de 14,90/mês
*Acesso ilimitado ao site e edições digitais de todos os títulos Abril, ao acervo completo de Veja e Quatro Rodas e todas as edições dos últimos 7 anos de Claudia, Superinteressante, VC S/A, Você RH e Veja Saúde, incluindo edições especiais e históricas no app.
*Pagamento único anual de R$118,80, equivalente a 9,90/mês.
Não vá embora sem ler essa matéria!
Assista um anúncio e leia grátis
CLIQUE AQUI.
Leave a Reply