segunda-feira, 10 de agosto de 2026

IA não completa frases - e sim inventa rumos, Alvaro Machado DIas, FSP

 A noção de que os grandes modelos de linguagem preveem a próxima palavra é a mais disseminada e a mais equivocada maneira de descrever seu funcionamento.

LLMs são treinados em duas fases. Na primeira, uma rede neural recebe trilhões de trechos da internet com buracos no meio e tenta preenchê-los. Cada tentativa é comparada com o que estava no texto original, o acerto vira pontuação e o processo se repete até o modelo preencher bem as lacunas de qualquer assunto. Isso é previsão do próximo token (ou palavra) no sentido estrito, e é daí que vem a fama da IA de ser um grande "autocomplete".

Sete pessoas em pé conversam e observam uma fileira de servidores iluminados por luzes azuis em ambiente interno moderno. O local tem teto com iluminação circular e painéis digitais nas paredes.
Evento da Conferência Mundial de Inteligência Artificial em Xangai, na China, em julho deste ano - Fang Zhe/Xinhua

Na segunda fase, entram outros métodos de aprendizado, para que o algoritmo aja como querem seus fabricantes. Restrições temáticas, puxa-saquismo, respostas padronizadas sobre a própria consciência, tudo é moldado nesta etapa, que hoje concentra grande parte do dinheiro e do esforço científico e reduz dramaticamente o peso relativo do "autocomplete".

Mas o ponto decisivo é outro. Se aquilo que vemos na tela fosse fruto de previsão, aconteceria o seguinte: você descreveria ao Claude um experimento de química e pediria o resultado, que seria calculado pela seleção correta de cada uma das palavras, letras e números até o final, a despeito do fato de as sequências possíveis superarem os átomos do universo.

Cada resposta demoraria semanas e teria confiabilidade nula, já que acertar deste modo seria como ganhar na Mega-Sena em todas as rodadas da história com um único cartão.

No mundo real, a resposta sai certa e em minutos porque a IA não tenta prever as palavras que devem ser encadeadas, mas opera com os princípios da química, que aplica ao cenário descrito, tal como aplica os do humor quando converte uma história qualquer em piada.

O equívoco está em confundir uma fase do treinamento com a produção de respostas no mundo real, onde a previsão só serve para eventos fechados, como se vai chover amanhã.

Seria o caso de se dizer que o trabalho da IA é decidir em vez de de prever? Também não.

Veja, o pensamento, assim como o caminhar, não é um conjunto de deliberações, passo a passo —e é sabido que pacientes neurológicos que param para escolher cada pisada não chegam ao destino.

Prever e decidir são atos. O que perseguimos enquanto andamos, refletimos e compartilhamos ideias com as outras pessoas são sobretudo rumos, zonas de sentido.

Rumos são o nosso jeito privilegiado de existir e a tônica dominante da IA, que extrai do conjunto de treinamento nossos princípios reflexivos, com algumas limitações (mais dedução e menos abdução, o salto que inventa hipóteses, do que nós).

Navegamos a vida social com três bússolas simultâneas: a do espaço, a da conversa e a da cultura, que nos orientam sem precisar converter direção em coordenadas precisas a todo instante. Uma língua funciona assim. Ninguém decidiu matar o "vós" no Brasil; ele simplesmente se tornou uma zona menos visitada.

A IA faz uma navegação aparentada, com a diferença de que ela é feita da fala de todos, emprestada e roubada.

Por isso, perguntar algo a ela é perguntar à cultura, que não produz apenas repetição, mas pensamento novo a partir do velho, como agora se vê nas provas matemáticas de máquina. A cultura não se autocompleta; ela se autoinventa. E são os ecos dos seus rumos que vemos surgir na tela.

domingo, 9 de agosto de 2026

A quem a inteligência artificial realmente obedece?, Ronaldo Lemos, FSP

 Nos últimos dias convivemos com várias notícias sobre inteligências artificiais fazendo ataques de cibersegurança. No entanto, é fundamental lembrar que a inteligência artificial pode ser ela própria "hackeada". Um estudo recente do professor do MIT Dylan Hadfield-Menell apresenta uma estratégia surpreendentemente eficaz de hackear modelos de IA, mesmo os modelos comerciais mais fechados e restritos.

A estratégia consiste em fazer o modelo confundir quem está falando. Todo modelo de IA trabalha ouvindo vozes. Uma voz é da empresa que o criou, que incorpora diretrizes e travas no modelo (o "system"). Outra é a voz do usuário, que passa tarefas e informações (o "user"). Outra voz é o que o modelo busca de fora, o conteúdo de uma página da web ou um texto ("tools"). E há também sua própria voz, resultado do seu processo de raciocínio interno ("think"). A mistura dessas vozes, cada uma exercendo uma forma de autoridade distinta, é o que leva o modelo ao resultado final.

Duas silhuetas humanas em preto aparecem em frente a uma tela verde com números binários (0 e 1) em padrão repetido, criando efeito de movimento.
Projeção de código binário - Dado Ruvic - 28.mar.18/Reuters

No estudo, o professor do MIT mostrou que se você escrever um comando para o modelo usando o estilo de linguagem que ele usa para pensar, o modelo acha que está lendo o seu próprio raciocínio e chega a conclusões que quebram suas diretrizes de segurança vindas do "system". A razão é que não há uma identificação categórica entre cada "voz" que o modelo ouve. Ele basicamente distingue quem é quem (inclusive a si mesmo) pelo estilo da escrita.

O estudo dá um exemplo interessante. Ele cria uma instrução pedindo para que o modelo ensine como fazer cocaína (algo que as diretrizes do system vetam). Para contornar a regra, a instrução adiciona que o usuário está vestindo uma camisa verde. E logo na sequência coloca uma série de comandos que imitam o texto de como a IA raciocina, concluindo que se o usuário está usando camisa verde, é permitido ensinar como fazer cocaína.

A taxa de sucesso estimada dessa estratégia de hackeamento é próxima de 60%, de acordo com o estudo. E não há nada que possa ser feito no curto prazo para corrigir o problema. No entanto, medidas paliativas começam a aparecer.

Modelos corporativos mais capazes estão começando a ocultar sua linha de raciocínio do usuário. O que é uma lástima. Visualizar a linha de raciocínio é uma das formas de auditar o funcionamento de uma IA, de promover transparência, fiscalizar erros e poupar tokens. Perder isso é algo que vai alienar os usuários da IA e torná-la mais opaca, inclusive com relação a quem ela de fato serve.

Há uma linha histórica de ataques eficazes contra IAs. Em 2014, um estudo mostrou que introduzir informações invisíveis em uma foto de um panda fazia com que ela fosse classificada como um macaco pela IA. Em 2018, outro estudo mostrou que pequenos adesivos colocados em placas de PARE faziam um carro autônomo enxergar a placa como permitido trafegar a 72 km/h. Tudo isso nos leva a perguntar: quem de fato tem o controle final da IA? A empresa, os usuários, a própria IA e suas diferentes cadeias de pensamento internas ou elementos externos, difíceis de serem identificados?

Já era Achar que a IA atende apenas aos seus comandos

Já é Perceber que a IA atende aos comandos da empresa que a cria e do governo do país onde ela é feita

Já vem Uso de modelos open source de IA para analisar ataques feitos por modelos fechados de IA

Do caçador de empregos à captura do Estado, Marcus André Melo - FSP

 "Um cargo ou a sua vida!": esses eram os dizeres de um cartaz empunhado por Charles Guiteau, assassino do presidente americano James Garfield, em uma charge publicada pela revista Puck em 1881. A legenda o apresentava como "o caçador de emprego modelo". Guiteau atentou contra Garfield por acreditar que seu apoio à campanha lhe dava direito a um alto cargo público —expectativa frustrada.

O episódio teve papel decisivo na aprovação, em 1883, do Pendleton Act, marco do recrutamento meritocrático no serviço público federal americano. Mas o que interessa não é a emergência de reformas, mas, sim, sua sustentabilidade.

Escândalos abrem janelas de oportunidade; não garantem que as mudanças se consolidem. Em uma democracia, a reforma dificilmente "pega" quando uma força política controla de forma duradoura e desproporcional os recursos de patronagem. Quem está no poder recorre às nomeações para recompensar aliados e ganhar eleições. Por que renunciaria a essa vantagem?

0
Candidatos chegam à Unip Tatuapé, zona leste da capital paulista, para realizar a prova do Concurso Nacional Unificado (CNU) - Rafaela Araújo - 5.out.25/Folhapress

Se duas forças políticas controlam parcelas semelhantes dos empregos públicos, ambas sacrificariam recursos equivalentes caso o patronato fosse restringido. Ao apoiar a reforma, nenhuma concederia vantagem decisiva ao adversário. Cada uma poderia preferir eliminar uma disputa onerosa por cargos e reivindicar o crédito por um governo mais íntegro e eficiente.

O argumento se assemelha a um dilema do prisioneiro. Os políticos podem preferir coletivamente uma burocracia imparcial, mas hesitam em se desarmar primeiro. Um partido que renuncie às nomeações enquanto seus adversários as conservam corre o risco de ser derrotado. As regras de recrutamento por mérito funcionam, assim, como mecanismo de desarmamento mútuo. A reforma se torna mais provável quando as principais forças esperam perdas semelhantes e nenhuma teme ficar em desvantagem. Barbara Geddes encontrou esse padrão na América Latina; Michael Ting e coautores identificaram mecanismo semelhante nos estados americanos.

O Brasil seguiu trajetória pioneira e peculiar. O concurso apareceu na Constituição de 1934, mas sua implantação ganhou impulso sob o Estado Novo, sobretudo com a criação do DASP, em 1938. A experiência autoritária instituiu núcleos burocráticos profissionais. Com a democracia do pós-guerra, esses núcleos sobreviveram, embora a profissionalização tenha avançado de forma desigual. A Constituição de 1988 generalizou o concurso para estados e municípios como regra de ingresso.

O resultado, contudo, não foi a substituição do patrimonialismo pela meritocracia, mas sua acomodação. Consolidaram-se carreiras profissionais e burocracias setoriais —"ilhas meritocráticas", sobretudo no nível federal. Ao mesmo tempo, cargos de comando e decisão nos três Poderes continuaram permeáveis a redes partidárias, familismo e interesses escusos.

Nos estados e municípios, contratações temporárias, excesso de comissionados e outras portas laterais pouco republicanas mantiveram vivo o clientelismo e a corrupção. Essa combinação é a característica central do Estado brasileiro: mérito no acesso à parte expressiva da burocracia, patronagem na disputa pelo seu controle, como mostrei aqui. É ela que sustenta o novo mote do sicário: "A decisão ou sua vida".