Capturar fraudes científicas pode ficar muito mais difícil graças à IA

Recurso A IA generativa apresenta desafios interessantes para editores acadêmicos que lidam com fraudes em artigos científicos, pois a tecnologia mostra o potencial de enganar a revisão por pares humanos.

Descreva uma imagem para DALL-E, Stable Diffusion e Midjourney, e eles gerarão uma em segundos. Esses sistemas de conversão de texto em imagem melhoraram rapidamente nos últimos anos e o que inicialmente começou como um protótipo de pesquisa, produzindo ilustrações benignas e maravilhosamente bizarras de rabanetes bebês passeando com cachorros em 2021, desde então se transformou em software comercial, construído por bilhões de empresas do dólar, capazes de gerar imagens cada vez mais realistas.

Esses modelos de IA podem produzir imagens realistas de rostos humanos, objetos e cenas, e parece uma questão de tempo até que eles também criem imagens e dados científicos convincentes. Os modelos de texto para imagem agora são amplamente acessíveis, muito baratos de usar e podem ajudar cientistas duvidosos a forjar resultados e publicar pesquisas falsas com mais facilidade.

A manipulação de imagens já é uma das principais preocupações dos editores acadêmicos, pois é a forma mais comum de má conduta científica ultimamente. Os autores podem usar todos os tipos de truques, como inverter, girar ou recortar partes da mesma imagem para dados falsos. Os editores são levados a acreditar que todos os resultados apresentados são reais e publicarão seu trabalho.

Muitos editores agora estão recorrendo ao software de IA na tentativa de detectar sinais de duplicação de imagens durante o processo de revisão. Na maioria dos casos, as imagens foram duplicadas por engano por cientistas que confundiram seus dados, mas às vezes são usadas para fraudes flagrantes.

Mas assim que os editores começam a controlar a duplicação de imagens, outra ameaça está surgindo. Alguns pesquisadores podem ficar tentados a usar modelos generativos de IA para criar dados falsos. Na verdade, há evidências que sugerem que falsos cientistas já estão fazendo isso.

Imagens feitas por IA vistas em jornais?

Em 2019, a DARPA lançou seu programa Semantic Forensics (SemaFor), financiando pesquisadores que desenvolvem ferramentas forenses capazes de detectar mídia feita por IA, para combater a desinformação.

Um porta-voz da agência de pesquisa de defesa do Tio Sam confirmou que detectou imagens médicas falsas publicadas em artigos científicos reais que parecem ser gerados usando IA. Antes dos modelos de texto para imagem, as redes adversárias generativas eram populares. A DARPA percebeu que esses modelos, mais conhecidos por sua capacidade de criar deepfakes, também poderiam forjar imagens de exames médicos, células ou outros tipos de imagens frequentemente encontrados em estudos biomédicos.

“O cenário de ameaças está se movendo muito rapidamente”, disse William Corvey, gerente de programa da SemaFor. O registro. “A tecnologia está se tornando onipresente para propósitos benignos.” Corvey disse que a agência teve algum sucesso desenvolvendo software capaz de detectar imagens feitas por GAN, e as ferramentas ainda estão em desenvolvimento.

O cenário de ameaças está se movendo rapidamente

“Temos resultados que sugerem que você pode detectar 'irmãos ou primos distantes' do mecanismo generativo que você aprendeu a detectar anteriormente, independentemente do conteúdo das imagens geradas. A análise do SemaFor analisa uma variedade de atribuições e detalhes associados à mídia manipulada , tudo, desde metadados, anomalias estatísticas até representações mais visuais”, disse ele.

Alguns analistas de imagem examinando dados em artigos científicos também encontraram o que parecem ser imagens geradas por GAN. Uma GAN sendo uma rede adversária generativa, um tipo de sistema de aprendizado de máquina que pode gerar escrita, música, imagens e muito mais.

Por exemplo, Jennifer Byrne, professora de oncologia molecular na Universidade de Sydney, e Jana Christopher, analista de integridade de imagem da editora de jornais EMBO Press, encontraram um estranho conjunto de imagens que apareceram em 17 estudos relacionados à bioquímica.

As imagens mostravam uma série de bandas comumente conhecidas como western blots, que indicam a presença de proteínas específicas em uma amostra, que curiosamente pareciam ter o mesmo fundo. Isso não deveria acontecer.

Exemplos de fundos repetidos em imagens de western blot, destacados pelos contornos vermelhos e verdes… Fonte: Byrne, Christopher 2020

Em 2020, Byrne e Christopher chegaram à conclusão de que as imagens de aparência suspeita provavelmente foram produzidas como parte de uma operação de fábrica de papel: um esforço para produzir em massa artigos sobre estudos bioquímicos usando dados falsificados e fazer com que fossem revisados ​​e publicados por pares. Tal manobra pode ser feita para, por exemplo, beneficiar acadêmicos que são compensados ​​com base na produção de artigos aceitos ou para ajudar um departamento a atingir uma cota de relatórios publicados.

“Os borrões no exemplo mostrado em nosso artigo são provavelmente gerados por computador”, disse Christopher. O registro.

Costumo encontrar imagens de aparência falsa, predominantemente western blots, mas cada vez mais também imagens de microscopia

“Na triagem de documentos pré e pós-publicação, muitas vezes encontro imagens de aparência falsa, predominantemente western blots, mas cada vez mais também imagens de microscopia. Estou ciente de que muitas delas provavelmente são geradas usando GANs.”

Elisabeth Bik, uma detetive freelancer de imagens, também costuma dizer quando as imagens foram manipuladas. Ela se debruça sobre manuscritos de artigos científicos, procurando imagens duplicadas e sinaliza essas questões para os editores de periódicos examinarem mais a fundo. Mas é mais difícil combater imagens falsas quando elas foram geradas de forma abrangente por um algoritmo.

Ela apontou que, embora o fundo repetido nas imagens destacadas no estudo de Byrne e Christopher seja um sinal revelador de falsificação, os próprios western blots são únicos. O software de visão computacional que Bik usa para escanear papéis e identificar fraudes de imagem acharia difícil sinalizar essas bandas porque não há duplicações dos borrões reais.

“Nunca encontraremos uma sobreposição. Eles são todos, acredito, feitos artificialmente. Como exatamente, não tenho certeza”, disse ela O registro.

É mais fácil gerar imagens falsas com os mais recentes modelos generativos de IA

As GANs foram amplamente substituídas por modelos de difusão. Esses sistemas geram imagens exclusivas e alimentam os softwares de texto para imagem atuais, incluindo DALL-E, Stable Diffusion e Midjourney. Eles aprendem a mapear a representação visual de objetos e conceitos para a linguagem natural e podem diminuir significativamente a barreira para a trapaça acadêmica.

Os cientistas podem apenas descrever que tipo de dados falsos desejam gerar, e essas ferramentas farão isso por eles. No momento, no entanto, eles ainda não conseguem criar imagens científicas de aparência realista. Às vezes, as ferramentas produzem aglomerados de células que parecem convincentes à primeira vista, mas falham miseravelmente quando se trata de western blots.

Este é o tipo de coisa que esses programas de IA podem gerar:

William Gibson – um médico-cientista e companheiro de oncologia médica, não o autor famoso – tem mais exemplos aqui, incluindo como os modelos de hoje lutam com o conceito de western blot.

A tecnologia só está melhorando, no entanto, à medida que os desenvolvedores treinam modelos maiores com mais dados.

David Bimler, outro especialista em reconhecer a manipulação de imagens em artigos científicos, mais conhecido como Smut Clyde, nos disse: “As fábricas de papel ilustrarão seus produtos usando qualquer método que seja mais barato e rápido, contando com os pontos fracos do processo de revisão por pares”.

“Eles poderiam simplesmente copiar [western blots] de papéis mais antigos, mas mesmo isso envolve trabalho para pesquisar em papéis antigos. No momento, suspeito, usar uma GAN ainda exige algum esforço. Embora isso vá mudar”, acrescentou.

A DARPA está agora procurando expandir seu programa SemaFor para estudar sistemas de conversão de texto em imagem. “Esses tipos de modelos são bastante novos e, embora estejam no escopo, não fazem parte de nosso trabalho atual no SemaFor”, disse Corvey.

“No entanto, os avaliadores da SemaFor provavelmente examinarão esses modelos durante a próxima fase de avaliação do programa, começando no outono de 2023.”

Enquanto isso, a qualidade da pesquisa científica diminuirá se os editores acadêmicos não conseguirem encontrar maneiras de detectar imagens falsas geradas por IA em artigos. Na melhor das hipóteses, essa forma de fraude acadêmica será limitada apenas a esquemas de fábricas de papel que, de qualquer forma, não recebem muita atenção. Na pior das hipóteses, isso afetará até mesmo os periódicos mais respeitáveis ​​e os cientistas com boas intenções desperdiçarão tempo e dinheiro perseguindo falsas ideias que acreditam ser verdadeiras. ®