Um software de detecção de conteúdo gerado por inteligência artificial visa determinar se algum material, como texto, imagem, vídeo ou áudio, foi gerado utilizando inteligência artificial. Entretanto, no presente momento, softwares com esse objetivo são considerados pouco confiáveis.
Problemas de precisão No presente momento, ferramentas destinadas a detectar conteúdo gerado por inteligência artificial demonstraram pouca confiabilidade. Em um estudo de 2023 conduzido por Weber-Wulff et al., os pesquisadores avaliaram 14 softwares de detecção, incluindo Turnitin e GPTZero, e obtiveram o resultado que todas as ferramentas apresentaram uma precisão inferior a 80%, sendo que apenas cinco acima tiveram um resultado superior 70% de acertos. Os pesquisadores também determinaram que os softwares tendem a apontar mais textos como produzidos por humanos do que como gerados por inteligência artificial, além de que a precisão piora ao parafrasear ou referenciar uma outra obra.
Falsos positivos Na detecção de conteúdo gerado por inteligência artificial, um falso positivo ocorre quando um trabalho produzido por humanos é erroneamente identificado como feito por um software de inteligência artificial. Muitas das ferramentas afirmam ter um nível mínimo de falsos positivos — com o Turnitin, que afirma uma taxa de falsos positivos inferior a 1%. Entretanto, pesquisas mais recentes apontam que as taxas de falsos positivos são muito maiores, como as conduzidas pelo jornal estadunidense The Washington Post, que atestaram taxas muito acima de 50%. Falsos positivos em um ambiente acadêmico frequentemente levam a acusações de má conduta acadêmica, o que pode ter sérias consequências para o histórico de um estudante ou impedir que ele tenha acesso a determinadas oportunidades.
Pessoas neurodivergentes e falantes não nativas de idioma Diferentes estudos conduzido por instituições como a Universidade de Nebraska-Lincoln e a Universidade Stanford atestaram que modelos de detecção por inteligência artificial são propensos a gerar falsos positivos para trabalhos escritos por pessoas cuja primeira língua não é inglês — a pesquisa foi conduzida em inglês — e por pessoas neurodivergentes. Portanto, instituições têm produzido manuais para orientar seus docentes a evitar tais ferramentas com estudantes estrangeiros e neurodiversos (como pessoas autistas, com transtorno do déficit de atenção e hiperatividade, com dislexia).
Cada vez mais, em fóruns online, pesquisas e discussões universitárias, pessoas no espectro autista relatam que foram acusadas de utilizar inteligência artificial sem, de fato, a terem utilizado. Em uma matéria da The Washington Post, Rua Mea Williams, docente na Universidade de Purdue, sofreu a acusação, por parte de um de seus colegas de trabalho, de que seus textos eram produzidos utilizando inteligência artificial. À matéria, Williams afirmou "eu sou apenas autista" e que "as crianças costumavam zombar de mim por falar roboticamente. Essa é uma queixa muito comum entre crianças autistas".
O artigo Preocupações com a IA para os neurodivergentes (em inglês: AI Concerns for the Neurodivergent), publicado pela National Education Defense, uma organização de defesa dos direitos dos estudantes formada por advogados vinculados à firma de advocacia estadunidense Lento Law Firm, afirmou que "indivíduos neurodivergentes são especialmente propensos a serem acusados injustamente de usar inteligência artificial em seus trabalhos. Essas acusações não são inofensivas. Estudantes podem sofrer sanções disciplinares, mesmo com as várias recomendações das próprias empresas para que as suas ferramentas não sejam utilizados como base para tais sanções" e "estudantes neurodivergentes já possuem hoje uma maior probabilidade de abandonar o ensino superior antes de concluir a graduação. Os desafios agora impostos com a inteligência artificial podem agravar ainda mais a taxa de conclusão para alunos com autismo e deficiências semelhantes".
Teste com obras autorais Diferentes obras autorais foram testadas em softwares de detecção de inteligência artificial e erroneamente apontadas como produzidas por algoritmos. Em junho de 2023, por exemplo, a autora Janelle Shane declarou que partes de seu livro You Look Like a Thing and I Love You foram acusadas de terem sido geradas por inteligência artificial.
Também em 2023, a Constituição dos Estados Unidos, escrita em 1787, foi acusada de ter sido produzida por inteligência artificial.
Falsos negativos Um falso negativo é exatamente o oposto de um falso positivo. Ocorre quando o software de detecção falha em identificar que algo produzido com inteligência artificial foi gerado por um algoritmo. Falsos negativos geralmente ocorrem como resultado do processo de humanização de um texto gerado por inteligência artificial — existem, inclusive, softwares de detecção, como o ZeroGPT, com ferramentas destinadas a "fazer com que o texto soe mais humano". Academicamente, falsos negativos são menos preocupantes pois não costumam resultar em acusações ou consequências. A ferramenta Turnitin, por sua vez, afirma ter uma taxa de falsos negativos de 15%.
Detecção de texto A principal alegação que defende o uso de ferramentas de detecção de inteligência artificial é que a mesma serve para prevenir possíveis plágios. Os sistemas buscam detectar a repetição de palavras e processos de alucinação artificial, que é quando uma ferramenta de inteligência artificial insiste que uma informação incorreta é, de fato, correta. Seu uso mais comum atualmente é por professores na correção de trabalhos de estudantes. Após o lançamento do ChatGPT e de outros softwares de inteligência artificial, muitas instituições de ensino emitiram políticas vetando o uso das mesmas por seus estudantes. Outro uso comum de ferramentas de detecção de inteligência artificial é por parte de avaliadores de candidatos a vagas de emprego, visando identificar candidatos que tenham utilizado algoritmos em seus currículos, portifólios, obras ou outros trabalhos.
Entretanto, detectores atuais são considerados pouco confiáveis e costumam rotular incorretamente trabalhos humanos como produzidos por algoritmos, enquanto falham em detectar trabalhos que realmente foram gerados por inteligência artificial. A revista estadunidense MIT Technology Review, vinculada ao Instituto de Tecnologia de Massachusetts, afirmou que as ferramentas "possuem dificuldades em detectar textos gerados pelo ChatGPT que tenham sido reorganizados por humanos e/ou parafraseados". Outro ponto apontado foi que os software costumam discriminar falantes não nativos do idioma que a obra tenha sido produzida — como por exemplo, um texto produzido em inglês por uma pessoa hispanofalante nativa é mais propensa a ser acusada de ter sido produzida por inteligência artificial.
Dois estudantes da Universidade da Califórnia em Davis foram encaminhados ao setor judicial da instituição depois que seus professores acusaram que seus trabalhos haviam sido produzidos por inteligência artificial. Entretanto, após grande cobertura midiática do caso, uma investigação foi aberta, resultando na declaração de inocência de ambos estudantes de quaisquer irregularidades.
Em abril de 2023, a Universidade de Cambridge e instituições membros do Grupo Russell, uma organização que reúne as 24 maiores universidades de investigação intensiva do Reino Unido, acordaram em vetar o uso de ferramentas de detecção de textos gerados por inteligência artificial, como o Turnitin, após expressarem preocupações pela falta de confiabilidade. Seis meses depois, a Universidade do Texas em Austin optou por também vetar o uso da ferramenta.
Em maio de 2023, um professor da Universidade do Texas Oriental A&M enviou os textos de seus estudantes ao ChatGPT e perguntou se o material havia sido escrito por ele; a ferramenta declarou positivamente. Com isso, o docente ameaçou reprovar os estudantes, mesmo o ChatGPT não tendo a finalidade de detectar textos gerados por algoritmos. Entretanto, nenhum dos estudantes acusados foi impedido de se formar, e todos, exceto um aluno que admitiu ter usado o software, foram inocentados das acusações de terem usado o ChatGPT em seus conteúdos.
Em julho de 2023, foi publicado um artigo intitulado "Os detectores GPT são tendenciosos contra escritores não nativos de inglês" (em inglês: GPT detectors are biased against non-native English writers), relatando que as ferramentas de detecção discriminam autores não nativos de inglês. O artigo comparou textos de falantes não nativos de inglês e de estudantes estadunidense em sete ferramentas. Como resultado, as obras escritas pelos não nativos apresentaram uma taxa média de falsos positivos de 61,3%, o que foi considerada alarmante, inclusive por considerar que tais ferramentas funcionam internamente em inglês. Portanto, mesmo ao escrever em seus idiomas nativos, a probabilidade de falso positivo é maior que de obras escritas em inglês por anglófonos.
Um artigo publicado em junho de 2024 pelo jornalista Thomas Germain no site Gizmodo, relatou casos de perdas de empregos de escritores e jornalistas devido a softwares de detecção de inteligência artificial que classificaram erroneamente seus trabalhos como gerados por algoritmos.
Em setembro de 2024, a organização sem fins lucrativos estadunidense Common Sense Media relatou que os detectores de inteligência artificial tinham uma taxa de falsos positivos maior para estudantes negros (20%) quando em comparação com seus pares latinos (10%) e brancos (7%), evidenciando também padrões culturais e normativos que as ferramentas são treinadas.
Para melhorar a confiabilidade da detecção de texto gerados por inteligência artificial, pesquisadores têm estudado técnicas de marca d'água digital. Um artigo de 2023 intitulado "Uma Marca d'água para Grandes Modelos de Linguagem" (em inglês: A Watermark for Large Language Models) defendeu que marcas d'água imperceptíveis em textos gerados por deveriam ser implementados, permitindo com maior precisão que um conteúdo gerado por inteligência artificial seja apontado com mais precisão. A técnica apresentada foi projetada para ser sutil e difícil de detectar para leitores casuais, preservando assim a legibilidade, ao mesmo tempo que fornece um sinal detectável para aqueles que utilizam ferramentas especializadas. No entanto, embora promissora, uma ferramenta como esta enfrenta desafios para se manter robusta sob transformações constantes dos modelos de linguagem, e garantir a compatibilidade entre diferentes plataformas e, também, ser aceita pelas instituições proprietárias das ferramentas geradoras de texto.
Softwares anti-detecção e vulnerabilidades de marcas d'água digitais Existem softwares disponíveis projetados para burlar a detecção de texto por inteligência artificial, visando deixá-lo com mais aparência de que foi escrito por uma pessoa. De fato, algumas ferramentas de detecção de algoritmos já fornecem nativamente opção para "humanizar" o texto.
Um estudo publicado em agosto de 2023 analisou 20 resumos de artigos publicados na revista científica Eye, que foram então parafraseados usando o GPT-4.0. Os resumos parafraseados foram, então, examinados quanto a plágio usando a ferramenta QueText e, quanto a conteúdo gerado por inteligência artificial, usando a ferramenta Originality.AI. Os textos foram então reprocessados por meio de um software adversário chamado Undetectable AI, visando reduzir as pontuações de detecção da IA. O estudo descobriu que a ferramenta de detecção de IA, Originality.AI, identificou o texto gerado pelo GPT-4 com uma precisão média de 91,3%. No entanto, após o reprocessamento pelo Undetectable AI, a precisão de detecção do Originality.ai caiu para uma média de 27,8%.