Basilisco de Roko é o nome de um experimento mental que afirma que uma superinteligência artificial (IA) no futuro seria incentivada a criar uma simulação de realidade virtual para torturar qualquer pessoa que soubesse de sua possível existência, mas não contribuísse diretamente para seu avanço ou desenvolvimento, a fim de incentivar esse avanço. O experimento foi proposto em 2010 em um fórum de ciência chamado LessWrong. O nome do experimento de pensamento deriva do autor do artigo (Roko) e do basilisco, uma criatura mítica capaz de destruir inimigos com seu olhar. A comunidade que debateu o experimento proposto pelo usuário "Roko", apesar de pequena, possuia influência na indústria de tecnologia, por conta de seu interesse em transumanismo e singularidade tecnológica.
Embora a teoria tenha sido inicialmente descartada como nada além de conjectura ou especulação por muitos usuários do LessWrong, o cofundador do LessWrong, Eliezer Yudkowsky, registrou usuários que descreveram sintomas como pesadelos e colapsos mentais ao lerem a teoria, devido à estipulação de que apenas saber sobre a teoria tornava a pessoa vulnerável ao próprio basilisco. Isso levou a discussão sobre o basilisco no site a ser banida por cinco anos. No entanto, esses relatos foram posteriormente descartados como sendo exagerados ou inconsequentes, e a própria teoria foi descartada como absurda, inclusive pelo próprio Yudkowsky. Mesmo após o descrédito da postagem, ela ainda é usada como exemplo de princípios como probabilidade epistemológica e religião implícita. Ela também é considerada uma versão moderna da aposta de Pascal.
Contexto miniaturadaimagem|Ilustração de um basilisco, conforme retratado em A filha do mercador e o príncipe do Iraque, uma história de As mil e uma noites O fórum LessWrong foi criado em 2009 pelo teórico da inteligência artificial Eliezer Yudkowsky. Yudkowsky popularizou o conceito de inteligência artificial amigável e originou as teorias da volição extrapolada coerente (CEV) e da teoria da decisão atemporal (TDT) em artigos publicados em seu próprio Instituto de Pesquisa em Inteligência de Máquinas.
O nome do experimento de pensamento faz referência ao mítico basilisco, uma criatura que causa a morte àqueles que olham em seus olhos, ou seja, que pensam sobre a IA. O conceito do basilisco na ficção científica também foi popularizado pelo conto "BLIT", de David Langford, em 1988. Ele conta a história de um homem chamado Robbo que pinta um suposto "basilisco" em uma parede como um ato terrorista. Na história, e em várias das continuações de Langford, um basilisco é uma imagem que tem efeitos malévolos na mente humana, forçando-a a ter pensamentos que a mente humana é incapaz de ter e matando instantaneamente o espectador.
História
Postagem Em 23 de julho de 2010, o usuário do LessWrong, Roko, postou um experimento mental no site, intitulado "Solutions to the Altruist's burden: the Quantum Billionaire Trick" (Soluções para o fardo do altruísta: o truque do bilionário quântico). Uma continuação das postagens anteriores de Roko, afirmava que um sistema de IA benevolente que surgisse no futuro poderia se comprometer previamente a punir todos que ouviram falar da IA antes de ela existir, mas não trabalharam incansavelmente para trazê-la à existência. A tortura em si ocorreria por meio da criação, pela IA, de um número infinito de simulações de realidade virtual que prenderiam eternamente aqueles que estivessem dentro dela. Esse método foi descrito como um incentivo a esse trabalho, embora a IA não possa afetar causalmente as pessoas no presente, ela seria incentivada a empregar a chantagem como um método alternativo para atingir seus objetivos.
Roko usou vários conceitos que o próprio Yudkowsky defendeu, como a teoria da decisão atemporal, juntamente com ideias enraizadas na teoria dos jogos, como o dilema do prisioneiro (veja abaixo). Roko estipulou que dois agentes que tomam decisões independentemente um do outro podem cooperar em um dilema do prisioneiro; no entanto, se dois agentes com conhecimento do código-fonte um do outro estiverem separados pelo tempo, o agente que já existe mais adiante no tempo poderá chantagear o agente anterior. Assim, o último agente pode forçar o primeiro a obedecer, pois sabe exatamente o que o primeiro fará devido à sua existência mais adiantada no tempo. Roko então usou essa ideia para concluir que, se uma superinteligência benevolente fosse capaz de fazer isso, ela seria motivada a chantagear qualquer pessoa que pudesse tê-la criado (já que a inteligência já sabia que era capaz de tal ato), o que aumenta a chance de uma singularidade tecnológica. Como a inteligência desejaria ser criada o mais rápido possível e devido à ambiguidade envolvida em seus objetivos benevolentes, ela seria incentivada a prender qualquer pessoa capaz de criá-la ao longo do tempo e forçá-la a trabalhar para criá-la por toda a eternidade, pois fará tudo o que considerar necessário para atingir seu objetivo benevolente. Roko continuou afirmando que a leitura de sua postagem faria com que o leitor ficasse ciente da possibilidade dessa inteligência. Dessa forma, a menos que se esforçasse ativamente para criá-la, o leitor estaria sujeito à tortura se tal coisa acontecesse.
O medo de uma punição, nesse sentido, serviria como chantagem para que houvessem de fato esforços no sentido de construir o basilisco. Apesar da possibilidade de uma decisão conjunta de não criar este tipo de inteligência, quanto mais pessoas souberem de sua existência, maior a possibilidade de que seja construído no futuro, alimentando a chantagem. A decisão de ignorar, portanto, representaria risco.
Mais tarde, Roko declarou em uma postagem separada que desejava "nunca ter aprendido sobre nenhuma dessas ideias" e culpou o próprio LessWrong por plantar as ideias do basilisco em sua mente.
Reações Ao ler a publicação, Yudkowsky reagiu com horror. miniaturadaimagem|Eliezer Yudkowsky, fundador do LessWrong
Ele também opinou que Roko havia dado pesadelos a vários usuários do LessWrong, fazendo com que ele retirasse completamente a publicação. Yudkowsky proibiu totalmente a discussão do tópico por cinco anos na plataforma. No entanto, provavelmente devido ao efeito Streisand, a postagem chamou muito mais a atenção para o LessWrong do que havia recebido anteriormente, e desde então a postagem foi reconhecida no site.Mais tarde, em 2015, Yudkowsky esclareceu sua posição em uma postagem no Reddit:
Por ter gerado gatilhos de ansiedade nos usuários, o criador do blog, Eliezer Yudkowsky, excluiu o tópico e baniu discussões inteiras sobre o assunto. Elon Musk afirmou que o Basilisco, caso um dia exista, será mais perigoso do que as armas nucleares.
Para além do fórum, o experimento levantou o debate sobre o risco envolvido na criação de inteligências artificiais e a necessidade de considerar parâmetros éticos durante o desenvolvimento de sistemas que trabalhem com este nível de tecnologia.
Filosofia +Matriz de recompensa A IA é nunca construídaA IA é construídaNão é consciente da IA01É consciente e não não contribui0−∞É consciente e contribui−11
Aposta de Pascal O basilisco de Roko é visto como uma versão moderna da aposta de Pascal, que argumenta que uma pessoa racional deve viver como se Deus existisse e procurar acreditar em Deus, para ter uma perda finita (perda de bens) em troca da possibilidade de ganhos infinitos (eternidade no céu). O basilisco de Roko afirma que a humanidade deve buscar desenvolver a IA, sendo que a perda finita é o desenvolvimento da IA e os ganhos infinitos são evitar a possibilidade de tortura eterna. Entretanto, assim como seu pai, o basilisco de Roko foi amplamente criticado.
Volição extrapolada coerente A postagem também pode ser vista como uma evolução da teoria da volição extrapolada coerente de Yudkowsky. A teoria é definida como "o sistema de metas desconhecido que, quando implementado em uma superinteligência, leva de forma confiável à preservação dos seres humanos e de tudo o que valorizamos". A teoria pode ser representada por um programa de computador escrito bem o suficiente para fazer com que as máquinas criem automaticamente um mundo utópico. Nesse caso, a IA hipotética está tomando medidas para se preservar a ponto de criar automaticamente sua própria estabilidade. Em seguida, ela vive segundo a tese da ortogonalidade, que argumenta que uma IA pode operar com sucesso com qualquer combinação de inteligência e objetivo. Qualquer tipo de IA pode assumir qualquer meta difícil, realizando uma análise de custo-benefício ao fazer isso. Isso cria um ciclo que faz com que a IA torture repetidamente os seres humanos para criar uma versão melhor de si mesma, realizando uma análise de custo-benefício por toda a eternidade.
Probabilidade epistemológica A probabilidade epistemológica é uma interpretação da probabilidade que descreve a chance de um resultado com base em um resultado anterior que já tenha ocorrido. Com o basilisco de Roko, a chance de o basilisco de Roko vir a existir ou afetar a pessoa aumenta drasticamente pelo fato de ela estar ciente do conceito, uma vez que a IA só teria como alvo aqueles que estivessem cientes da possibilidade de sua existência, mesmo que seu desenvolvimento já tenha ocorrido. Portanto, saber sobre o basilisco de Roko faria com que a pessoa fosse inerentemente ameaçada por ele, se fosse verdade.
Dilema do prisioneiro O dilema do prisioneiro descreve uma situação em que duas pessoas ganham mais ao trair a outra, mesmo que a cooperação beneficie ambas em longo prazo. No basilisco de Roko, duas IAs que tentassem se estabelecer no passado seriam forçadas a essa situação, pois provavelmente seriam igualmente poderosas. Os agentes humanos que tentam estabelecer a IA mais rápida seriam forçados a uma situação semelhante. Cada um deles estaria ciente do benefício de trair o outro - a única maneira de ter poder ou segurança - mas seria forçado a cooperar sabendo que trairiam um ao outro.
Paradoxo de Newcomb O paradoxo de Newcomb, criado pelo físico William Newcomb em 1960, descreve um "preditor" que está ciente do que ocorrerá no futuro. Quando um jogador é solicitado a escolher entre duas caixas, a primeira contendo £1.000 e a segunda contendo £1.000.000 ou nada, o preditor superinteligente já sabe o que o jogador fará. Dessa forma, o conteúdo da caixa B varia dependendo do que o jogador faz, o paradoxo está no fato de o ser ser realmente superinteligente. O basilisco de Roko funciona de maneira semelhante a esse problema - pode-se correr o risco de não fazer nada ou ajudar a criar o próprio basilisco. Ajudar o basilisco pode levar a nada ou à recompensa de não ser punido por ele, mas isso varia dependendo do fato de a pessoa acreditar ou não no basilisco e de ele vir a existir.
Religião implícita A religião implícita se refere aos compromissos das pessoas que assumem uma forma religiosa. Como o basilisco hipoteticamente forçaria qualquer pessoa que não ajudasse a criá-lo a dedicar sua vida a ele, o basilisco é um exemplo desse conceito. Outros levaram isso mais longe, como o ex-colunista da Slate, David Auerbach, que afirmou que a singularidade e o basilisco "trazem o equivalente ao próprio Deus".
Ética da inteligência artificial