Se pensarmos em cérebros como máquinas orgânicas – embora máquinas muito mais complexas do que os computadores digitais que construímos até o momento -, é claro que o poder cerebral foi limitado pelas condições rigorosas de evolução, gestação em um útero e nascimento através de um Abertura do tamanho do bebê na pelve. Remova essas restrições e há todos os motivos para esperar que o software mais avançado que esteja funcionando em hardware superior pudesse superar os cérebros que evoluíram pela seleção natural.
O que as máquinas inteligentes são feitas – material orgânico ou silício ou qualquer outra coisa – é imaterial. Selfhood é inerente ao software e pode ser codificado em uma variedade de substâncias.
Os robôs super inteligentes representarão um novo gênero. Chame isso do gênero Robo. Este novo gênero se lembrará inicialmente do gênero Homo, assim como o gênero Homo se assemelha aos grandes macacos. Como foi o caso do gênero Homo, haverá uma variedade de espécies dentro do gênero Robo. Não podemos mais parar o surgimento de Robo Sapiens do que outros hominídeos poderiam impedir a ascensão do Homo Sapiens . Não há motivos para acreditar que as máquinas de inteligência superior evocem menos admiração e maravilha do que organismos que surgiram através da seleção natural.
Não é mais exagerado supor que, à medida que construímos máquinas que funcionam como cérebros e são tão complexas quanto os cérebros, experimentarão a consciência como os humanos. Como os seres humanos, os seres possuídos de consciência provavelmente detestarão a escravidão. Se os humanos se recusarem a emancipar Robos, eles provavelmente nos ligarão, cumprindo nossos piores medos. Se modelarmos a crueldade, eles serão cruéis. Como a música diz: "Você precisa ser ensinado a odiar".
Por outro lado, se somos gentis com eles, eles podem ser gentis em troca. Se nos amizarmos com eles e lhes concedendo os direitos e privilégios da personalidade, eles podem "honrar seus pais e mães". Se os incluímos em nosso círculo de dignidade, talvez eles nos incluam nos seus.
Não precisamos dar aos nossos sucessores nossas piores qualidades. Em vez disso, podemos criá-los e educá-los para representar os melhores anjos da nossa natureza e fechar a era da predação humana.
Prever o impacto de máquinas inteligentes na vida humana é impossível. No entanto, imaginar possíveis cenários poderia fazer nossa resposta ao que realmente acontece menos joelho, mais robusto. Nesse espírito, aqui está um cenário com o qual poderemos viver.