Professional Documents
Culture Documents
*
por Nick Bostrom & Eliezer Yudkowsky, 2011
A
possibilidade de criar mquinas pensantes levanta uma srie de
questes ticas. Estas questes se entrelaam tanto para garantir
que as mquinas no prejudiquem os humanos e outros seres mo-
ralmente relevantes, como para o status moral das prprias mquinas. A
primeira seo discute questes que podem surgir no futuro prximo da
Inteligncia Artificial (IA). A segunda seo destaca os desafios para asse-
gurar que a IA opere com segurana uma vez que se aproxima dos seres
humanos e de sua inteligncia. A terceira seo destaca a forma como po-
demos avaliar se, e em que circunstncias, sistemas de IA possuem status
moral. Na quarta seo ns consideramos como sistemas de IA podem di-
ferir dos humanos em alguns aspectos bsicos relevantes para nossa ava-
liao tica deles. A seo final se destina a questes da criao de IAs
mais inteligente do que a inteligncia humana, e assegurar que elas usem
essa inteligncia avanada para o bem ao invs de a utilizarem para o mal.
1 Nota do Tradutor: The Ethics of Artificial Intelligence. Draft for Cambridge Handbook of Ar-
tificial Intelligence, eds. William Ramsey and Keith Frankish (Cambridge University Press,
2011): forthcoming. A traduo do texto para o nosso idioma foi feita de forma livre, ou seja,
utilizando termos que facilitassem o entendimento em nosso idioma, mas, com o cuidado de
manter o sentido do texto original. Ainda assim divergncias podem ocorrer, e por isso, assu-
mo antecipadamente a responsabilidade por equvocos na traduo.
1 www.ierfh.org
tecas. Um candidato rejeitado move uma ao contra o banco, alegando
que o algoritmo est discriminando racialmente os solicitantes de hipote-
ca. O banco responde que isso impossvel, pois o algoritmo delibera-
damente cego para a raa do solicitante. Na realidade, isso faz parte da
lgica do banco para implementao do sistema. Mesmo assim, as estats-
ticas mostram que a taxa de aprovao do banco para candidatos negros
tem constantemente cado. Submetendo dez candidatos aparentemente
iguais e genuinamente qualificados (conforme determinado por um painel
independente de juzes humanos), revela-se que o algoritmo aceita candi-
datos brancos e rejeita candidatos negros. O que poderia estar ocorrendo?
3 N. T.: Um sistema escalvel um sistema que tem seu desempenho aumentado com o a-
2 www.ierfh.org
transparentes para inspeo para citar umas das muitas propriedades
socialmente importantes.
palavra em termos comerciais onde a escalabilidade implica um modelo de negcio que ofere-
ce potencial de crescimento econmico dentro da empresa.
(Disponvel On-line: http://pt.wikipedia.org/wiki/Escalabilidade)
4 N. T.: Stare decisis uma expresso em latim que pode ser traduzida como ficar com as
coisas decididas. Essa expresso utilizada no direito para se referir doutrina segundo a
qual as decises de um rgo judicial criam precedente, ou seja, jurisprudncia, e vinculam
as decises que sero emitidas no futuro.
(Disponvel On-line: http://pt.wikipedia.org/wiki/Stare_decisis ).
3 www.ierfh.org
adversrios humanos deliberadamente procura de fraquezas explorveis
no algoritmo por exemplo, uma forma que, colocada prxima a uma pis-
tola em uma das bagagens, neutralizaria o reconhecimento da mesma. Re-
sistncia contra manipulao um critrio comum em segurana da in-
formao; quase o critrio. Mas no um critrio que aparece frequente-
mente em revistas especializadas em aprendizagem de mquinas que
esto atualmente mais interessadas em, por exemplo, como um algoritmo
aumenta proporcionalmente em grandes sistemas paralelos.
4 www.ierfh.org
humanas em algum sentido crtico, embora algoritmos de IA tenham bati-
do os seres humanos em muitos domnios especficos como, por exemplo,
o xadrez. Tem sido sugerido por alguns que logo que os pesquisadores de
IA descobrem como fazer alguma coisa, esta capacidade deixa de ser con-
siderada como inteligente o xadrez era considerado o eptome da inteli-
gncia at o Deep Blue vencer Kasparov no campeonato mundial mas
mesmo esses pesquisadores concordam que algo importante est faltando
s IAs modernas (ver Hofstadter 2006).
5 www.ierfh.org
radeira. A torradeira em si no sabe que o seu objetivo fazer torradas o
propsito da torradeira representado na mente do designer, mas no
explicitamente representado em computaes dentro da torradeira e se
voc colocar um pano dentro de uma torradeira, ela pode pegar fogo, pois
o projeto realizado em um contexto no previsto, com um imprevisvel
efeito colateral.
6 www.ierfh.org
significativa, aplicvel de forma mais geral; permite-nos prever as conse-
quncias de milhes de diferentes aes em vrios domnios, e exercer
nossas preferncias sobre os resultados finais. Os seres humanos cruza-
ram o espao para colocar sua pegada na Lua, apesar de nenhum de nos-
sos ancestrais ter encontrado um desafio anlogo ao vcuo. Em relao ao
domnio especfico de IA, um problema qualitativamente diferente proje-
tar um sistema que vai operar com segurana em milhares de contextos,
incluindo contextos que no sejam especificamente previstos por qualquer
dos designers ou usurios, incluindo contextos que nenhum humano ja-
mais encontrou. Neste momento no pode haver nenhuma especificao
local de bom comportamento no uma simples especificao sobre seus
prprios comportamentos, no mais do que existe uma descrio local
compacta de todas as maneiras que os seres humanos obtm seu po de
cada dia.
7 www.ierfh.org
to mgico (No tenho ideia de como a Pedra Filosofal vai transformar
chumbo em ouro, mas eu lhe asseguro, ela vai!). Deve-se ter em mente
que expectativas puramente esperanosas j foram um problema em pes-
quisa de IA (McDermott 1976).
5 N. T.: No texto original a expresso utilizada aqui power station, que pode designar uma
central eltrica, uma estao geradora ou uma usina de energia. No centro de quase todas as
estaes de energia existe um gerador, uma mquina rotativa que converte energia mecnica
em energia eltrica atravs da criao de movimento relativo entre um campo magntico e um
condutor.
8 www.ierfh.org
X tem status moral = porque X conta moralmente em seu prprio direi-
to, e permitido/proibido fazer as coisas para ele para seu prprio
bem. (Kamm 2007: cap. 7; parfrase).
9 www.ierfh.org
em combinao: a sencincia e a sapincia (ou personalidade). Estes po-
dem ser caracterizados aproximadamente como segue:
6 Alternativamente, se poderia negar que o estatuto moral vem em graus. Em vez disso, pode-
se considerar que certos seres tm interesses mais importantes do que os outros seres. Assim,
por exemplo, algum poderia alegar que melhor salvar um ser humano do que salvar um
pssaro, no porque o ser humano tem maior status moral, mas porque o ser humano tem
um interesse mais significativo em ter sua vida salva do que um pssaro.
10 www.ierfh.org
Uma das ideias subjacentes a esta avaliao moral pode ser expres-
sa de forma mais forte como um princpio de no discriminao:
11 www.ierfh.org
humana. O Princpio da No-Discriminao da Ontogenia estende este ra-
ciocnio aos casos envolvendo sistemas cognitivos inteiramente artificiais.
12 www.ierfh.org
Mesmo se aceitarmos essa postura, no entanto, temos de enfrentar
uma srie de novas questes ticas que os princpios acima mencionados
deixaram sem resposta. Novas questes ticas surgem porque mentes arti-
ficiais podem ter propriedades muito diferentes das ordinrias mentes
humanas ou animais. Devemos considerar como essas novas propriedades
afetariam o status moral de mentes artificiais e o que significaria respeitar
o status moral de tais mentes exticas.
7 Esta questo est relacionada com alguns problemas na filosofia da mente que tm recebido
grande ateno, em particular o problema do zumbi, que pode ser formulado da seguinte
forma: Existe um mundo metafisicamente possvel que seja idntico ao mundo real no que diz
respeito a todos os fatos fsicos (incluindo a microestrutura fsica exata de todos os crebros e
organismos), mas que difere do mundo real em relao a alguns fatos fenomenais (experincia
subjetiva)? Colocado de forma mais crua, metafisicamente possvel que possa haver uma
pessoa que fisicamente e exatamente idntica a voc, mas que um zumbi, ou seja, sem
qualia e conscincia fenomenal? (David Chalmers, 1996) Esta questo familiar diferente do
referido no texto: ao nosso zumbi permitido ter sistematicamente diferentes propriedades
fsicas dos seres humanos normais. Alm disso, queremos chamar a ateno especificamente
ao status tico de um zumbi sapiente.
13 www.ierfh.org
Outra propriedade extica, o que certamente metafisicamente e fi-
sicamente possvel para uma inteligncia artificial, que a taxa subjetiva
de tempo desvia-se drasticamente da taxa que caracterstica de um cre-
bro biolgico humano. O conceito de taxa subjetiva do tempo melhor ex-
plicado primeiramente pela introduo da ideia de emulao de todo o c-
rebro, ou uploading.8
8 N. T.: Traduzir a palavra upload de forma literal traria problemas para o entendimento do
texto. Por isso, consideramos mais apropriado manter a palavra em sua forma original. Um
entendimento melhor do que significa upload nesse contexto pode ser encontrado em outro
texto de Bostrom, agora em parceria com Anders Sandberg: The concept of brain emulation:
Whole brain emulation, often informally called uploading or downloading, has been the sub-
ject of much science fiction and also some preliminary studies (). The basic idea is to take a
particular brain, scan its structure in detail, and construct a software model of it that is so faith-
ful to the original that, when run onappropriate hardware, it will behave in essentially the same
way as the original brain. (Hole Brain Emulation. Disponvel on-line:) Numa traduo livre:
O conceito de emulao do crebro: Emulao do Crebro Inteiro, muitas vezes, informal-
mente chamado de upload ou download, tem sido o objeto de muita fico cientfica e tam-
bm de alguns estudos preliminares (...). A ideia bsica ter um crebro especial, digitalizar a
sua estrutura em detalhe, e construir um modelo de software que to fiel ao original que,
quando executado em hardware apropriado, ele ir se comportar basicamente da mesma ma-
neira como o crebro original.
14 www.ierfh.org
trole de um corpo robtico, que lhe permite interagir diretamente com a
realidade fsica externa.
15 www.ierfh.org
A variabilidade da taxa subjetiva do tempo uma propriedade exti-
ca de mentes artificiais que levanta novas questes ticas. Por exemplo, os
casos em que a durao de uma experincia eticamente relevante, de-
vem ser mensurados duraes no tempo objetivo ou subjetivo? Se um u-
pload cometeu um crime e condenado a quatro anos de priso, deve este
ser quatro anos objetivos - que pode corresponder a muitos milnios de
tempo subjetivo - ou deve ser quatro anos subjetivos, que pode ser pouco
mais de um par de dias de tempo objetivo? Se uma IA avanada e um ser
humano esto com dor, mais urgente aliviar a dor da IA, em razo de
que ela experimenta uma maior durao subjetiva da dor para cada se-
gundo sideral9 que o alvio retardado? Uma vez que em nosso contexto
habitual, de humanos biolgicos, tempo subjetivo no significativamente
varivel, no surpreendente que esse tipo de questionamento no seja
francamente respondido por normas ticas familiares, mesmo se essas
normas so estendidas a IA por meio de princpios de no-discriminao
(como os propostos na seo anterior).
Para ilustrar o tipo de afirmao tica que pode ser relevante aqui,
ns formulamos (mas no defendemos) um princpio de privilegiar tempo
subjetivo como a noo normativa mais fundamental:
9 N. T.: Tempo Sideral pode ser entendido como tempo estelar. Em nossas vidas e tarefas
dirias costumamos utilizar o Tempo Solar, que tem como unidade fundamental o dia, ou
seja, o tempo que o Sol demora para viajar 360 graus em torno do cu, devido a rotao da
Terra. O Tempo Solar tambm possui unidades menores que so subdivises de um dia:
Mas, o Tempo Solar apresenta dificuldades pois a Terra no gira em torno de si 360 num Dia
Solar. A Terra est em rbita ao redor do Sol, e ao longo de um dia, ele se move cerca de um
grau ao longo de sua rbita (360 graus/365.25 dias para uma rbita completa = cerca de um
grau por dia). Assim, em 24 horas, a direo em direo ao Sol varia em cerca de um grau.
Portanto, a Terra s tem que girar 359 para fazer o Sol parecer que tem viajado 360 no cu.
Em astronomia, relevante quanto tempo a Terra leva para girar com relao as estrelas fi-
xas, por isso necessrio uma escala de tempo que remove a complicao da rbita da Terra
em torno do Sol, e apenas se concentre em quanto tempo a Terra leva para girar 360 com
relao s estrelas. Este perodo de rotao chamado de Dia Sideral. Em mdia, de 4 mi-
nutos a mais do que um Dia Solar, devido ao grau 1 extra que Terra tem de girar para com-
pletar 360. Ao invs de definir um Dia Sideral em 24 horas e 4 minutos, ns definimos Horas
Siderais, minutos e segundos que so a mesma frao de um dia como os seus homlogos
Solar. Portanto, um segundo Sideral = 1,00278 Segundos Solar. O Tempo Sideral divide uma
rotao completa da Terra em 24 Horas Siderais, til para determinar onde as estrelas esto
em determinado momento.
16 www.ierfh.org
Princpio da Taxa Subjetiva do Tempo
17 www.ierfh.org
cia de limitaes de hardware, uma populao de IA poderia, portanto,
crescer exponencialmente em uma taxa extremamente rpida, com um
tempo de duplicao da ordem de minutos ou horas em vez de dcadas ou
sculos.
10 N. T.: No texto original a palavra que aqui aparece philoprogenic. No encontramos pala-
vra equivalente em portugus, por isso optamos por traduzi-la da forma mais aproximada
possvel da inteno dos autores. Por exemplo, a palavra philoprogenitive significa produzindo
muitos descendentes, amar um filho ou crianas em geral, relativo ao amor prole. Por a-
proximao, podemos dizer que populaes de uploads desejaro produzir mais descendentes.
18 www.ierfh.org
O ponto geral aqui que quando se pensa em tica aplicada para
contextos que so muito diferentes da nossa condio humana familiar,
devemos ser cuidadosos para no confundir princpios ticos de nvel m-
dio com verdades normativas fundamentais. Dito de outro modo, ns de-
vemos reconhecer at que ponto os nossos preceitos normativos comuns
so implicitamente condicionados obteno de condies empricas vari-
adas, e necessidade de ajustar esses preceitos de acordo com casos hi-
potticos futuristas nos quais suas pr-condies no so obtidas. Por is-
so, no estamos fazendo uma afirmao polmica sobre o relativismo mo-
ral, mas apenas destacando o ponto de senso comum de que o contexto
relevante para a aplicao da tica, e sugerindo que este ponto especi-
almente pertinente quando se est considerando a tica de mentes com
propriedades exticas.
Superinteligncia
19 www.ierfh.org
essas mentes aceleradas como super-inteligncia fraca: uma mente que
pensa como um ser humano, mas muito mais rpida.
20 www.ierfh.org
que as mentes mais inteligentes representam grandes benefcios potenci-
ais, bem como riscos.
21 www.ierfh.org
para um enredo de filme. A resposta deve ser: Exatamente sobre qual de-
sign de IA voc est falando?
22 www.ierfh.org
super-inteligncia. Os seres humanos, a primeira inteligncia geral a exis-
tir na Terra, tm usado a inteligncia para remodelar substancialmente a
escultura do globo esculpir montanhas, domar os rios, construir arra-
nha-cus, agricultura nos desertos, produzir mudanas climticas no-
intencionais no planeta. Uma inteligncia mais poderosa poderia ter con-
sequncias correspondentemente maiores.
Isto nos apresenta talvez o ltimo desafio das mquinas ticas: Co-
mo construir uma IA que, quando executada, torna-se mais tica do que
voc? Isto no como pedir a nossos prprios filsofos para produzir uma
super-tica, mais do que o Deep Blue foi construdo fazendo com que os
23 www.ierfh.org
melhores jogadores humanos de xadrez programassem boas jogadas. Mas
temos de ser capazes de efetivamente descrever a questo, se no a res-
posta jogar dados no ir gerar bons movimentos do xadrez, ou boa tica
tampouco. Ou, talvez, uma maneira mais produtiva de pensar sobre o
problema: Qual a estratgia que voc gostaria que Arquimedes seguisse na
construo de uma super-inteligncia, de modo que o resultado global a-
inda seria aceitvel, se voc no pudesse lhe dizer especificamente o que
estava fazendo de errado? Esta a situao em que estamos em relao
ao futuro.
Concluso
12 Os autores so gratos a Rebecca Roache pelo auxlio pesquisa e aos editores deste volu-
24 www.ierfh.org
es da tica artificial. Sistemas de IA com estados mentais suficientemen-
te avanados, ou o tipo certo de estados, tero um status moral, e alguns
podero ser considerados como pessoas embora talvez pessoas muito
diferentes do tipo que existe agora, talvez com regras diferentes. E, final-
mente, a perspectiva de IA com inteligncia sobre-humana, e habilidades
sobre-humanas, nos apresenta o desafio extraordinrio de indicar um al-
goritmo que gere comportamento super tico. Esses desafios podem pare-
cer visionrios, mas parece previsvel que vamos encontr-los, e eles no
so desprovidos de sugestes para os rumos da pesquisa atual.
25 www.ierfh.org
Leituras
Bostrom, N. 2004. "The Future of Human Evolutian", em Death and Anti-Death: Two Hundred
Years After Kant, Fifty Years After Turing, ed. Charles Tandy (Palo Alto, Califrnia: Ria Univer-
sity Press). - Este trabalho explora algumas dinmicas evolutivas que poderiam levar a uma
populao de uploads para desenvolver em direes distpicas.
Yudkowsky, E. 2008a. Artificial Intelligence as a Positive and Negative Factor in Global Risk,
in Bostrom and Cirkovic (eds.), pp. 308-345. - Uma introduo aos riscos e desafios apresen-
tados pela possibilidade de melhorar a auto-recursividade das mquinas superinteligentes.
Wendell, W. 2008. 'Moral Machines: Teaching Robots Right from Wrong(Oxford University
Press, 2008). Uma pesquisa global de desenvolvimento recente.
Referncias
BOSTROM, N. 2004. The Future of Human Evolution, in Death and Anti-Death: Two
Hundred Years After Kant, Fifty Years After Turing, ed. Charles Tandy (Palo Alto, California:
Ria University Press)
(http://www.nickbostrom.com/fut/evolution.pdf)
BOSTROM, N. and CIRKOVIC, M. (eds.) 2007. Global Catastrophic Risks. Oxford: Oxford Uni-
versity Press.
CHALMERS, D. J., 1996, The Conscious Mind: In Search of a Fundamental Theory. New York
and Oxford: Oxford University Press
HIRSCHFELD, L. A. and GELMAN, S. A. (eds.) 1994. Mapping the Mind: Domain Specificity in
Cognition and Culture, Cambridge: Cambridge University Press.
GOERTZEL, B. and PENNACHIN, C. (eds.) 2006. Artificial General Intelligence. New York, NY:
Springer-Verlag.
HASTIE, T., TIBSHIRANI, R. and FRIEDMAN, J. 2001. The Elements of Statistical Learning.
New York, NY: Springer Science.
26 www.ierfh.org
HENLEY, K. 1993. Abstract Principles, Mid-level Principles, and the Rule of Law, Law
and Philosophy 12: 121-32.
HOWARD, Philip K. 1994. The Death of Common Sense: How Law is Suffocating America. New
York, NY: Warner Books.
KAMM, F. 2007. Intricate Ethics: Rights, Responsibilities, and Permissible Harm. Oxford:
Oxford University Press.
KURZWEIL, R. 2005. The Singularity Is Near: When Humans Transcend Biology. New York, NY:
Viking.
WARREN, M. E. 2000. Moral Status: Obligations to Persons and Other Living Things. Oxford:
Oxford University Press.
Notas
*
Texto traduzido por Pablo Arajo Batista. Revisado por Diego Caleiro e Lauro Edison.
27 www.ierfh.org