Resumo Artificial Intelligence A Modern Approach, Russel and Norvig Captulos 1 e 2 Disciplina de istemas Multi!

agentes
Manoel Campos da Silva Filho

O que IA?
Definies de inteligncia artificial so mostradas na figura 1.1, de acordo com oito livros te to. !stas definies variam ao longo de duas principais dimenses. "rosseiramente, as no topo so preocupadas com processos de pensamento e raciocnio, en#uanto as de $ai o endeream a comportamento. %s definies & es#uerda medem sucesso em termos de fidelidade para a performance humana, en#uanto as da direita medem contra um conceito ideal de inteligncia, #ue chamaremos de racionalidade. 'm sistema ( racional se ele fa) a *coisa certa+, dado o #ue ele sa$e. istemas "ue pensam como humanos istemas "ue pensam racionalmente *, e citante novo esforo para fa)er *, estudo de faculdades mentais por meio do computadores pensarem - m.#uinas com uso de modelos computacionais.+ /Charnia: e mentes, no sentido literal e completo.+ McDermott, 11234 /0augeland, 11234 *5% automao de6 atividades #ue n7s *, estudo de computaes #ue fa)em poss;vel associamos com pensamento humano, atividades perce$er, raciocinar e agir.+ /<inston, 111=4 tais como tomada de deciso, resoluo de pro$lemas, aprendi)agem...+ /8ellman, 11924 istemas "ue agem como humanos istemas "ue agem racionalmente *% arte de criar m.#uinas #ue reali)am funes *Bnteligncia Computacional ( o estudo do #ue re#uerem inteligncia #uando reali)adas por proCeto de agentes inteligentes.+ /Doole et al., pessoas.+ />ur)?eil, 111@4 11124 *, estudo de como fa)er computadores *B% ...( preocupada comportamento inteligente reali)arem coisas em #ue, no momento, pessoas em artefatos.+ /Eilssom, 11124 so melhores.+ /Aic: e >night, 11114 Figura 1.1 F %lgumas definies de inteligncia artificial, organi)adas em #uatro categorias 0istoricamente todas as #uatro propostas tm sido seguidas. Como algu(m pode esperar, uma tenso e iste entre propostas centradas ao redor de humanos e propostas centradas ao redor de racionalidade /no estamos di)endo #ue humanos so irracionais no sentido de *emocionalmente inst.veis+ ou *insanos+, apenas #ue no somos perfeitos4. 'ma proposta centrada em humanos deve ser uma cincia emp;rica, envolvendo hip7teses e confirmaes e perimentais. 'ma proposta racionalista envolve uma com$inao de matem.tica e engenharia.

1 de =1

Agir humanamente: A proposta do Teste de Turing

, Geste de Guring, proposto por %lan Guring /113@4, foi proCetado para prover uma definio satisfat7ria de inteligncia. 'm computador passa no teste se um humano interrogador, depois de colocar algumas #uestes escritas, no puder di)er se as respostas escritas so de uma pessoa ou no. 'm computador, para passar no teste, precisa ter as seguintes capacidadesH representa#$o de conhecimento para arma)enar o #ue ele sa$e ou ouveI raciocnio automati%ado para usar a informao arma)enada para responder #uestes e para tirar novas conclusesI aprendi%ado de m&"uina para se adaptar & novas circunstJncias e para detectar e e trapolar padres. vis$o computacional para perce$er o$Cetos, e ro()tica para manipular o$Cetos.

, chamado 'este 'otal de 'uring re#uer do computador outras capacidades comoH

Pensar humanamente: A proposta de modelagem cognitiva

Se formos di)er #ue um programa pensa como um humano, precisamos de alguma forma de determinar como humanos pensam. Drecisamos estar por dentro do funcionamento da mente humana. ! istem duas formas de fa)er istoH atrav(s de introspeco K tentando pegar nossos pr7prios pensamentos a medida #ue eles surgem K e atrav(s de e perimentos psicol7gicos. 'ma ve) #ue temos uma teoria precisa o suficiente so$re a mente, se torna poss;vel e pressar essa teoria como um programa de computador. Se as entradas e sa;das do programa e o tempo dos comportamentos correspondem com comportamentos humanos, ( evidente #ue alguns mecanismos de programas podem tam$(m estar operando em humanos. Dor e emplo, %llen Ee?ell e 0er$ert Simon, #ue desenvolveram o "DS, o "eneral Dro$lem Solver /11L14 no estavam contentes #ue seu programa resolvesse pro$lemas corretamente, eles #ueriam comparar os passos do seu racioc;nio com os de como um humano resolve o mesmo pro$lema.

Pensar racionalmente: A proposta das leis do pensamento

, fil7sofo grego %rist7teles foi um dos primeiros a tentar codificar o *pensamento correto+, #ue (, irrefutavelmente, o processo de racioc;nio. Seu silogismo prov padres para estruturas de argumentos #ue sempre produ)em concluses corretas #uando dadas corretas premissas K por e emplo, *S7crates ( um homem+I todos os homens so mortaisI logo, S7crates ( mortal+. !stas leis de pensamento eram supostas por governar a operao da menteI seu estudo iniciou o campo chamado l)gica.

Agir racionalmente: A proposta de agente racional

'm agente ( apenas algo #ue age /agente vem do latim agere, fa)er4. Mas agentes de computador so esperados por terem outros atri$utos #ue distinguem eles de meros programas, tal como operando so$re controle autMnomo, perce$endo seu am$iente, persistindo so$re um prologando per;odo de tempo, se adaptando & mudanas e sendo capa) de pensar em outros = de =1

o$Cetivos. 'm agente racional ( um #ue age de forma a alcanar o melhor resultado ou, #uando em incerte)a, o melhor resultado esperado. Ea proposta das *leis do pensamento a enfase foi em inferncias corretas. Fa)endo corretas inferncias ( algumas ve)es parte de ser um agente racional, devido uma forma de agir racionalmente ( raciocinar logicamente para a concluso #ue uma dada ao ir. alcanar um o$Cetivo e ento agir na concluso. Dor outro lado, inferncias corretas no so tudo de racionalidade, devido e istirem fre#uentemente aes onde no h. uma coisa provavelmente correta a fa)er, mas alguma coisa deve ser feita. ! istem tam$(m formas de agir racionalmente #ue no podem envolver inferncia. Dor e emplo, se afastar de um forno #uente ( uma ao de refle o #ue tem normalmente mais sucesso #ue uma ao mais lenta tomada depois de cuidadosa deli$erao.

As Fundaes da Inteligncia Artificial

% B% se fundamente em diversas .reas do conhecimento, como mostrado a seguir.

Neurocincia
Chips de computador podem e ecutar instrues em nanosegundos, en#uanto neurMnios so milhes de ve)es mais lentos. % lei de Moore di) #ue o nNmero de transistores por polegada #uadrada do$ra a cada 1 ou 1,3 ano. % capacidade do c(re$ro humano do$ra grosseiramente a cada = a O milhes de anos.

Filosofia
>enneth Crai: especificou os trs passos chaves de um agente $aseado em conhecimento /D!FBEBA %"!EG! 8%S!%D, !M C,E0!CBM!EG,4H 14 o est;mulo deve ser tradu)ido em representaes internas, =4 a representao ( manipulada pelo processo cognitivo /D!FBEBA C,"EBGBP,4 para derivar novas representaes internas, e Q4 estes so por sua ve), retradu)idos de volta em ao. !le claramente e plicou por #ue isso era um $om proCeto para um agenteH Se o organismo transporta um modelo de pequena escala de realidade externa e de suas prprias possveis aes dentro de sua cabea, ele capaz de tentar v rias alternativas, concluir qual a melhor delas, reagir a situaes !uturas antes que elas sur"am, utilizar o conhecimento de eventos passados tratando com o presente e o !uturo, e em cada !orma de reagir de uma muito mais completa, segura e mais competente maneira # emerg$ncias com as quais ele encara%

Engenharia de Computao
, primeiro computador eletrMnico, o %8C, foi montado por Rohn %tanasoff e seu estudante Clifford 8errS entre 11O@ e 11O= na universidade estadual de Bo?a. Sua pes#uisa rece$eu pouco suporte e reconhecimentoI foi o !EB%C, desenvolvido como parte de um proCeto militar secreto na universidade de DennsSlvania pelo time incluindo Rohn MauchlS e Rohn !c:ert, #ue provou ser o mais influente precursor dos computadores modernos. Ea metade do s(culo, desde ento, cada gerao de hard?are de computador tem tra)ido um aumento na velocidade e capacidade e redu)ido no preo. Derformance do$ra a cada 12 meses ou mais, com uma d(cada ou duas nesta ta a de crescimento. Depois disto, n7s precisaremos de engenharia molecular ou alguma outra nova tecnologia. Q de =1

% m.#uina anal;tica de Charles 8a$$age /191=F12914 foi de longe a mais am$iciosaH ele inclu;a mem7ria endere.vel, programas arma)enados e pulos condicionais, e foi a primeira capa) de reali)ar computao universal. % colega de 8a$$age, %da Tovelace, foi talve) a primeira programadora do mundo /a linguagem de programao %da foi nomeada depois dela4. % B% tem pioneiri)ado muitos tra$alhos na .rea de cincia da computao, como time sharing, interpretadores interativos, computadores pessoais com Canelas e mouse, am$ientes de desenvolvimento r.pido de aplicaes /Aapid %pplication Development Gools K A%D Gools4, tipos de dados de listas encadeadas, gerenciamento autom.tico de arma)enamento e conceitos chaves de programao sim$7lica, funcional, dinJmica e orientada a o$Cetos.

Teoria do controle e ciberntica

Tingu;stica moderna e B%, *nasceram+ ao mesmo tempo, e cresceram Cuntas, tendo interseco em um campo h;$rido chamado lingustica computacional ou processamento de linguagem natural. , pro$lema de se entender linguagem em $reve se tornou consideravelmente mais comple o do #ue parecia ser em 1139. !ntender linguagem re#uer um entendimento do assunto e conte to, no apenas entender da estrutura das sentenas. Bsto pode parecer 7$vio, mas no era amplamente apreciado at( a d(cada de 11L@. Muito dos tra$alhos anteriores em representao do conhecimento /o estudo de como colocar o conhecimento em uma forma #ue o computador possa raciocinar so$re ele4 foi ligado a linguagem e informado pes#uisas em lingu;stica, #ue foi conectado por sua ve), a d(cadas de tra$alho de an.lise filos7fica de linguagem.

A histria da Inteligncia Artificial A gestao da inteligncia artificial

, primeiro tra$alho #ue ( hoCe geralmente reconhecido como B% foi feito por <arren McCulloch e <alter Ditts /11OQ4. !les usaram Q fontesH conhecimento de filosofia $.sica e funo dos neurMnios no c(re$roI uma an.lise formal da l7gica proposicional devido a Aussel e <hiteheadI e a teoria da computao de Guring. !les proporam um modelo de neurMnios artificiais em #ue cada neurMnio ( caracteri)ado como estando *ligado+ ou *desligado+, com a mudana para *ligado+ ocorrendo em resposta a estimulao por um suficiente nNmero de neurMnios vi)inhos. , estado do neurMnio foi conce$ido como *realmente e#uivalente a proposio #ue prope seu ade#uado est;mulo+. !les mostraram, por e emplo, #ue #ual#uer funo comput.vel poderia ser computada pela mesma rede de neurMnios conectados, e #ue todos os conectivos l7gicos /and, or, not, etc4 poderiam ser implementados por simples estruturas de rede. !les tam$(m sugeriram #ue redes definidas ade#uadamente tam$(m poderiam aprender. Dois alunos de graduao no departamento de matem.tica de Drinceton, Marvin Mins:S e Dean !dmonds, constru;ram a primeira rede neural de computador em 1131. , SE%AC, como foi chamada, usou Q@@@ tu$os de v.cuo para simular uma rede de O@ neurMnios. ! istiram outros tra$alhos anteriores #ue podem ser caracteri)ados como B%, mas foi %lan Guring #uem primeiro articulou uma viso completa de B% em seu artigo *Computao de M.#uina e Bnteligncia+ em 113@. T. ele introdu)iu o teste de Guring, aprendi)ado de m.#uina, algoritmos gen(ticos e reforo da aprendi)agem.

O de =1

O nascimento da IA (1 !"#
Drinceton foi a casa de outra figura influente em B%, Rohn McCarthS. Depois da graduao foi para o Dartmouth College, #ue se tornou o local oficial de nascimento da .rea de B%.

$ntusiamo anterior% grandes e&pectativas (1 !'(1 " #

Sucessos anteriores de Ee?ell e 0er$ert Simon foram seguidos do "eneral Dro$lem Solver ou "DS. Diferente da T7gica Georista, este programa foi proCetado no in;cio para imitar os protocolos humanos de resoluo de pro$lemas. Dentro de uma limitada classe de CogosU#ue$raF ca$eas #ue ele podia manipular, ele revelou #ue a ordem em #ue o programa considerava su$ o$Cetivos e poss;veis aes era semelhante &#uela em #ue o homem a$ordava os mesmos pro$lemas. %ssim, o programa "DS foi provavelmente o primeiro a incorporar a proposta do *pensar humanamente+. , sucesso do "DS e programas su$se#uentes como modelos de cognio guiaram Ee?ell e Simon /119L4 para formular a famosa hip7tese do sistema de sm(olos fsicos, #ue afirma #ue *um sistema de s;m$olo f;sico tem os meios necess.rios e suficientes para aes inteligentes gerais+. , #ue eles #uiseram di)er ( #ue #ual#uer sistema /homem ou m.#uina4 e i$indo inteligncia devem operar pela manipulao de estruturas de dados compostas de s;m$olos. Rohn McCarthS foi de Dartmouth para o MBG e l. fe) Q cruciais contri$uies em um ano hist7rico de 1132H definiu a linguagem de alto n;vel chamada Tisp, #ue se tornou a linguagem dominante para programao de B%. Tisp ( a segunda mais velha linguagem de alto n;vel em uso, um ano mais nova #ue F,AGA%E. Com Tisp, McCarthS tinha a ferramenta #ue precisava, mas acesso escasso e caro a recursos computacionais era um s(rio pro$lema. !m resposta, ele e outros no MBG invetaram o time sharing. Gam$(m em 1132 ele pu$licou o artigo *Drograms ?ith Common Sense+ em #ue ele descreveu o %dvice Ga:er /Gomador de Conselhos4, um programa hipot(tico #ue pode ser visto como o primeiro sistema de B% completo. Como a Georia T7gica e o Drovador de Georemas "eom(tricos, o programa de McCarthS foi proCetado para usar conhecimento para encontrar solues para pro$lemas. Mas diferente de outros, ele incorporou o conhecimento geral do mundo. Dor e emplo, ele mostrou como alguns a iomas /D!FBEBA %VB,M%S4 simples poderiam permitir a programas gerarem um plano para dirigir at( o aeroporto. , programa foi proCetado tam$(m para #ue possa aceitar novos a iomas durante o curso normal de operao, permitindo #ue ele alcance competncia em novas .reas sem ser reprogramado. , %dvice Ga:er ento incorpora os princ;pios centrais de representao do conhecimento e racioc;nioH #ue ( Ntil ter uma representao e pl;cita e formal do mundo, e da forma #ue as aes dos agentes afetam o mundo e ser capa) de manipular essas representaes com processo dedutivos.

)ma dose de realidade

Desde o in;cio, pes#uisadores de B% no eram t;midos em fa)er predies de seus pr7 imos sucessos. Germos como *futuro vis;vel+ podem ser interpretados de v.rias formas mas Simon tam$(m fe) uma predio mais concretaH #ue em 1@ anos um computador poderia ser campeo mundial de adre). 'ma t;pica hist7ria ocorrida no in;cio dos esforos de traduo de te tos por m.#uina, #ue foram generosamente financiados pelo Conselho Eacional de Des#uisa dos !'% na tentativa de agili)ar a traduo de artigos cient;ficos em russo, no fraco lanamento do Sputni: /nome do programa de lanamento de sat(lites artificiais da antiga 'ASSF 'nio das AepN$licas Socialistas 3 de =1

Sovi(ticas4 em 1139. Foi pensado inicialmente #ue seriam simples transformaes sint.ticas $aseadas nas gram.ticas russa e inglesa, e su$stituio de palavras usando um dicion.rio eletrMnico, $astaria para preservar o e ato significado das sentenas. , fato ( #ue a traduo re#uer conhecimento geral do assunto para resolver am$iguidades e esta$elecer o conteNdo da sentena. , segundo tipo de dificuldade foi a no intrata$ilidade de pro$lemas #ue a %B estava tentando resolver. Muitos dos primeiros programas de B% resolveram pro$lemas tentando diferentes com$inaes de passos at( a soluo ser encontrada. !sta estrat(gia funcionou inicialmente por#ue micro mundos continham pou#u;ssimos o$Cetos e portanto, pou#u;ssimas aes poss;veis e curt;ssimas se#uncias de soluo. %ntes da teoria de comple idade computacional ser desenvolvida, era amplamente pensado #ue resolver pro$lemas maiores era simplesmente uma #uesto de hard?are mais r.pido e mais mem7ria.

*istemas +aseados em conhecimento: A chave do poder, (1 " (1 - #

% figura da resoluo de pro$lemas #ue surgiu durante a primeira d(cada de pes#uisa em B% foi de um mecanismo de pes#uisa para fins gerais tentando Cuntar passos elementares de racioc;nio para encontrar solues completas. Gais propostas foram chamadas de m*todos fracos, pois, apesar de gerais, elas no funcionam para pro$lemas de maior escala. % alternativa para os m(todos fracos ( usar conhecimento de dom;nio espec;fico mais poderosos #ue permita maiores passos de racioc;nio e possa mais facilmente manusear tipicamente casos de ocorrncia em estreitas .reas de e pertise. %lgu(m pode di)er #ue para resolver um pro$lema dif;cil, voc precisa #uase C. conhecer a resposta. , programa D!EDA%T foi um e emplo inicial desta proposta, #ue o$Cetivava resolver o pro$lema de inferncia de estruturas moleculares a partir de informaes providas por um espectrMmetro de massa. !le foi significante pois foi o primeiro sistema de conhecimento intenso de sucessoH sua e pertise derivava de um amplo nNmero de regras de prop7sito especial. Sistemas posteriores tam$(m incorporaram o principal tema da proposta do programa %dvice Ga:er de McCarthS K a clara separao do conhecimento /na forma de regras4 do componente de racioc;nio. Com esta lio em mente, Feigen$aum e outros em Stanford iniciaram o 0euristic Drogramming DroCect /0DD4, para investigar a onde a nova metodologia de sistemas especialistas poderia ser aplicada para outras .reas do conhecimento humano. , pr7 imo maior esforo foi na .rea de diagn7sticos m(dicos. Feigen$aum, 8uchanan e o Dr !d?ard Shortliffe desenvolveram o MWCBE para diagn7sticos de infeces sangu;neas. Com cerca de O3@ regras, o MWCBE era capa) de tra$alhar to $em como um especialista, e consideravelmente melhor #ue um m(dico estagi.rio. !le tam$(m continha duas maiores diferenas do D!EDA%T. Drimeiro, diferente das regras do D!EDA%T, no e istia nenhum modelo te7rico geral a partir do #ual as regras do MWCBE poderiam ser dedu)idas. !las tinham #ue ser ad#uiridas em e tensas entrevistas com especialistas, #ue por sua ve) ad#uiriam em livros, outros especialistas e e perincia vividas. Segundo, as regras tinham #ue refletir as incerte)as associadas com o conhecimento m(dico. , MWCBE incorporou um c.lculo de incerte)as chamado fatores de certe%a, #ue pareciam /na (poca4 se ade#uar $em na forma como os m(dicos avaliavam o impacto de evidncias no diagn7stico. % importJncia do dom;nio do conhecimento foi tam$(m evidente na .rea da compreenso de linguagem natural. , crescimento generali)ado de aplicaes para pro$lemas do mundo real causaram um aumento paralelo na demanda de e e#u;veis es#uemas de representao do conhecimento. 'm amplo nNmero de diferentes representaes e linguagens de racioc;nio foram desenvolvidas. %lgumas foram $aseadas na l7gica F por e emplo, a linguagem Drolog se tornou popular na !uropa.

L de =1

IA se torna um padro de ind.stria (1 /0 at1 o presente#

!m toda parte, a indNstria de B% estourou, de poucos milhes de d7lares em 112@ para $ilhes de d7lares em 1122. Togo depois veio o per;odo chamado *Bnverno da B%+, em #ue muitas companhia sofreram por terem feito promessas e travagantes. !m$ora a cincia da computao tenha amplamente a$andonado o campo de redes neurais no final da d(cada de 119@, o tra$alho continuou em outros campos. F;sicos como Rohn 0opfield /112=4 usou t(cnicas de m.#uinas estat;sticas para analisar o arma)enamento e propriedades de otimi)ao de redes neurais, tratando colees de n7s como colees de .tomos. Dsic7logos incluindo David Aumelhart e "eoff 0inton continuaram o estudo de modelos de mem7ria de redes neurais. , real impulso veio em meados da d(cada de 112@ #uando pelo menos #uatro diferentes grupos reinventaram o algoritmo de aprendi)agem $ac:Fpropagation /retro propagao4 primeiro encontrado em 11L1 por 8rSson e 0o. , algoritmo foi aplicado para muitos pro$lemas de aprendi)ado em cincia da computao e psicologia, e a generali)ada disseminao dos resultados na coleo Darallel Distri$uted Drocessing /Aumelhart e McClelland, 112L4 causou grande e citao.

AI se tornou uma cincia (1 /- at1 o presente#

'sando metodologias melhoradas e frame?or:s te7ricos, o campo chegou no entendimento de #ue redes neurais podem atualmente ser comparadas com correspondentes t(cnicas da estat;stica, reconhecimento de padres, aprendi)ado de m.#uina e a mais promissora t(cnica pode ser aplicada para cada aplicao. Como resultado destes desenvolvimento, a ento chamada tecnologia de data mining tem dado novos vigorosos padres de indNstria. , formalismo das redes +a,esianas foi inventado para permitir representao eficiente de um rigoroso racioc;nio com conhecimento incerto. !sta proposta amplamente resultou muitos pro$lemas de sistemas de racioc;nio pro$a$il;stico de 11L@ e 119@I ela agora domina as pes#uisa de B% em racioc;nio incerto e sistemas especialistas.

esumo
Diferentes pessoas pensam so$re B% diferentemente. Duas importantes #uestes para perguntar soH Poc est. preocupado com o conhecimento ou com o comportamentoX Poc #uer modelar humanos ou tra$alhar a partir de um padro idealX Eeste livro, adotamos a viso de #ue inteligncia se preocupa principalmente com ao racional. Bdealmente, um agente inteligente e ecuta a melhor ao poss;vel em uma situao. E7s estudaremos o pro$lema de construo de agentes #ue so inteligentes neste sentido. Fil7sofos /anteriores a O@@ a.C.4 conce$eram B% considerando as id(ias #ue a mente ( de alguma forma como uma m.#uina, #ue ela opera so$re conhecimento codificado em alguma linguagem interna, e #ue o pensamento pode ser usado para escolher #uais aes e ecutar. Matem.ticos proveram ferramentas para manipular declaraes de certe)as l7gicas $em como incerte)as e declaraes pro$a$il;sticas. !les tam$(m configuraram a $ase para compreender computao e racioc;nio so$re algoritmos. !conomistas formali)aram o pro$lema de tomar decises #ue ma imi)em os resultados esperados pelo administrador /decisionFmar:er4.

9 de =1

Dsic7logos adotaram a id(ia de #ue humanos e animais podem ser considerados m.#uinas de processamento de informaes. Tinguistas mostraram #ual uso de linguagem ( ade#uado neste modelo. !ngenheiros de computao proveram os artefatos #ue fa)em as aplicaes de B% poss;veis. Drogramas de B% tendem a ser grandes, e eles podem no funcionar sem um grande avano na velocidade e mem7ria #ue a indNstria de computadores tem provido. Georia do controle trata com proCeto de dispositivos #ue agem opcionalmente na $ase de feed$ac:s do am$iente. Bnicialmente, as ferramentas matem.ticas de teoria do controle eram muito diferentes da B%, mas os campos esto ficando mais pr7 imos. % hist7ria da B% tem ciclos de sucesso, otimismos mal colocados, resultando cortes no entusiamo e financiamento. 0ouveram tam$(m ciclos de introduo de novas propostas criativas e sistem.tico refinamento das melhores. B% tem avanado mais rapidamente na d(cada passada devido ao grande uso de m(todos cient;ficos em e perimentos e propostas de comparao. Drogresso recente no entendimento da $ase te7rica de inteligncia tem sido disseminado, com melhorias nas capacidades reais do sistema. %s su$F.reas da B% tem se tornado mais integradas, e a %B tem encontrado $ase comum com outras disciplinas.

!" Agentes Inteligentes

Agentes e Ambientes
'm agente ( #ual#uer coisa #ue pode perce$er seu am$iente atrav(s de sensores e e agir nesse am$iente por meio de atuadores. !sta simples id(ia ( ilustrada na figura =.1. 'm agente humano tem olhos, orelhas e outros 7rgos como sensores, e mos, pernas, $oca e outras partes do corpo como atuadores. 'm agente ro$M pode ter cJmeras e locali)adores infravermelho como sensores, e v.rios motores como atuadores. 'm agente de soft?are rece$e entradas do teclado, conteNdo de ar#uivos e pacotes de rede como sensores de entrada e age no am$iente mostrando resultados na tela, gravando em ar#uivos e enviando pacotes pela rede.

2 de =1

!m geral, a ao de escolha de um agente a #ual#uer instante pode depender de todo o hist7rico de percepes at( o momento atual. Matematicamente falando, n7s di)emos #ue um comportamento de agente ( descrito por uma fun#$o de agente #ue mapeia #ual#uer dada se#uncia de percepes para uma ao. Dodemos imaginar ta$ular a funo de agente #ue descreve #ual#uer agenteI para a maioria dos agentes, esta poderia ser uma ta$ela muito grande, at( infinita, de fato, ao menos #ue colo#uemos uma fronteira no tamanho das se#uncias de percepes #ue #ueremos considerar. Dado um agente como e perimento, podemos, em princ;pio, construir sua ta$ela tentando todas as poss;veis se#uncias de percepes e gravando cada ao #ue o agente fa) em resposta. % ta$ela (, o$viamente, uma caracteri)ao e terna do agente. Bnternamente, a funo de agente para um agente artificial ser. implementada por um programa de agente. Y importante distinguir essas duas id(ias. % funo de agente ( uma descrio matem.tica a$strataI o programa do agente ( uma implementao concreta, rodando na ar#uitetura do agente.

Dara ilustrar essas id(ias, usaremos um e emplo simples do mundo do aspirador de p7, mostrado na figura =.=, #ue ( $em simples e podemos descrever tudo #ue acontece nele. !le tem apenas dois locais, #uadrado % e #uadrado 8. , agente aspirador de p7 perce$e em #ue #uadrado ele est. e se h. suCeira l.. !le pode se mover para direita ou es#uerda, aspirar a suCeira ou no fa)er nada. 'ma muito simples funo de agente (H se o #uadrado atual est. suCo, aspire a suCeira, seno, 1 de =1

v. para o outro #uadrado. 'ma ta$ulao parcial desta funo de agente ( mostrada na figura =.Q. 'm simples programa de agente para esta funo de agente ( dado posteriormente na figura =.2.

Bom comportamento:

conceito de racionalidade

'm agente racional ( um #ue fa) a coisa certa K conceitualmente falando, cada entrada na ta$ela para a funo de agente ( preenchida corretamente. ,$viamente, fa)er a coisa certa ( melhor #ue fa)er a errada, mas o #ue significa fa)er a coisa certaX Como uma primeira apro imao, diremos #ue a ao correta ( a#uela #ue permite ao agente ter mais sucesso.

#edidas de performance
% medida de performance incorpora o crit(rio de sucesso do comportamento de um agente. Zuando um agente ( atirado em um am$iente, ele gera uma se#uncia de aes de acordo com as percepes #ue ele rece$e. Se a se#uncia ( deseC.vel, ento o agente tem desempenhado seu tra$alho $em. ,$viamente, no e iste nenhuma medida fi a ade#uada para todos os agentes. Dodemos propor como uma medida de performance, a #uantidade de suCeira limpa em um Nnico turno de 2 horas. 'm agente racional pode ma imi)ar esta medida de performance, limpando a suCeira e Cogando ela no cho novamente, ento limpando outra ve), e assim consecutivamente. 'ma medida de performance mais ade#uada poderia premiar o agente por ter limpado o cho. Dor e emplo, um ponto pode ser conseguido por cada #uadrado limpo a cada passo /talve) com uma penalidade por consumo de energia e gerao de ru;do4. % seleo de uma medida de performance no ( sempre f.cil. Dor e emplo, a noo de *cho limpo+ no par.grafo anterior ( $aseada na m(dia de limpe)a so$re o tempo. %inda #ue a mesma m(dia de limpe)a possa ser alcanada por dois diferentes agentes, um pode fa)er um tra$alho med;ocre todo o tempo en#uanto o outro limpa energicamente mas fa) longas paradas.

1@ de =1

acionalidade
, #ue ( racional em um dado intervalo depende de O coisasH % medida de performance #ue define os crit(rios de sucesso , conhecimento pr(vio do agente so$re o am$iente %s aes #ue o agente pode reali)ar % se#uncia de percepes do agente at( o momento atual Bsto guia para uma defini#$o de agente racionalH &ara cada sequ$ncia de percepes possveis, um agente racional deve selecionar uma a'o que esperada para maximizar suas medida de per!ormance, dada a evid$ncia provida pela sequ$ncia de percepes, e ignorar o conhecimento embutido que o agente tem% Considerando o agente aspirador de p7, ele pode ser considerado racional, pois ele reali)a as aes visando ma imi)ar sua performance, a geografia do am$iente ( conhecida, mas a sua distri$uio da suCeira e locali)ao inicial no, as aes de ir para es#uerda ou direita so e ecutadas de modo #ue o agente no saia dos dois #uadrados, o agente perce$e sua locali)ao e se e iste suCeira nela. %lgu(m pode ver facilmente #ue um mesmo agente poderia ser irracional so$re diferentes circunstJncias. Dor e emplo, uma ve) #ue toda a suCeira ( limpa, ele ir. ficar se movendo desnecessariamenteI se a medida de performance inclui uma penalidade de um ponto para cada movimento, o agente ir. ter um desempenho $ai ;ssimo. 'm agente melhor para este caso poderia no fa)er nada, uma ve) #ue ele est. certo de #ue todos os #uadrados esto limpos. Se o #uadrado pode se tornar suCo novamente, o agente poderia ocasionalmente checar e limpar novamente se necess.rio.

Oniscincia% aprendi2agem e autonomia

Drecisamos ser cuidadosos em distinguir entre racionalidade e onisci-ncia. 'm agente onisciente conhece o resultado atual de suas aes e pode agir de acordoI mas oniscincia ( imposs;vel na realidade. Considere o e emplo seguinteH !u estou caminhando em direo & Champs !lSs(es e veCo um velho amigo cru)ar a rua. Eo h. tr.fego pr7 imo e eu no estou ocupado, ento, sendo racional, eu inicio a travessia da rua. !n#uanto isso, a 1@.@@@ metros de altitude, uma carga cai de um avio #ue estava passando, e antes #ue eu chegue ao outro lado da rua, sou achatado pela carga. !nto, eu fui irracional ao atravessar a ruaX !ste e emplo mostra #ue racionalidade no ( o mesmo #ue perfeio. Aacionalidade ma imi)a a performance esperada, en#uanto perfeio ma imi)a a performance atual. Eossa definio de racionalidade no re#uer oniscincia, devido a escolha racional depender somente da se#uncia de percepes at( o momento atual. E7s tam$(m asseguramos #ue no temos inadvertidamente permitido ao agente aderir em atividades decididamente no inteligentes. Dor e emplo, se um agente no olha para am$os os lados antes de atravessar uma rua movimentada, ento sua se#uncia de percepes no dir. a ele #ue h. um grande caminho se apro imando em alta velocidade. Eossa definio de racionalidade di) #ue est. tudo ,> para cru)ar a ruaX Tonge disso. Drimeiro, poderia no ser racional cru)ar a rua dado essa se#uncia de percepes no informativasH o risco de acidente ao cru)ar uma rua sem olhar para am$os os lados ( muito grande. Segundo, um agente racional deveria escolher a ao de *olhar+ antes de atravessar a rua, por#ue 11 de =1

olhar aCuda a ma imi)ar a performance esperada. Fa)endo aes para modificar percepes futuras K algumas ve)es chamada de o(ten#$o de informa#.es K ( uma importante parte da racionalidade. 'm segundo e emplo de o$teno de informaes ( provido pela e/plora#$o #ue deve ser responsa$ilidade do agente aspirador de p7 em um am$iente inicialmente desconhecido. Eossa definio de agente racional no ( somente no sentido de o$ter informaes, mas tam$(m de aprender tanto #uanto poss;vel a partir de suas percepes. , agente pode ter algum conhecimento pr(vio do am$iente. ! istem casos e tremos em #ue o am$iente ( totalmente conhecido a priori, nestes casos, o agente no precisa perce$er ou aprenderI ele simplesmente age corretamente. ,$viamente, tais agentes so muito fr.geis. Per e emplo do $esouro e da vespa na p.gina Q9.

A nature$a dos am%ientes $specificando o am+iente de tarefas

!m nossas discusses de racionalidade do simples agente aspirador de p7, n7s tivemos #ue especificar a medida de performance, o am$iente, os atuadores e sensores do agente. Bremos agrupar tudo isso so$re o t;tulo de am(iente de tarefas, onde definiremos a sigla D!%S /Derformance, !nvironment, %ctuators, Sensors, na primeira verso do livro era denominado D%"! K Dercepts, %ctions, "oals, !nvironment4 como descrio do am$iente. !m proCeto de agentes, o primeiro passo ( sempre especificar o am$iente to completo #uanto poss;vel. , mundo do aspirador foi um e emplo muito simplesI vamos considerar um pro$lema mais comple oH um motorista autom.tico de t. i. % figura =.O resume a descrio D!%S para o am$iente do t. i.
'ipo de Agente Medidas de 0erformance 10erformance Measure2 Am(iente 13nvironment2 Atuadores 1Actuators2 ensores 1 ensors2

G. i Seguro, r.pido, legal, viagem Auas, tr.fego, Direo, acelerador, CJmeras, sonar, automati)ado confort.vel, ma imi)ar pedestre, clientes fr(io, setas, $u)ina, veloc;metro, "DS, lucros painel od7metro, medidor de acelerao, sensores no motor, teclado

Figura =.O

D!%S para o am$iente de tarefa de um t. i automati)ado

Drimeiro, #ual ( a medida de performance #ue gostar;amos #ue nosso t. i aspireX Zualidades deseC.veis incluem pegar o destino corretoI minimi)ar consumo de com$ust;vel e desgasteI minimi)ar tempo de viagem eUou custoI minimi)ar violaes de leis de trJnsito e pertur$aes a outros motoristasI ma imi)ar a segurana e conforto do passageiroI ma imi)ar os lucros. ,$viamente, alguns desses o$Cetivos conflitam, logo, e istiro trocas envolvidas. !m seguida, #ual ( o am$iente #ue o t. i ir. encararX Zual#uer motorista de t. i deve tratar com uma variedade de ruas, desde vielas rurais e $ecos ur$anos a autoFestradas. %s ruas cont(m outros tr.fegos, pedestres, animais de$andados, ruas em o$ras, carros de pol;cia, poas e $uracos. , t. i deve tam$(m interagir com potenciais e atuais passageiros. ! istem tam$(m algumas escolhas opcionais. , t. i pode precisar operar na Calif7rnia do Sul, onde neve ( um pro$lema rar;ssimo, ou no %lasca, onde constantemente (. !le pode sempre dirigir pela direita, mas pode ser fle ;vel para dirigir pela es#uerda #uando estiver no Rapo ou "rF8retanha. ,$viamente, #uanto mais restrito o am$iente, mais f.cil de proCetar uma soluo. ,s atuadores dispon;veis em um t. i automati)ado sero #uase os mesmos dos dispon;veis para um motorista humanoH controle so$re o motor atrav(s do acelerador e controle so$re a direo e frenagem. %dicionalmente, ele necessitar. de uma sa;da para uma tela ou sinteti)ador de vo) para falar com os passageiros, e talve) alguma forma de se comunicar com outros ve;culos, 1= de =1

educadamente. Dara alcanar seus o$Cetivos no am$iente, o t. i necessitar. conhecer onde ele est., o #ue mais h. na rua, e a velocidade #ue ele est. indo. Seus sensores $.sicos podem ento incluir uma ou mais cJmeras de GP control.veis, um veloc;metro e um odMmetro. !le pode ter um "DS para dar informaes precisas de seu posicionamento e sensores de infraFvermelho ou sonares para detectar a distJncia de outros carros ou o$st.culos. Finalmente, ele precisa de um microfone ou teclado para os passageiros re#uisitarem um destino. Ea figura =.3 temos um es$oo dos elementos D!%S $.sicos para diversos outros tipos de agentes. De fato, o #ue importa ( a comple idade do relacionamento entre o comportamento do agente, a se#uncia de percepes geradas pelo am$iente e a medida de performance. %lguns am$ientes reais so muito simples. Dor e emplo, um ro$M proCetado para inspecionar peas vindas por uma esteira rolante pode fa)er algumas suposies simplesH #ue as Nnicas coisas vindas pela esteira so peas #ue ele conhece e #ue e istem apenas duas aes /aceitar ou reCeitar4.
'ipo de Agente Sistema de diagn7stico m(dico Sistema de an.lise de imagem de sat(lite Ao$M coletor de partes Medidas de 0erformance 10erformance Measure2 Am(iente 13nvironment2 Atuadores 1Actuators2 ensores 1 ensors2

SaNde do paciente, Daciente, hospital, Mostrar #uestes, !ntrada dos sintomas minimi)ar custos, causas e#uipe m(dica testes, diagn7sticos, por teclado, respostas do tratamentos, paciente, pes#uisa orientao Categori)ao correta da Do?nlin: a partir do Mostrar %rraSs imagem sat(lite em 7r$ita categori)ao da cena cores de pi els de

Dercentual de partes na !steira rolante com 8rao cai a correta partesI cai as mo

articulado

e CJmera, sensores Jngulo articulado

de

Controlador de Ma imi)ar pure)a, Aefinaria, operadores refinaria produo, segurana

P.lvulas, $om$as de Gemperatura, presso, .gua, a#uecedores, sensores #u;micos telas

Gutor de ingls Ma imi)ar a pontuao de ConCunto de Mostrar e erc;cios, !ntrada pelo teclado interativo estudantes em testes estudantes, agncia de sugestes, correes testes

Figura =.3

! emplos de tipos de agentes e suas descries D!%S

!m contraste, alguns agentes de soft4are /soft?ares ro$Ms ou sof(ots4 e istem em dom;nios ricos e ilimitados. Bmagine um soft$ot proCetado para voar em um simulador de voo. , simulador ( muito detalhado, o am$iente comple o inclui outros avies e operaes em terra, e o agente de soft?are deve escolher uma ao, a partir de uma ampla variedade de aes, em tempo real. ,u imagine um sof$ot proCetado para scanear fontes de not;cias na internet e mostrar itens de interesse para seus clientes. Dara fa)er isso $em, ele necessitar. de ha$ilidades de processamento de linguagem natural, aprender os interesses de cada cliente e mudar os planos dinamicamente K por e emplo, #uando a cone o para um fonte de not;cias cai ou #uando outra se torna online.

Propriedades dos am+ientes de tarefa

% fai a de am$ientes #ue podem surgir em B% ( o$viamente vasta. E7s podemos, todavia, identificar um suficiente pe#ueno nNmero de dimenses em #ue o am$iente pode ser categori)ado. 'otalmente o(serv&vel / parcialmente o(serv&vel 1acessvel / inacessvel2H se o sensor

1Q de =1

do agente tem acesso completo ao estado do am(iente o tempo todo , conseguindo o$servar todos os aspectos relevantes para escolher uma ao a e ecutar, assim, o am$iente ( completamente o$serv.vel, sendo #ue relevJncia depende das medidas de performance. 'm am$iente pode ser parcialmente o$serv.vel devido a ru;do ou sensores no acurados ou parte do estado do am$iente #ue esteCam faltando F por e emplo, o agente aspirador de p7 com apenas um sensor de suCeira local no pode di)er se h. suCeira em outros #uadrados, e um t. i automati)ado no pode sa$er o #ue outros motoristas esto pensando. Determinstico / estoc&stico 1determinstico / n$o determinstico2H e o pr)/imo estado do am(iente * completamente determinado pelo estado atual e a#.es e/ecutadas pelo agente, ent$o podemos di%er "ue o am(iente * determinstico, ou se5a, previsvel6 sen$o, * estoc&stico. !m princ;pio, um agente no precisa se preocupar so$re incerte)as em um am$iente determin;stico e completamente o$serv.vel. Se o am$iente ( parcialmente o$serv.vel, todavia, ele pode parecer ser estoc.stico. Motorista de t. i ( claramente estoc.stico, por#ue ele no pode predi)er o comportamento do tr.fego, al(m do mais, um pneu pode estourar. , mundo do aspirador de p7, como descrevemos, ( determin;stico, mas variaes podem incluir elementos estoc.sticos como aparecimento randMmico de suCeira e um mecanismo de suco no confi.vel. Se o am$iente ( determin;stico, e ceto pelas aes de outros agentes, di)emos #ue o am$iente ( estrat*gico. 3pis)dico / se"uencial 1epis)dico / n$o epis)dico2H em um am(iente epis)dico, a e/peri-ncia do agente * dividida em epis)dios at7micos. Cada epis7dio consiste da percepo do agente e reali)ao de uma Nnica ao. Crucialmente, o pr)/imo epis)dio n$o depende de a#.es reali%adas em epis)dios anteriores. !m um am$iente epis7dico, a escolha de uma ao depende somente do pr7prio epis7dio. 'm agente para apontar peas defeituosas em uma linha de montagem $aseia cada deciso somente na pea atual, sem se preocupar com decises anteriores, e a deciso atual no afeta decises futuras. 3m am(ientes se"uenciais, a decis$o atual pode afetar todas as decis.es futuras. Vadre) e um motorista de t. i so se#uenciaisH em am$os os casos, aes de curto pra)o podem ter conse#uncias de longo pra)o. Am(ientes epis)dicos s$o mais simples por"ue o agente n$o tem "ue pensar a frente, ou se5a, n$o tem "ue pensar nas conse"u-ncias futuras de suas a#.es, apenas nas conse"u-ncias da a#$o atual. 3st&tico / din8mico9 e o am(iente pode mudar en"uanto o agente est& deli(erando, podemos di%er "ue ele * din8mico, sen$o, * est&tico. %m$ientes est.ticos so mais f.ceis de lidar pois o agente no precisa ficar o$servando o mundo en#uanto est. decidindo uma ao a e ecutar, nem precisa se preocupar com a passagem do tempo. %m$ientes dinJmicos, por outro lado, esto continuamente perguntando ao agente o #ue ele #uer fa)erI se ele no decidiu ainda, isto conta como se tivesse decidido por fa)er nada. e o am(iente n$o muda com a passagem do tempo mas a performance do agente sim, ent$o di%emos "ue ele * semi!din8mico. Dirigir um t. i ( claramente dinJmico. Vadre), #uando Cogado com um rel7gio, ( semiFdinJmico. Rogos de palavras cru)adas so est.ticos. Discreto / continuo9 :m am(iente discreto, como o 5ogo de /adre%, tem um con5unto finito de estados, al*m de um discreto1finito2 con5unto de percep#.es e a#.es . Dirigir um t. i ( um pro$lema de estados, aes e tempo cont;nuos. Agente ;nico / multi agente9 :m 5ogo de palavras cru%adas * claramente de apenas um agente, 5& o /adre% * um am(iente de 2 agentes< =adre% * um am(iente multi agente competitivo< No am(iente do t&/i, evitar colis.es ma/imi%a a performance de todos os agentes, logo ele * um am(iente multi agente parcialmente cooperativo, al*m de parcialmente competitivo, por e/emplo, competindo por vagas de estacionamento e passageiros. Como podemos esperar, o mais dif;cil caso ( parcialmente o$serv.vel, estoc.stico,

1O de =1

se#uencial, dinJmico, cont;nuo e multi agente. % figura =.L lista algumas propriedades de diversos am$ientes. %lgumas podem variar de acordo com a forma #ue o am$iente foi definido e a especificidade com a #ual deseCaFse implementar a soluo. Dor e emplo, muitos am$ientes so epis7dicos em um n;vel mais alto do #ue as aes individuais do agente, como em um torneio de adre), #ue consiste de uma se#uncia de Cogos, onde cada Cogo ( um epis7dio, assim, a contri$uio de um movimento em um Cogo para a performance geral do agente no ( afetada pelos movimentos no Cogo anterior. Dor outro lado, decises feitas em um Nnico Cogo so certamente se#uenciais.
Am(iente Dalavras cru)adas Vadre) com rel7gio Dirigir t. i Diagn7stico m(dico %n.lise de imagens Ao$M coletor de partes Controlador de Aefinaria Gutor de ingls interativo >(serv&vel Gotalmente Gotalmente Darcialmente Darcialmente Gotalmente Darcialmente Darcialmente Darcialmente Determinstico Determin;stico !strat(gico !stoc.stico !stoc.stico Determin;stico !stoc.stico !stoc.stico !stoc.stico 3pis)dico Se#uencial Se#uencial Se#uencial Se#uencial !pis7dico !pis7dico Se#uencial Se#uencial 3st&tico !st.tico SemiFDinJmico DinJmico DinJmico DinJmico DinJmico DinJmico Discreto Discreto Discreto Cont;nuo Cont;nuo Cont;nuo Cont;nuo Discreto Agentes Single Multi Multi Single Single Single Single Multi

SemiFDinJmico Cont;nuo

Figura =.L

! emplos de am$ientes e suas caracter;sticas

A estrutura de agentes
, tra$alho da B% ( proCetar o programa do agente #ue implementa a funo de agente mapeando percepes para aes. E7s assumimos #ue este programa rodar. em algum tipo de dispositivo computacional com sensores f;sicos e atuadores, o #ue chamamos de ar"uiteturaH agente [ ar#uitetura \ programa. ,$viamente, o programa #ue escolhemos deve ser apropriado para a ar#uitetura, #ue pode ser um DC comum ou um carro ro$M com muitas cpu]s, cJmeras e outros sensores. !m geral, a ar#uitetura fa) as percepes para o programa a partir dos sensores, roda o programa e alimenta as escolhas de aes do mesmo para os atuadores.

Programas de agente
, programa do agente #ue proCetaremos ter. o mesmo s:eletonH ele pega as percepes atuais como entradas a partir de sensores e retorna uma ao para os atuadores. Eote a diferena entre o programa do agente, #ue toma a percepo atual como entrada, e a funo de agente, #ue toma todo o hist7rico de percepes. , programa do agente toma apenas a percepo atual como entrada pois nada mais ( disponi$ili)ado pelo am$ienteI se as aes do agente dependem de toda a se#uncia de percepes, ele deve arma)enar as percepes. Dor e emplo, a figura =.9 mostra um programa de agente realmente trivial, #ue fica de olho na se#uncia de percepes e ento as usa para inde ar uma ta$ela de aes para decidir o #ue fa)er. % ta$ela representa e plicitamente a funo de agente #ue o programa do agente incorpora. Dara construir um agente racional desta forma, precisamos construir uma ta$ela #ue contenha as aes apropriadas para cada se#uncia de percepes poss;vel.

13 de =1

Y instrutivo considerar por#ue uma proposta $aseada em ta$elas para construo de agentes ( condenada a falhar. Considere um t. i autom.ticoH a entrada visual a partir de uma Nnica cJmera vem na fai a de grosseiramente, =9M$ps /Q@ framesUs, LO@ O2@ pi els com =O $its de informao de cor4. Bsto d. uma ta$ela com cerca de 1@ =3@.@@@.@@@.@@@ entradas para uma hora de direo. %t( uma ta$ela para adre) poderia ter 1@13@ entradas. , nNmero de .tomos em um universo o$serv.vel ( menos #ue 1@2@. %pesar disto, um agente dirigido por ta$elas fa) o #ue #ueremosH implementa a funo deseC.vel de agente. , desafio chave para B% ( encontrar como escrever programas #ue, para uma e tenso poss;vel, produ)am comportamento racional a partir de uma #uantidade pe#uena de c7digo no lugar de um grande nNmero de entradas de ta$ela.

,s tipos $.sicos de programas de agentes, #ue incorporam os princ;pios su$Cacentes de #uase todos os sistemas inteligentes soH Agentes refle/ivos simplesH , tipo mais simples de agente, #ue selecionam aes com $ase na percepo atual, ignorando o resto do hist7rico de percepes. Dor e emplo, o agente aspirador de p7, pois suas decises so $aseadas somente na locali)ao atual e se l. h. suCeira. 'm programa para esse agente ( mostrado na figura =.2. Bmagine voc dirigindo um carro. Se a lu) de freio do carro da frente acende, voc nota isto e comea a frenar. !m outras palavras, alguns processamentos so feitos em entradas visuais para esta$elecer a condio #ue chamamos *, carro na frente est. parando+. !nto, isto dispara alguma cone o esta$elecida no programa do agente para a ao *iniciar frenagem+. E7s chamamos tal cone o de regra de condi#$o!a#$o, escrita comoH if carFinFfrontFisF$ra:ing then initiateF$ra:ing. 0umanos tem muitas cone es, algumas das #uais so aprendidas /como dirigir4 e outras 1L de =1

#ue so refle os natos /como piscar4. , programa da figura =.2 ( espec;fico para um am$iente particular. 'ma proposta mais gen(rica e fle ;vel ( primeiro construir um interpretador de prop7sito geral para regras de condioFao e ento criar um conCunto de regras para um am$iente espec;fico. % figura =.1 d. a estrutura desse programa geral em uma forma es#uem.tica, mostrando como as regras de condioFao permitem ao agente fa)er cone es de percepes para aes. , programa do agente ( mostrado na figura =.1@.

Agentes refle/ivos (aseados em modelosH % forma mais efetiva de gerenciar am$ientes parcialmente o$serv.veis ( manter estados internos #ue depende do hist7rico de percepes, e com isso, temFse informaes de estado da .rea parcialmente o$serv.vel do am$iente. %tuali)ar esta informao com o tempo re#uer #ue dois tipos de conhecimento seCam codificados no programa do agente. Drimeiro, precisamos de informaes de como o mundo evolui, independentemente do agente. Segundo, precisamos de algumas informaes so$re como as aes do agente afetam o mundo. !ste conhecimento do mundo ( chamado de modelo do mundo. 'm agente #ue usa tal modelo ( chamado de agente $aseado em modelo. % figura =.11 d. a estrutura de um agente refle ivo com estado interno, mostrando como a percepo atual ( com$inado com um estado interno antigo para gerar a descrio atuali)ada do estado atual. , programa do agente ( mostrado na figura =.1=.

19 de =1

Agentes (aseados em o(5etivoH Conhecer o estado atual do am$iente no ( sempre suficiente para decidir o #ue fa)er. Dor e emplo, em uma Cuno de ruas, o t. i pode virar & es#uerda, & direita ou ir em frente. % deciso correta depende de onde ele est. tentando chegar, ou seCa, al(m da descrio do estado atual, o agente precisa de algum tipo de informao de o$Cetivo #ue descreva situaes #ue so deseC.veis K por e emplo, o destino do passageiro. , agente pode com$inar isso com o resultado de poss;veis aes para poder escolher aes #ue alcancem seus o$Cetivos. % figura =.1Q mostra a estrutura deste tipo de agente.

Eote #ue tomar decises desse tipo ( fundamentalmente diferente das regras de condio-ao descritas anteriormente, pois envolvem consideraes so$re o futuro como *, #ue acontecer. se eu fi)er isto e istoX+ e *Bsto me far. feli)X+. Eo proCeto de agentes refle ivos, esta informao no ( e plicitamente representada, por#ue as regras em$utidas 12 de =1

mapeiam diretamente percepes para aes. !m$ora um agente $aseado em o$Cetivo parea menos eficiente, ele ( mais fle ;vel pois o conhecimento #ue suporta suas decises ( representado e plicitamente e pode ser modificado. Se comear a chover, o agente pode atuali)ar seu conhecimento de como efetivamente seu freio ir. operarI isto automaticamente far. com #ue todos os comportamentos relevantes seCam alterados para se ade#uarem &s novas condies. Dara um agente refle ivo, por outro lado, n7s podemos ter #ue reescrever muitas regras de condioao. , comportamento do agente $aseado em o$Cetivo pode facilmente ser alterado para ir a um local diferente. %s regras do agente refle ivo para #uando virar e #uando ir em frente funcionam somente para um Nnico destinoI elas devem ser todas su$stitu;das para ir a #ual#uer lugar novo. Agentes (aseados em utilidade 1no sentido de ser ;til2 H ,$Cetivos so)inhos no so realmente suficientes para gerar comportamento de alta #ualidade na maioria dos am$ientes. Dor e emplo, e istem muitas se#uncias de aes #ue levariam o t. i ao seu destino /desta forma, alcanando seu o$Cetivo4 mas algumas so mais r.pidas, seguras e confi.veis, ou mais $aratas #ue outras. ,$Cetivos apenas proveem uma distino $in.ria crua entre os estados *feli)+ e *infeli)+, en#uanto uma medida de performance mais geral pode permitir uma comparao de diferentes estados do mundo de acordo com e atamente #uo feli) eles podem fa)er o agente e se eles podem ser alcanados. Devido *feli)+ no soar muito cient;fico, uma terminologia costumeira ( di)er #ue um estado ( prefer;vel do #ue outro, ento ele tem maior utilidade para o agente. % figura =.1O mostra a estrutura deste tipo de agente. % funo de utilidade mapeia estados /ou uma se#uncia de estados4 em nNmeros reais, #ue descrevem o associado grau de felicidade. 'ma completa especificao da funo de utilidade permite decises racionais de dois tipos de casos onde os o$Cetivos so inade#uados. Drimeiro, #uando e istem o$Cetivos conflitantes, somente um dos #uais pode ser alcanado /por e emplo, velocidade e segurana4, a funo de utilidade especifica a troca apropriada. Segundo, #uando e istem muitos o$Cetivos #ue o agente pode mirar, e nenhum dos #uais pode ser alcanado com certe)a, a utilidade prov uma forma em #ue a pro$a$ilidade de sucesso pode ser ponderada contra a importJncia dos o$Cetivos. 'm agente #ue possui uma e pl;cita funo de utilidade pode tomar decises racionais.

11 de =1

Aprendi2ado de agentes
!m um famoso paper anterior, Guring /113@4 considerou a id(ia de programar sua m.#uina inteligente & mo. , m(todo #ue ele propMs ( para construir m.#uinas de aprendi)agem e ento ensin.Flas. !m muitas .reas de B%, isto ( atualmente o m(todo preferido para criao de sistemas no estado da arte. %prendi)ado tem outra vantagemH permite ao agente operar em um am$iente inicialmente desconhecido e se tornar mais competente #ue seu conhecimento inicial so)inho poderia permitir. 'm aprendi)ado de agente pode ser dividido em #uatro componentes conceituais, como mostra a figura =.13. % mais importante distino ( entre o elemento de aprendi%agem, #ue ( respons.vel por fa)er melhorias, e o elemento de performance, #ue ( respons.vel por selecionar aes e ternas. , elemento de performance ( o #ue n7s temos previamente considerado ser o agente inteiroH ele toma as percepes e decide em aes. , elemento de aprendi)agem usa feed$ac:s a partir da crtica de como o agente est. agindo e determina como o elemento de performance deve ser modificado para operar melhor no futuro.

, proCeto do elemento de aprendi)agem depende muito do proCeto do elemento de performance. Zuando tentamos proCetar um agente #ue aprende uma certa capacidade, a primeira #uesto no ( *Como vou coloc.Flo para aprender istoX+ mas *Zue tipo de elemento de performance meu agente necessitar. para fa)er isto uma ve) e aprender como fa)erX+. Dado um proCeto de agente, mecanismos de aprendi)agem podem ser constru;dos para melhorar cada parte do agente. , elemento ?crtica@ di) ao elemento de aprendi)agem #uo $em o agente est. operando com respeito a um padro de performance fi o. % cr;tica ( necess.ria por#ue as percepes por elas mesmas no proveem indicao do sucesso do agente. , Nltimo componente do aprendi)ado do agente ( o gerador de pro(lemas. !le ( respons.vel por sugerir aes #ue iro guiar para novas e informativas e perincias. , ponto ( #ue, se o elemento de performance tem sua forma, ele pode continuar fa)endo as aes #ue so melhores, dado o #ue ele conhece. Mas se o agente est. deseCando e plorar um pouco, e fa)er talve) algumas aes opcionais num curto pra)o, ele pode desco$rir muito melhores aes a longo pra)o. , tra$alho do gerador de pro$lemas ( sugerir estas aes e plorat7rias. =@ de =1

Dara tornar todo o proCeto mais concreto, vamos retornar ao e emplo do t. i automati)ado. , elemento de performance consiste de ignorar colees de conhecimento e procedimentos #ue o t. i tem para selecionar suas aes de direo. , t. i vai a rua e dirige, usando seu elemento de performance. % cr;tica o$serva o mundo e passa informaes para o elemento de aprendi)agem. Dor e emplo, depois #ue o t. i fa) uma virada r.pida & es#uerda entre trs ruas de grande tr.fego, a cr;tica o$serva a linguagem chocante dos outros motoristas. % partir desta e perincia, o elemento de aprendi)agem ( capa) de formular uma regra di)endo #ue a#uilo foi uma ao ruim, e o elemento de performance ( modificado instalando a nova regra. , gerador de pro$lemas pode identificar certas .reas de comportamento necessitando de melhoria e sugerir e perimentos, tal como tentar parar em ruas de diferentes superf;cies, so$re diferentes condies de tempo. , elemento de aprendi)agem pode fa)er mudanas para #ual#uer componente de *conhecimento+ mostrado no diagrama do agente /figuras =.1, =.11, =.1Q e =.1O4. , caso mais simples envolve aprender diretamente a partir de se#uncias de percepes. ,$servaes de pares de sucessivos estados do am$iente podem permitir #ue o agente aprenda *como o mundo evolui+ e o$servaes dos resultados de suas aes podem permitir ao agente aprender *o #ue minhas aes fa)em+. Dor e emplo, se um t. i e erce uma certa presso de frenagem en#uanto dirigindo em uma rua molhada, ento ele ir. em $reve encontrar #uanto de desacelerao ele ir. alcanar.

3esumo
'm agente ( alguma coisa #ue perce$e e age no am$iente. % fun#$o de agente para um agente especifica a ao tomada por um agente em resposta a #ual#uer se#uncia de percepes. % medida de performance avalia o comportamento do agente no am$iente. 'm agente racional age para ma imi)ar o valor esperado da medida de performance, dada a se#uncia de percepes #ue ele v. 'ma especificao de am(iente inclui uma medida de performance, o am$iente e terno, os atuadores e os sensores. DroCetando um agente, o primeiro passo deve sempre ser especificar o am$iente to completamente #uanto poss;vel. %m$ientes variam ao longo de v.rias dimenses significantes. !les podem ser completamente ou parcialmente o$serv.veis, determin;sticos ou estoc.sticos, epis7dicos ou se#uenciais, est.ticos ou dinJmicos, discretos ou cont;nuos e de Nnico agente ou multi agente. , programa do agente implementa a funo do agente. Agentes refle/ivos simples respondem diretamente a percepes, en#uanto um agente refle/ivo (aseado em modelo mantem um estado interno para rastrear aspectos do mundo #ue no so evidentes na percepo atual. Agentes (aseados em o(5etivo agem para alcanar seus o$Cetivos, e agentes (aseados em utilidade tentam ma imi)ar suas pr7prias e pectativas de *felicidade+. Godos os agentes podem melhorar suas performance atrav(s de aprendi%ado.

=1 de =1