Motion Capture

Introduo Tecnologia

Por: Fernando Wagner Serpa Vieira da Silva nando@lcg.ufrj.br LCG Laboratrio de Computao Grfica - COPPE/SISTEMAS Universidade Federal do Rio de Janeiro

Introduo

O conceito de Animao antigo, tendo sido pela primeira vez utilizado pelo cartunista Winsor McKey, em 1911. Winsor conseguiu obter o movimento de um personagem desenhando-o em mltiplos pedaos de papel, que eram visualizados segundo uma certa taxa de amostragem. A evoluo das tcnicas de animao se deu vagarosamente at a utilizao de computadores como ferramenta de desenho. Para produzir o desenho animado Branca de Neve e os Sete Anes, os estdios Walt Disney precisaram desenhar cerca 250.000 quadros, o que tornava impraticvel produes desse tipo. Foi nos estdios Disney que surgiram tcnicas como keyframing, que ainda so utilizadas nos modernos sistemas de animao. O uso de computadores facilita bastante o processo de criao de animaes pois todo o trabalho de interpolao entre os quadros-chave de uma animao realizado automaticamente. Os animadores profissionais tm disposio todo um conjunto de tcnicas de animao como keyframing, simulao e cinemtica. No entanto, certos tipos de movimentos encontrados no mundo real so extremamente complexos para serem representados por meio destas tcnicas, devido ao seu alto grau de complexidade. Tcnicas como keyframing e cinemtica so impraticveis para representar movimentos como o caminhar humano, devido enorme quantidade de articulaes existentes; e o uso de simulao numrica ainda computacionalmente caro. A soluo encontrada foi capturar os movimentos dos objetos reais e ento inser-los no modelo tridimensional criado no computador. Antes de aparecer pela primeira vez em produtos comerciais, em 1993, uma das poucas formas de capturar movimentos para gerar animaes era atravs de um processo chamado rotoscoping, que consistia em desenhar o movimento dos personagens animados sobre imagens de atores reais realizando o movimento desejado, gerando assim animaes bidimensionais. O uso de rotoscoping para a gerao de animaes 3D era limitado, uma vez que os animadores trabalhavam apenas com imagens 2D e no possuiam nenhuma informao tridimensional. Uma outra forma criativa e inteligente de representar movimentos humanos no computador foi desenvolvida no laboratrio de computao grfica do Instituto de Tecnologia da Universidade de Nova Iorque. A tcnica consistia em refletir na tela do computador imagens de um danarino real, que serviriam de guia para a animao de um ator sinttico no computador, utilizando tcnicas de cinemtica tradicional e keyframing. A reflexo da imagem na tela era feita atravs de um espelho especial. Evoluo da tcnica de rotoscoping, Motion Capture, tambm conhecida como Performance Animation, consiste em capturar a posio e/ou orientao de objetos reais atravs de processos ticos ou magnticos. O conjunto de dados capturados contendo a informao sobre os movimentos inserido e mapeado nos modelos 3D dos objetos no computador. Esta tecnologia recente e ainda possui algumas limitaes, porm atualmente sua utilizao ampla, e vai desde filmes como o Toy Story da Pixar, at jogos de computador como o Virtua Fighter, da Sega. Neste texto usaremos a palavra Motion Capture ou sua abreviao MC, para representar o processo de captura em geral. O termo Performance Animation geralmente utilizado para designar o processo onde os dados capturados do ator so

utilizados diretamente (em tempo real) na animao como, por exemplo, o personagem animado Moxy, da Cartoon Network. importante ressaltar que, apesar de ser amplamente utilizada para a captura de movimentos humanos, Motion Capture pode ser utilizada para capturar o movimento de praticamente qualquer objeto existente no nosso mundo. Neste trabalho, daremos nfase a movimentos capturados de seres humanos.

Sistemas de Motion Capture

Nesta seo faremos uma discusso sobre o estgio atual da tecnologia e dos equipamentos utilizados no processo de captura dos movimentos. Podemos dividir os sistemas de Motion Capture em quatro categorias: acsticos, mecnicos, ticos e magnticos. Atualmente, os sistemas mais utilizados so os baseados nas tecnologias tica e magntica, e sero o alvo principal de nosso estudo.

2.1 Estrutura
Sistemas de Motion Capture so, por definio, sistemas que geram para o computador informaes que representam as medidas fsicas do movimento capturado. O processo de captura consiste, de uma forma geral, em vestir um ator com uma roupa especial, onde sero posicionados refletores (sistemas ticos) ou transmissores (sistemas magnticos). Tais marcadores so geralmente posicionados nas chamadas articulaes universais, que so as 19 posies que fornecem o mnimo de preciso para a representao de um movimento humano [Blinn 87]. Em sistemas mecnicos como o Animatton, da Analogus, a roupa especial contm diversos potencimetros, tambm posicionados estrategicamente, que fornecero as posies e orientaes das principais articulaes do performer. Em geral, os sistemas de captura seguem o seguinte pipeline:

Algumas das etapas acima podem ser omitidas, dependendo da tecnologia utilizada no processo. Em 1993, Kalawsky [Kalawsky 93] props o seguinte conjunto de medidas para a especificao de sistemas de captura de movimento humano: Medidas descritivas
 Processo de captura utilizado (acstico, eletromagntico, tico ou mecnico)
 Localizao dos sensores e marcadores (sensores e marcadores no corpo / fora do corpo)
 Parte do corpo processada (espinha, cabea, ombros, braos, pernas, dedos, ris etc.) Medidas estticas
 Resoluo espacial, alcance
 Acurcia espacial
 Linearidade, histeresis, calibragem Medidas dinmicas
 Acurcia dinmica ( = esttica se sistema linear )
 Resoluo temporal, bandwith, alcance da frequncia
 Taxa de amostragem, acurcia temporal, latncia Medidas de preciso
 Estabilidade, durabilidade
 Rudo, interferncia externa (materiais metlicos, ocluso etc.), filtragem, suavidade Medidas de interface
 Interface com o sensor (cmera, transmissores) (voltagem AC/DC, resistncia etc.)
 Suprimento de energia
 Interface com o usurio e modos de operao
 Interface de comunicao com o host (RS232, RS422, IEEE488 etc.)
 Conexo com o ator (com ou sem cabos) Medidas computacionais
 Dados de referncia (joint-based, muscle-based, world-based)
 Formato dos dados (binrio ou ASCII, especificao do formato etc.)
 Representao dos dados (posio como um vetor de tamanho 3, tenso muscular e angular como um escalar, orientaes como ngulos de Euler, matrizes de rotao 3x3 ou quaternions etc.)

Medidas operacionais
 Fator de forma (tamanho e peso dos marcadores/sensores/cabos)
 Espao de trabalho
 Conforto, obtrusividade
 Tempo de preparao para a captura
 Compatibilidade com outros sistemas
 Ambiente de operao (humidade, temperatura)

2.2 Classificao
Podemos utilizar diversas classificaes para os sistemas de Motion Capture atuais. A seguir, analisaremos trs maneiras distintas de classificao: quanto tecnologia utilizada, quanto posio da fonte emissora e dos sensores/marcadores, e quanto forma de obteno dos dados capturados. Utilizando o pipeline descrito na seo anterior, a primeira classificao compreenderia os nveis 2 e 3, a segunda o nvel 2, e a ltima se situaria no nvel 5.

2.2.1

Tecnologia

Esta classificao muito importante pois define explicitamente o processo utilizado para a aquisio dos movimentos. Existem sistemas especficos, de tecnologias diferentes, que so mais indicados para certos tipos de aplicaes. Nesta classificao veremos o estado atual da tecnologia dos sistemas de Motion Capture, juntamente com os prs e contras de cada tipo de sistema. Podemos dividi-los em quatro categorias: acsticos, mecnicos, ticos e magnticos. Os dois ltimos so os mais utilizados hoje em dia, e por isso sero o alvo principal de estudo neste texto.

Sistemas Acsticos
Neste tipo de sistema, um conjunto de emissores sonoros colocado nas principais articulaes do ator, enquanto que trs receptores sensveis so posicionados no local de captura. Os tranmissores so ento sequencionalmente acionados para produzir um rudo caracterstico, que ser captado pelos transmissores, que ento calcularo as posies no espao. O clculo da posio de cada transmissor feita da seguinte forma: utilizando como dados o tempo decorrido entre a emisso do rudo pelo transmissor e o seu recebimento pelo receptor, e a velocidade do som no ambiente, consegue-se calcular a distncia percorrida pelo som, do transmissor at cada um dos receptores. Para

calcular a posio 3D de cada transmissor, feita uma triangulao das distncias deles em relao aos trs receptores. Um dos problemas deste mtodo a dificuldade de obter uma descrio correta dos dados num instante desejado, devido ao carter sequencial do disparo dos transmissores no corpo do ator. Alm disso, os sistemas acsticos sofrem do mesmo tipo de problema dos sistemas magnticos: os incmodos cabos, que prejudiam a movimentao do ator, reduzindo assim o escopo de movimentos que podem ser executados. O nmero de transmissores que podem ser utilizados simultaneamente tambm limitado, o que pode no fornecer uma descrio suficientemente correta do movimento capturado. Sistemas acsticos esto sujeitos a problemas causados pela prpria tecnologia - reflexes do som emitido pelos transmissores ou rudos externos podem afetar o processo de captura e destruir os dados obtidos. Em compensao, este tipo de sistema no possui problemas de ocluso, tpico de sistemas ticos; e interferncia por objetos metlicos, percebido em sistemas magnticos. Somando vantagens e desvantagens, os sistemas acsticos devem ser considerados como a ltima alternativa na hora da aquisio de um equipamento de captura de movimento.

Sistemas Mecnicos
Os sistemas mecnicos de captura no contam com uma tecnologia muito avanada, porm possuem algumas vantagens que os tornam extremamente atraentes, especialmente na indstria cinematogrfica. Geralmente, esse tipo de sistema bem obtrusivo, talvez at mais do que os sistemas magnticos com cabos (analisados adiante). Sistemas mecnicos so compostos de potencimetros e/ou sliders (ver figura 1) que, posicionados nas articulaes desejadas, fornecem suas posies e orientaes em altas taxas de amostragem (tempo real). Uma das vantagens desse tipo de sistema que possuem uma interface parecida com as utilizadas em sistemas de stop-motion, muito utilizados na produo de filmes. Com isso, uma grande quantidade de animadores que utilizavam stop-motion puderam migrar para essa nova tecnologia sem problemas, aumentando a popularidde do sistema. Os sistemas mecnicos so equipamentos de medida absoluta, no sendo afetados por campos magnticos ou reflexes indesejadas, problemas tpicos de sistemas magnticos e ticos. Por isso, no necessitam de um processo longo de calibragem, o que torna a sua utilizao mais fcil e produtiva. Como exemplos de sistemas mecnicos de captura, podemos citar o The Monkey - Digital Poseable Mannequim e o Animatton. O primeiro pode ser considerado como um stop-motion assistido por computador. Nesse sistema, o manequim pode ser qualquer objeto desejado - desde humanides at dinossauros. Um esqueleto articulado composto por potencimetros ento fixado no modelo, fornecendo assim as posies e orientaes impostas ao modelo pelo animador. Fica claro que a taxa de amostragem da captura pode ser to alta quanto for a pacincia do
6

animador. Uma desvantagem deste sistema o realismo, que depende exclusivamente da habilidade do animador em posicionar cada articulao do modelo corretamente, num processo que requer, alm de tcnica, um pouco de arte. Geralmente, esse tipo de sistema mecnico utilizado em conjunto com tcnicas de tcnicas de keyframing e cinemtica. Uma nova tecnologia em sistemas mecnicos de captura foi desenvolvida pela Analogus com o sistema Animatton. Este sistema, desenvolvido exclusivamente para a captura de movimentos humanos, composto por articulaes e potencimetros que so posicionados diretamente no corpo do ator, formando uma verdadeira armadura. A captura feita em tempo real e o sistema requer pouca ou nenhuma calibragem. Alm disso, permite a captura de movimento de mltiplos atores numa mesma sesso. Apesar de ser extremamente obtrusivo (figura 1), este sistema possui vantagens como o preo (em torno de US$ 35,000), o que o torna acessvel para a maioria das produtoras que se utilizam de Motion Capture; e a possibilidade da captura de mltiplos atores numa mesma seo. Veja na tabela a seguir, algumas caractersticas de sistemas mecnicos da captura:
Sistemas Mecnicos Resoluo espacial Acurcia espacial Preciso Taxa de amostragem Campo de trabalho Exemplos de sistemas Softwares compatveis Preo Independente do alcance, ~ 0.5 - 1 graus <= 5 graus de mdia a elevada > 120 FPS1 Ilimitado (depende apenas do comprimento dos cabos de transmisso) Animatton, Digital Monkey, Power Glove Alias | Wavefront, Jack, 3D Studio Max, SoftImage US$ 1,000 a US$ 35,000

Tabela 1 - Informaes tcnicas sobre sistemas mecnicos

Frames per Second 7

Figura 1 - O sistema Animatton

Sistemas ticos
Neste tipo de sistema, o ator veste uma roupa especial coberta com refletores (em geral emissores LED) posicionados nas suas principais articulaes (ver figura 2). Cmeras especiais so ento posicionadas estrategicamente para fazer o tracking desses refletores durante o movimento do ator. Cada cmera gera as coordenadas 2D para cada refletor (obtidas via processo de segmentao). O conjunto dos dados 2D capturados pelas cmeras independentes ento analisado por um software, que fornecer as coordenadas 3D dos refletores.

Figura 2 - Posicionamento dos marcadores em sistemas ticos de captura

Existem algumas variaes entre diferentes sistemas ticos de captura. No sistema MultiTrax, da Adaptive Optics Associates, os marcadores posicionados nas articulaes so refletores que, iluminados por flashes sincronizados de luz infravermelho, so capturados por uma ou mais cmeras. Tambm podem ser utilizados marcadores de outros tipos ( focos de laser e retro-prismas ). O sistema Optotrak, da Northern Digital, utiliza marcadores LED sincronizados, que so rastreados por trs cmeras sensveis ao espectro infravermelho. O software fornecido no sistema utiliza os dados fornecidos pelas cmeras para gerar as coordenadas 3D, orientaes e momentos dos marcadores. Um problema gerado pelos marcadores LED o aquecimento, o que no recomenda a sua utilizao por longos perdos de tempo. O sistema ELITE, da Bioengineering Tech., utiliza marcadores refletivos passivos (hemisfrios de plstico cobertos com material refletivo) e cmeras eletrnicas CCD com LEDs infra-vermelhos em volta das lentes. O software fornecido no sistema utiliza algoritmos de reconhecimento de formas (do tipo shape from shading) para auxiliar o processo de tracking dos marcadores. Existem ainda muitos outros sistemas ticos no mercado. Entre eles, podemos citar o HiRES ExpertVision 3D (Motion Analysis Corp.) e o MacReflex (Optikon Corp.). Os sistemas ticos de captura so os mais caros existentes atualmente, podendo chegar a at U$ 250,000. Seu preo elevado resultado da alta tecnologia utilizada no processo. As cmeras de alta resoluo e os softwares de ltima gerao so os principais responsveis pelo preo elevado. Uma das vantagens da utilizao de sistemas ticos a alta taxa de amostragem, que permite a captura de movimentos rpidos como os utilizados em artes marciais e esportes olmpicos. A taxa de amostragem depende basicamente da capacidade de definio das cmeras utilizadas no processo. Quanto maior resoluo tiverem as cmeras, maior ser a taxa de amostragem. Taxas de amostragem de at 200 quadros/segundo so conseguidas neste tipo processo quando se utilizam cmeras especiais de alta resoluo e velocidade. Veja, na tabela 2, algumas informaes tcnicas complementares sobre os sistemas ticos. Outra vantagem dos sistemas ticos a liberdade que oferecem ao ator durante a execuo do movimento. Ao contrrio dos sistemas magnticos, onde o ator coberto de transmissores e fios, os refletores no oferecem resistncia aos movimentos do ator. Alm disso, no existe limite para o nmero de refletores posicionados no ator, o que permite alcanar um maior nvel de detalhe na representao dos movimentos. O workspace do processo de captura para sistemas ticos muito superior ao dos sistemas magnticos e depende, basicamente, do campo de viso (FOV) das cmeras utilizadas no processo. Um cuidado, porm, deve ser tomado: a iluminao global do ambiente deve ser calibrada de modo a no causar interferncias no processo de tracking dos refletores. A grande desvantagem dos sistemas ticos a ocluso de um ou mais refletores durante o processo de captura. Este tipo de problema mais frequente durante a captura de movimentos de objetos pequenos (dedos das mos) ou de vrios atores interagindo muito prximos uns dos outros. Neste caso, a recuperao da posio 3D do refletor pode ser impossvel, o que compromete todo o processo. A utilizao de um maior nmero de cmeras reduz este tipo de problema.

O problema de ocluso pode ser minimizada com a utilizao de um nmero maior de cmeras e de refletores. Porm existe um trade-off desses fatores: um maior nmero de cmeras acarreta um maior tempo de processamento para a CPU, durante o tracking dos refletores. Ao se aumentar o nmero de refletores, surge o problema de tracking conffusion, ou seja, a difuculdade de indentificar os refletores que esto muito prximos. Este problema diretamente influenciado pela resoluo das cmeras - cmeras de maior resoluo conseguem identificar melhor refletores prximos. Existe ainda a necessidade de um processamento via software dos dados obtidos pelas cmeras para a obteno das informaes 3D, o que no permite a interatividade, que muito importante para a velocidade de produo e reduo de custos operacionais. A utilizao de softwares para o processamento dos dados obtidos pelas cmeras introduz erros de preciso (offset) no processo de obteno dos dados 3D. Em alguns casos, necessrio um processo de filtragem dos dados finais para a eliminao dos erros de preciso e dos rudos introduzidos pelo tracking das cmeras (o SNR uma limitao em certos sistemas ticos).
Sistemas ticos Resoluo espacial Acurcia espacial Preciso Taxa de amostragem Campo de trabalho Exemplos de sistemas Softwares compatveis Preo ~ 0.0015 a 0.2 % do FOV2 ~ 0.004 a 0.5 % do FOV ~ 0.0055 a 0.02 % do FOV > 200 FPS3 (geralmente) raio de 1 a 4 m ExpertVision HiRES 3-D System, Multitrax Motion Capture System, OPTOTRAK ZoeTrax, The Creative Motion Editor, PowerAnimator V7 US$ 20,000 a US$150,000

Tabela 2 - Informaes tcnicas sobre sistemas ticos

Sistemas Magnticos
Os sistemas magnticos de captura se caracterizam pela velocidade de processamento dos dados capturados (tempo real). Neste tipo de sistema, emprega-se um conjunto de receptores que so posicionados nas articulaoes do ator. Tais receptores medem a posio 3D e orientao das articulaes em relao a uma antena transmissora, que emite um sinal de pulso. Cada receptor necesita de um cabo para se conectar antena. Os sistemas magnticos so mais acessveis em termos de preo. Sua tecnologia tambm menos sofisticada que a utilizada nos sistemas ticos. Existem sistemas magnticos simples e sofisticados, que vo desde US$ 5,000 (Polhemus InsideTrak) a US$ 33,000 (Ascension Flock of Birds). O preo desse tipo de sistema
2 3

Field of Vision Frames per Second 10

depende basicamente do nmero de receptores que conseguem ser processados simultaneamente. Pode-se, por exemplo, adquirir um Flock of Birds com poucos receptores por at US$ 3,000. Os sistemas magnticos mais conhecidos so o Ultratrak Pro (figura 3), da Polhemus e o Flock of Birds, da Ascension. Neste ltimo, por exemplo, um conjunto de at 30 receptores conectado ao ator, fornecendo assim a orientao e posio de suas principais articulaes. Algumas vantagens dos sistemas magnticos so o baixo custo computacional para o processamento dos dados, maior preciso dos dados (no existem problemas de ocluso) e o baixo custo do equipamento. Com uma taxa de amostragem que gira em torno de 100 FPS, os sistemas magnticos so ideais para a captura de movimentos mais simples. A maior desvantagem deste tipo de sistema so os diversos cabos que conectam os receptores antena. Tais cabos restringem o movimento do ator, no permitindo deste modo que movimentos complexos e rpidos possam ser representados com naturalidade. Felizmente, algumas empresas j esto desenvolvendo sistemas magnticos que no possuem cabos. Podemos citar, por exemplo, o Motion Star, da Ascension. Uma outra desvantagem do processo magntico a interferncia causada por objetos de metal prximos ao local de captura. Campos magnticos so extremamente sensveis a objetos metlicos. At mesmo a estrutura do prdio pode causar alguma interferncia.

Figura 3 - O sistema UltraTrak Pro

Veja a seguir uma tabela contendo algumas caractersticas de sistemas magnticos.

11

Sistemas Magnticos Resoluo espacial Acurcia espacial Preciso Taxa de amostragem Campo de trabalho Exemplos de sistemas ~ 0.005 a 8 mm; ~ 0.025 a 0.1 graus ~ 0.8 a 5 mm; 0.1 a 3 graus elevada ~ 100 FPS raio de 1 a 2 m A Flock of Birds, ULTRATRAK, FASTRAK, INSIDETRAK Alias | Wavefront, 4Dvision, SoftImage, Kinemation 3.0, 3D Studio MAX, PowerAnimator V7, Photo4D US$ 5,000 a US$ 70,000

Softwares compatveis Preo

Tabela 3 - Caractersticas dos sistemas magnticos

2.2.2

Fonte Emissora x Sensores/Marcadores

Uma classificao interessante, proposta em [Mulder 94], divide os sistemas de captura em trs categorias: inside-in, inside-out e outside-in. A semntica desta classificao simples: a primeira palavra refere-se localizao do sensor ou marcador no sistema (inside, se o sensor est no corpo do ator; e outside, caso esteja fora). J a segunda palavra indica a posio da fonte emissora (por exemplo, a cmera dos sistemas ticos), em relao ao corpo do ator. Veja, na figura 4, uma imagem ilustrando os componentes tpicos de sistemas de captura de movimento.
 Sistemas Inside-in Neste tipo de sistema, os sensores e a fonte transmissora esto localizados no prprio corpo do performer. Um exemplo de sistemas deste tipo a Power Glove (Nintendo-Mattel), que utiliza sensores flexveis para captar orientaes. Os sensores deste tipo de sistema geralmente possuem um baixo fator de forma e, consequentemente, so os mais indicados para a captura de movimentos de objetos pequenos (dedos das mos, olhos etc.). Seu workspace ilimitado devido sua restrio espacial ao corpo do ator, porm so considerados extremamente obtrusivos. As coordenadas obtidas por sistemas deste tipo so, geralmente, desprovidas de informao 3D, fornecendo somente orientaes relativas. Sistemas mecnicos de captura como o Digital Monkey esto inseridos nesta categoria.
 Sistemas Inside-out So sistemas onde os sensores esto conectados ao corpo do ator, e que respondem a sinais emitidos por uma fonte emissora externa. Sistemas magnticos e acsticos esto nesta categoria. O workspace e a preciso de sistemas inside-out so limitados devido ao uso de fontes externas, mas os dados obtidos fornecem uma boa descrio 3D dos sensores/marcadores. Alm disso, o seu fator de forma mais alto restringe sua utilizao captura de partes maiores do corpo.
12


 Sistemas Outside-in Em sistemas deste tipo, a fonte emissora est localizada no corpo do ator, enquanto que os sensores externos capturam seus sinais. Em sistemas ticos, a fonte emissora so os marcadores cobertos com material refletivo, que refletem a luz emitida por flashes. Tais reflexes so captadas pelos sensores, que so as cmeras. Sistemas deste tipo sofrem do problema de ocluso e possuem um workspace limitado, porm possuem o menor grau de obtrusividade. Outro exemplo de sistemas outside-in so os utilizados para o tracking da pupila e da crnea.

Figura 4 - Componentes tpicos de sistemas de Motion Capture

2.2.3

Aquisio Direta x Indireta

Essa uma classificao importante pois fornece uma indicao de como so obtidos os dados capturados: direta ou indiretamente. Sistemas de aquisio direta so aqueles cujos dados obtidos no necessitam de nenhum processamento posterior captura. Em geral, sistemas de aquisio direta so os mais obtrusivos e possuem uma baixa taxa de amostragem. Esto includos nessa categoria os sistemas acsticos, mecnicos e magnticos. Note que, apesar de no haver a necessidade de um ps-processamento dos dados, geralmente aplicado um procedimento de filtragem para melhorar a qualidade e eliminar rudos. Os sistemas de aquisio indireta permitem uma maior liberdade ao performer e possuem uma alta taxa de amostragem. Porm, devido a sua alta tecnologia, so extremamente caros. Nesse tipo de sistema, os dados obtidos durante o processo so agrupados e analisados, geralmente atravs de um software poderoso, de modo a gerar o produto final. Este fato inviabiliza a utilizao de sistemas deste tipo em aplicaes que necessitam de interatividade, porm os tornam mais precisos e mais indicados
13

para a capura de movimentos complexos e rpidos. Sistemas ticos se encaixam nesta classificao.

2.2.4

Comparao 1: tico vs. Magntico

Dependendo da aplicao desejada, diversos fatores devem ser levados em conta na hora da aquisio ou utilizao de um equipamento de captura. A tabela apresentada a seguir apresenta uma comparao entre as caractersticas dos sistemas de Motion Capture disponveis atualmente.
Sistemas ticos Caractersticas principais dos sistemas Dados obtidos Taxa de amostragem Processamento dos dados Conjunto de cmeras, fazendo o tracking 2D dos refletores para posterior converso para 3D Posio XYZ dos refletores > 200 FPS Tracking via software dos conjuntos de posies 2D para posterior gerao de coordenadas 3D Alta taxa de amostragem (captura de movimentos mais complexos), nmero de refletores ilimitado, liberdade dos atores durante o processo Ocluso de refletores, necessita tracking via software para gerao de coordenadas 3D, alto custo do equipamento, menor preciso dos dados US$ 150,000 a US$ 250,000 Motion Analysis Corp., Adaptive Optics Associates, Northern Digital Inc. ExpertVision HiRES 3-D System, Multitrax Motion Capture System, OPTOTRAK Tsi, Acclaim, OZ, Pixar, Boss Films, Pacific Data Images ZoeTrax, The Creative Motion Editor, PowerAnimator V7 Sistemas Magnticos Transmissores magnticos passam posio XYZ e orientao dos marcadores Posio XYZ + orientao dos marcadores Cerca de 100 FPS Tempo real (direto do transmissor para o visualizador) Processamento em tempo real, baixo custo do equipamento, obteno de coordenadas 3D + orientaes das articulaes, maior preciso dos dados Restrio do movimento dos atores, limitao do nmero de marcadores, objetos de metal interferem nos resultados US$ 5,000 a US$ 70,000 Polhemus, Ascension Technology, Acclaim Inc., SimGraphics A Flock of Birds, UltraTrak, FastTrak, InsideTrak Motek, Magnet Studios, Colossal Pictures, R/Greenberg Associates, Lamb & Company Alias | Wavefront, 4Dvision, SoftImage, Kinemation 3.0, 3D Studio MAX, PowerAnimator V7, Photo4D

Principais vantagens

Principais desvantagens

Preo mdio Principais fornecedores de hardware Exemplos de sistemas de aquisio Produtoras atualmente utlizando esta tecnologia Softwares compatveis

Tabela 4 - Comparao entre sistemas ticos e magnticos

14

O Formato dos Dados Capturados

Existem atualmente diversas empresas especializadas em captura de movimentos. Tais empresas fornecem servios de captura e/ou aluguel de seus equipamentos. O formato de dados gerado pelas empresas depende, basicamente, do tipo de sistema utilizado no processo de captura. No geral, um arquivo de dados MC contem o nmero total de quadros gravados, uma descrio dos marcadores (nomes, posio inicial etc.) e suas posies ao longo dos quadros da animao. Informaes adicionais como fatores de escala (para o mapeamento dos dados nos modelos do computador) e dados sobre a cmera (FOV, posicionamento etc.) podem ser adicionados pelos fornecedores. Neste texto sero analisados dois tipos de arquivos ASCII: o VPM (Viewpoint Motion File), fornecido pela Viewpoint utilizando os servios da empresa BioVision, especializada em Motion Capture; e o arquivo XTK (XIST TRACKING), produzido pela empresa Vierte Art.

3.1 O formato VPM

Os arquivos VPM contm as informaes necessrias para a reproduo da performance de um ator real no universo 3D do computador. As informaes so relativas a um corpo segmentado, que equivalente diviso do corpo do ator em segmentos independentes, dependendo da posio dos marcadores utilizados no processo de captura. Estes segmentos so fornecidos em arquivos 3DS, tambm da Viewpoint, e que contm um modelo 3D e um bounding box para cada segmento descrito no arquivo VPM. Estes objetos ajudam no posicionamento adequado dos pontos de pivot para a rotao em cada segmento, alm dos fatores de escala e orientao. possvel mapear os dados de um arquivo VPM em outras estruturas humanas diferentes das fornecidas pela Viewpoint, porm elas devem possuir os mesmos fatores de escala e as mesmas posies de pivot nos segmentos, para produzir uma animao perfeita. Os arquivos VPM contm informaes para cada segmento do corpo, e so formadas por um header e nove canais de dados. O header de cada segmento tem a seguinte sintaxe: Segment: name Frames: number Frame Time: seconds channel1 label channel2 label units units

Os nove canais contm as posies XYZ, rotaes e fatores de escala do segmento durante a animao. Estes dados esto ordenados em number linhas, onde number representa o nmero de quadros da animao. Os segmentos so independentes uns dos outros e so referenciados segundo um sistema de coordenadas right handed, com o os eixos X e Z no cho e eixo Y apontando para cima (ver figura
15

5). A ordem correta de aplicao das transformaes no modelo a seguinte: a translao XYZ deve ser aplicada primeiro, de modo a mover os segmentos para a posio correta no espao; ento os segmentos so orientados aplicando-se as rotaes na ordem X-Z-Y e, por ltimo, os fatores de escala devem ser adicionados, de modo a fazer com que os segmentos possuam o mesmo tamanho dos utilizados pelo ator. Veja a seguir um trecho de cdigo de um arquivo VPM (zwalk.vpm), que representa o movimento de caminhar de um ator.

Segment: Hips Frames: 86 Frame Time: 0.033333 XTRAN YTRAN ZTRAN XROT YROT ZROT XSCALE YSCALE ZSCALE INCHES INCHES INCHES DEGREES DEGREES DEGREES PERCENT PERCENT PERCENT 0.34 38.43 4.03 11.67 -4.68 2.80 423.06 423.06 423.06 0.42 38.57 5.26 11.64 -4.06 2.72 423.06 423.06 423.06 0.46 38.64 6.45 11.58 -2.99 2.18 423.06 423.06 423.06 0.51 38.67 7.62 11.75 -1.06 1.90 423.06 423.06 423.06 0.58 38.74 8.81 11.75 0.80 2.00 423.06 423.06 423.06 0.60 38.82 9.97 11.88 2.14 1.77 423.06 423.06 423.06 0.53 38.88 11.08 12.01 2.91 0.80 423.06 423.06 423.06 0.43 38.91 12.21 11.83 3.61 -0.48 423.06 423.06 423.06 0.38 38.92 13.37 11.44 4.65 -1.43 423.06 423.06 423.06 0.36 38.87 14.54 11.03 5.78 -1.92 423.06 423.06 423.06 0.37 38.78 15.74 10.84 6.82 -2.07 423.06 423.06 423.06

Figura 5 - O sistema de coordenadas dos arquivos VPM

3.2 O formato XTK

Os arquivos do tipo XTK so semelhantes aos do tipo VPM, porm possuem algumas informaes adicionais como, por exemplo, a hora e data da gravao do movimento. Alm disso, permite a utilizao de smbolos especiais para comentrios. Os arquivos XTK foram originalmente desenvolvidos para a captura de expresses
16

faciais, mas podem ser utilizados para armazenar dados de outras partes do corpo. As seguintes observaes so vlidas para arquivos XTK:



 A primeira linha deve contm o header X-IST Comentrios so iniciados pelos caracteres # ou // Valores so assinalados na forma KEYWORD=value (separados pelo sinal =) Blocos de dados so iniciados por um rtulo LABEL: (varivel) e finalizados por um rtulo END. O rtulo inicial LABEL deve ser seguido pelo caracter :
 Os blocos de dados so nicos, no podendo existir nomes de blocos iguais em um mesmo arquivo XTK Veja a seguir o exemplo de um arquivo no formato XTK. X-IST: # primeira linha deve ser sempre X-IST: // isto tambm um comentrio // verso do formato X-IST (VERSION=version(*100) VERSION=101 // identificao do programa CREATED=XIST_FTR 1.01 VIERTE ART, Munich // data e hora da gravao (dd.mm.yy TIME=10.5.95 10:37:01 hh.mm.ss)

// bloco para comentrios diversos TEXT: Preste ateno nos movimentos suaves dos olhos! END // frame rate de gravao/segundo // PAL rate = 25, NTSC rate = 30 RATE=25 // descrio das reas de busca SEARCHAREAS: // nmero do marcador = x1 y1 x2 y2 xa ya // xa e ya descrevem a posio do marcador em uma face 1=5 6 100 200 50 102 2=6 8 100 200 48 78 END

17

// descrio dos marcadores (bloco opcional) MARKERS: 1=Pupila esquerda 2=Sombrancelha direita END // posies de todos os marcadores adicionais na cabea. // bloco necessrio somente se foi feita a utilizao // de marcadores adicionais // nmero_do_marcador=x y ADDMARKERPOS: 18=700 60 19=750 60 END // canais ativos no arquivo CHANNELS: // nmero_do_canal, opcionalmente seguido por = 0 1 8=marcador 5.x 9=marcador 5.y // Obs: no ha verificao da correspondncia entre // marcadores e relaes entre os canais END // nmero total de quadros gravados (inteiro >0) FRAMES=2 // // // // bloco de dados dos quadros e canais cada linha contm a informao de um quadro valores normalizados entre 0.0 e 1.0, de acordo com o tamanho do bounding box

DATA: 0.0 0.0 0.0 // quadro 1: canais // canais 0 e 1 so // canais 8 e 9 so 0.1 0.2 -0.1 -0.3 // quadro 2: canais END

0 1 8 9 relativos aos marcadores 1.x e 1.y relativos aos marcadores 5.x e 5.y 0 1 8 9

// fim do arquivo XTK

18

END

Aplicaes de Motion Capture

4.1 Cinema e Televiso

O uso de Motion Capture facilita o trabalho de animadores, que esto gradualmente migrando do tradicional keyframing para esta nova tecnologia. A rapidez de produo e o realismo da animao gerada torna este tipo de processo extremamente interessante para as produtoras de efeitos especiais e de televiso. Filmes recentes como Species [Boss 96], Toy Story, Independence Day e Batman Forever j utilizam esta tecnologia. Alguns canais de televiso tambm j criaram programas que so apresentados por atores virtuais, cujos movimentos foram capturados via Motion Capture. Um exemplo Moxy, que apresenta um programa de desenhos no Cartoon Network. Moxy utiliza uma mistura de animao convencional com Motion Capture, pois os dados capturados de um ator real so mapeados em um personagem animado dos desenhos, necessitando assim de algumas expresses caractersticas deste tipo de personagem. Outro exemplo do uso de Motion Capture em programas de televiso o personagem Weldon (figura 6), uma simptica ovelha que contracena com atores reais, em um programa de muito sucesso na TV.

Figura 6 - A ovelha Weldon

4.2 Jogos Interativos

Motion Capture provocou uma revoluo na indstria dos jogos de computador. Movimentos que antes eram complicados de serem reproduzidos agora so fceis de serem aplicados aos personagens dos jogos, criando uma nova dimenso
19

de realismo. Em jogos de luta, a qualidade dos movimentos vsivelmente melhor naqueles que utilizam a tcnica de Motion Capture. Como exemplo de jogos que utilizam esta tcnica, podemos citar o Virtua Fighter (figura 7) e o FX Fighter [FX 95].

Figura 7 - Utilizao de MC em jogos

4.5 Pesquisa
Sendo uma tecnologia nova, Motion Capture ainda possui muitas limitaes e abre espao para diversas frentes de pesquisa. A seguir discutiremos alguns problemas e rumos de pesquisa inerentes esta tecnologia. 1. Melhoramento de Tcnicas de Tracking. Como foi estudado anteriormente, o problema de ocluso dos marcadores nos sistemas ticos crtico. Tcnicas de tracking mais sofisticadas e apropriadas para Motion Capture podem ser desenvolvidas. 2. Anlise e Modificao de Movimentos Capturados. Cada arquivo de dados capturados define um conjunto limitado e especfico de aes. Alm disso, as informaes que esto no arquivo definem um script de movimento do personagem na cena, inviabilizando portanto um controle interno destes dados. Uma linha de pesquisa interessante seria analisar certos tipos de movimentos capturados para ento criar novos tipos de movimentos a partir deles. 3. Concatenao e Fuso de Diversos Movimentos Capturados. Como foi citado anteriormente, nem sempre os movimentos capturados esto num mesmo arquivo MC. Uma idia interessante [Wagner, Roma 96] concatenar diversos movimentos capturados, de arquivos diferentes, e desenvolver um algoritmo que permita a fuso desses movimentos, respeitando as restries de um ser humano. Poderia-se ento criar uma base de movimentos que seria utilizada para dar uma maior liberdade ao animador e gerar movimentos mais complexos. 4. Combinao de Motion Capture com outras Tcnicas de Animao. Sistemas de animao podem combinar as vantagens de Motion Capture com tcnicas como keyframing [Watt 92], animao procedural [Perlin 95] e simulao numrica, proporcionando assim um maior poder de criao de animaes realistas.
20

5. Tcnicas de Mapeamento de Dados Capturados. Nem sempre se deseja animar realisticamente seres humanos. No filme Jurassic Park, por exemplo, o movimento de um elefante foi capturado para dar vida aos dinossauros virtuais no computador. Tcnicas para mapear movimentos de seres reais em objetos ou seres que no existem so um interessante campo de pesquisa. Na figura 8, podemos observar um exemplo de mapeamento de dados obtidos via MC de atores reais em um objeto no-humano no computador.

Figura 8 - Mapeamento de dados MC

Referncias

[IMPA 96] - Velho, L., Jonas, M. G., Roma, P. C., Wagner, F. S. V. S., Motion Capture, Apostila de referncias para consulta interna do IMPA, brevemente disponvel via WWW. [Wagner, Roma 96] - Wagner, F. S. V. S., Roma, P. C., Animaes Complexas em Tempo Real utilizando Movimentos Capturados, Anais do SIBGRAPI96, Outubro 1996. [Watt 92] - A. Watt, A. Watt, Advanced Animation and Rendering Techniques Theory and Practice, Addison-Wesley, 1992. [Perlin 95] - K. Perlin, Real Time Responsive Animation with Personality, IEEE Transactions on Visualization and Computer Graphics, 5-15, Vol. 1, no. 1, March 1995. [Blinn 87] - J. Blinn, Nested Transformations and Blobby Man, IEEE Transactions on Graphics, 59-65, October 1987. [Boss 96] - Boss Film Studios, http://www.boss.com [FX 95] - Motion Capture vs Keyframing, http://?

21

[Kalawsky 93] - The Science of Virtual Reality and Virtual Environments, pp 277291, 135-164, 187-197. Addison-Wesley. Wokingham, England, 1993. [Mulder 94] - Mulder, A., Human Movement Tracking Technology, Technical Report 94-1, School of Kinesiology of the Simon Fraser University, July 1994.

22