Avaliação Colaborativa: um Estudo

com a Ferramenta Moodle Workshop

Wallace Ugulino, Aline de Miranda Marques, Mariano Pimentel, Sean W. Siqueira

Departamento de Informática Aplicada

Universidade Federal do Estado do Rio de Janeiro (UNIRIO)
Av. Pasteur, 458 – Urca – 22.290-240 – Rio de Janeiro – RJ – Brasil
{wallace.ugulino, aline.marques}@uniriotec.br, pimentel@unirio.br,
sean@uniriotec.br

Abstract. To promote the learner engagement, some works have been

developed in order to make the learning environment collaborative, in which
the learners are active agents pursuiting knowledge. In this environment,
assessment plays an important role and is a good opportunity to collaborative
knowledge building. This paper presents an exploratory case study in which
problems in applying the collaborative assessment technique with the Moodle
Workshop system were identified. The main contribution of this work is to
present a set of functionalities needed to improve the use of the collaborative
assessment technique in Moodle.

Resumo. Uma das maneiras de promover maior engajamento dos aprendizes

nas atividades educacionais é tornar o ambiente educacional colaborativo e
fazer do aprendiz um agente ativo na busca do conhecimento. No ambiente de
aprendizagem colaborativa, a avaliação tem papel importante e é uma
oportunidade de construção do conhecimento pela colaboração. Neste artigo
é apresentado um estudo de caso exploratório em que foram identificados
problemas na aplicação da técnica de avaliação colaborativa com a
ferramenta Moodle Workshop. A principal contribuição deste trabalho é a
proposta de um conjunto de funcionalidades para melhorar o uso da técnica
de avaliação colaborativa através do aplicativo Moodle.

1. Introdução
Em ambientes de educação colaborativa, onde o aluno tem papel ativo na aquisição de
conhecimento e o professor atua como um mediador, a avaliação é uma oportunidade de
estender a colaboração e possibilitar a construção do conhecimento através da interação
[Shen et al. 2008]. Entretanto, apoiar e implantar a avaliação colaborativa não é trivial e
tem sido alvo de estudos [Escovedo et al. 2006] [Ellis and Hafner 2005] [Trahasch
2004]. Em contrapartida, ensino e avaliação tradicionais favorecem estratégias de
aprendizagem caracterizadas basicamente por um estudo focado apenas em obter
aprovação em provas e exames [Shen et al. 2008] [Sitthiworachart and Joy 2003].
Neste artigo é apresentado um estudo exploratório, realizado numa turma de pós-
graduação, em que a técnica de avaliação colaborativa foi adotada. A maior parte dos
respondentes, 71,4%, disse que a qualidade da contribuição das avaliações recebidas
para o trabalho foi alta ou muito alta. Quase todos os participantes, 95,2%, disseram que

XX Simpósio Brasileiro de Informática na Educação, Florianópolis - SC - 2009, ISSN: 2176-4301

 avaliar os colegas contribuiu positivamente para o aprendizado na disciplina. Apesar dos
indícios positivos, foram encontrados problemas ao realizar o processo de avaliação
colaborativa com uma ferramenta especificamente projetada para esse fim: o Moodle
Workshop.
Na presente pesquisa, foi realizada uma revisão da literatura sobre aprendizagem
colaborativa, conforme apresentado na Seção 2 e uma comparação das ferramentas
disponíveis para suporte à avaliação colaborativa, apresentada na Seção 3. Foi realizado
um estudo de caso exploratório com a ferramenta Moodle Workshop, especificamente
projetada para educação online. O estudo e os problemas encontrados são descritos na
Seção 4. A partir dos estudos, foram propostas algumas funcionalidades para serem
implementadas na ferramenta Moodle Workshop, descritas na seção 5. Conclusão e
trabalhos futuros são discutidos na Seção 6.

2. Aprendizagem Colaborativa
A Aprendizagem Colaborativa é caracterizada pela promoção da interação entre
aprendizes e professores e por possibilitar a construção do conhecimento [Stahl 2006].
Através das interações, cada aprendiz tem a liberdade de expor suas idéias, compartilhar
entendimentos e questionamentos, sendo um participante ativo e responsável pela sua
própria aprendizagem e pela aprendizagem do grupo. Assim, valoriza-se a participação
do aprendiz e suas competências em resolver problemas [Fuks et al. 2006]. No ambiente
colaborativo, o professor passa a atuar como um mediador, deixando o papel de
autoridade que predomina no processo de ensino tradicional. Na Figura 1, são
apresentados esquematicamente alguns processos de ensino-aprendizagem.

Figura 1: Processos Educacionais (ilustração produzida nesta pesquisa)

XX Simpósio Brasileiro de Informática na Educação, Florianópolis - SC - 2009, ISSN: 2176-4301

 No ambiente de ensino tradicional o processo é centrado no professor, o qual
prepara o conteúdo da sua disciplina e apresenta para o aluno. Neste, o aluno assume
uma postura passiva frente aos conteúdos que lhes são apresentados, se comportando
como um recipiente de informações. Diferentemente, nos processos de aprendizagem
colaborativa, pressupõe-se que a colaboração é positiva para a aprendizagem. Espera-se
que os alunos construam conhecimento através das interações, da comunicação. São
processos construídos sob o paradigma do sócio-interacionismo de Vygotsky (1934).
Na aprendizagem colaborativa baseada em discussão, são usadas técnicas de
comunicação para promover a discussão entre os aprendizes. Um exemplo é o processo
usado no curso TIAE [Fuks et al. 2006], onde as discussões acontecem em dois
momentos: um seminário educacional, apoiado por uma ferramenta do tipo fórum, ao
longo da semana, e um debate educacional no fim da semana, apoiado por uma
ferramenta de bate-papo específica, onde se discutem tópicos selecionados do
seminário.
Na aprendizagem colaborativa baseada em projeto, o processo se inicia com a
definição dos projetos a serem elaborados pelos grupos. No decorrer do processo, os
aprendizes desenvolvem os projetos e os apresentam para a turma, favorecidos por um
ambiente onde as discussões promovem contribuições para o projeto. O processo de
aprendizagem colaborativa baseada em projeto é usado no estudo apresentado neste
artigo. O objetivo com a escolha da aprendizagem colaborativa baseada em projetos é
fomentar a construção de conhecimento pela resolução de um problema, promover o
comportamento investigativo dos aprendizes, ao mesmo tempo em que se usa a
colaboração, que se pressupõe ser positiva para a aprendizagem [Vygotsky 1934].

3. Avaliação nos Processos de Aprendizagem

A avaliação é um instrumento valioso do processo ensino-aprendizagem, pois é uma
tentativa de identificar se os objetivos educacionais propostos foram alcançados.
Através da avaliação, o professor tenta obter indícios sobre a participação do aprendiz
no desenvolvimento das tarefas e o aprendiz pode refletir sobre algumas de suas
dificuldades. Nesse sentido, é importante que a avaliação deixe de ser um instrumento
exclusivo do professor. É importante possibilitar que o aprendiz reflita sobre suas
atividades e suas dificuldades. Para a auto-reflexão do aprendiz, pode-se usar, por
exemplo, a auto-avaliação. Para casos em que a avaliação é realizada por mais de um
avaliador, a avaliação é classificada como colaborativa.
Quanto ao momento em que ocorre, a avaliação pode ser classificada como:
Somativa, Formativa e Diagnóstica [Lopes 2007]. A avaliação diagnóstica é usada no
início do processo, para analisar o perfil do aprendiz, habilidades e limitações, com o
objetivo de adequar o processo de ensino às suas necessidades [Lopes 2007]. A
avaliação formativa é usada durante o desenvolvimento das atividades para que o
professor possa tomar conhecimento do efeito de seu trabalho pedagógico e para que o
aprendiz possa tomar consciência de suas dificuldades, reconhecer e corrigir seus erros
durante o processo de aprendizagem [Otsuka 2006]. A avaliação somativa é usada
pontualmente, em um momento específico de um curso, por exemplo: ao final de um
conteúdo didático. Serve para verificar de forma concentrada os resultados obtidos no

XX Simpósio Brasileiro de Informática na Educação, Florianópolis - SC - 2009, ISSN: 2176-4301

 processo de ensino-aprendizagem [Lopes 2007]. A aplicação de qualquer uma destas
modalidades de avaliação deve estar adequada ao plano pedagógico adotado.
A avaliação deve contribuir para o desenvolvimento do senso crítico e para
capacitar os aprendizes a refletir sobre os conteúdos através de análises e sínteses de
atividades. É uma oportunidade de construção coletiva de conhecimento.
Desenvolvimento de senso crítico, análise e reflexão são objetivos alcançáveis através
da avaliação colaborativa. Na presente pesquisa, investiga-se o uso da avaliação
colaborativa com os seguintes possíveis papéis de avaliador: avaliador externo
(especialista), avaliador interno (professor), avaliação por pares (comissão interna de
aprendizes), avaliação por comissão externa (comissão de avaliadores externos) e auto-
avaliação. Os aprendizes avaliam o próprio trabalho, os trabalhos dos seus colegas,
assim como, são avaliados pelos mesmos, pelo professor e/ou por avaliadores externos.
Dividir a responsabilidade de avaliação, entre os diversos papéis, possibilita olhares
diferentes para o mesmo trabalho, o que aumenta as possibilidades de identificação de
pontos de melhoria e de pontos positivos no trabalho realizado. Algumas ferramentas
disponíveis nos sistemas de gestão de aprendizagem que dão suporte à avaliação
colaborativa foram investigadas, como esquematizado na Tabela 1:
Tabela 1. Quadro comparativo de ferramentas para avaliação colaborativa
Tipo Escala Pesos Justifica
Avaliadores Critérios Relatório
Tradicional de Valor Avaliador -tiva

Comentário / critério
Comentário Único
Avaliador Externo

Avaliador Externo
Auto-Avaliação

Auto-Avaliação
Colaborativa

Sumarizado
Quantitativa
Diagnóstica

Qualitativa

por Tarefa
Formativa

Professor

Professor

por Aluno
Somativa

Múltiplos

Critério
Pares

Pares
Único

Moodle






-




-

-





AulaNet

- - - -
- - -

- - -
-
-



TelEduc
SMA*

- - - -
-




- -
-
-



Issue Net






-





-
-

O Moodle possui um módulo denominado Workshop (Laboratório de

Avaliação, na versão em português) que possibilita a realização do processo de
avaliação por pares, avaliação feita pelo professor, auto-avaliação e a avaliação do
professor para as avaliações realizadas pelos pares. O cálculo da nota final dos trabalhos
é automático. Além de permitir diversos papéis de avaliadores, possibilita também:
definir múltiplos critérios para a avaliação de uma determinada tarefa e atribuir pesos a
cada critério, assim como, possibilita o registro de comentários para cada critério. Ao
final do processo de avaliação, o aluno pode visualizar suas notas em cada tarefa ou
agrupadas em um relatório final das avaliações. O professor tem acesso a um relatório
com as notas de todos os alunos. O Workshop do Moodle é disponibilizado em todas as
sub-versões inferiores à versão 2.0, embora venha desabilitado por padrão. Moodle
Workshop foi a ferramenta escolhida para os estudos exploratórios desta pesquisa. A
opção por contribuir com o desenvolvimento do Moodle é em função de sua
popularidade e do fato de ser um software livre e de código aberto, com comunidade
atuante.

XX Simpósio Brasileiro de Informática na Educação, Florianópolis - SC - 2009, ISSN: 2176-4301

 Num Sistema Multi-Agentes (SMA) para avaliação, aplicado no TelEduc, foram
previstos requisitos para incorporação da avaliação colaborativa. Entretanto, na versão
apresentada em [Otsuka 2006], não foi desenvolvida a funcionalidade, o foco foi para a
avaliação formativa. O IssueNet [Escovedo 2007] é um framework para avaliação
colaborativa, testado no AulaNet. A versão disponível do AulaNet não incorpora os
recursos do framework IssueNet.

4. Estudo de Caso Exploratório: Avaliação Colaborativa em um Workshop

na Disciplina
Foi realizado um estudo exploratório [Yin 2005] numa turma de pós-graduação em
informática, na disciplina de metodologia de pesquisa científica. A turma possuía 27
alunos, que submeteram seus trabalhos para avaliação pelos colegas e pelo professor,
além de também realizarem a auto-avaliação. Cada aluno avaliou o trabalho de outros 2
alunos, selecionados aleatoriamente, e foi orientado a avaliar seu próprio trabalho.
Todos usaram o mesmo formulário de avaliação. O professor avaliou todos os trabalhos
e também avaliou a avaliação feita por cada participante. O objetivo com o processo foi
simular o que acontece em conferências de trabalhos científicos.
Como instrumentos de coleta de dados, foram utilizados: registros do sistema
(logs), entrevistas semi-estruturadas, que foram roteirizadas e analisadas segundo o
MEDS [Nicolaci-da-Costa 2007], e um questionário com perguntas fechadas (16) e
abertas (3). Os três instrumentos foram usados com o objetivo de se fazer um
cruzamento e verificar indícios de problemas na ferramenta ou na dinâmica realizada.
Todos os nomes de alunos e professor são fictícios para proteger a identidade dos
participantes. Alguns alunos responderam ao questionário de forma anônima (foi
opcional).
Dos 27 alunos, 21 responderam voluntariamente o questionário e 12 foram
entrevistados. Entre os respondentes do questionário, 15 foram homens e 6 mulheres.
Mais da metade (52,38%) possuía mais de 30 anos na época do estudo. Onze alunos,
52,38% dos respondentes, declararam já ter participado de algum curso com avaliação
colaborativa. Sobre o resultado da avaliação, 38,09% dos respondentes disseram achar o
resultado injusto ou regular, enquanto 61,9% declararam que a avaliação recebida foi
justa ou muito justa. A maior parte dos respondentes, 71,4%, disse que qualidade da
contribuição das avaliações recebidas para o trabalho foi alta ou muito alta. Avaliar os
trabalhos dos colegas contribuiu positivamente para o aprendizado na disciplina,
segundo 95,24% dos alunos respondentes.
Apesar dos números positivos, foram encontrados problemas relevantes, como:
ausência de comentários nas avaliações recebidas, dificuldade de percepção do processo
em curso e usabilidade inadequada da ferramenta. Para cada um dos problemas
apresentados, foram encontrados indícios tanto nas respostas dos questionários, como
nas entrevistas e na análise dos logs. Os problemas são descritos a seguir:
1. Dificuldade de percepção do processo em curso: a dinâmica realizada foi
semelhante a um workshop ou conferência de trabalhos científicos. Durante todo
o curso, os alunos escreveram seus artigos. A dinâmica foi explicada em sala de
aula e implementada na ferramenta Moodle Workshop. Após a dinâmica,
verificou-se nos logs que 9 alunos não fizeram a auto-avaliação, e alguns alunos

XX Simpósio Brasileiro de Informática na Educação, Florianópolis - SC - 2009, ISSN: 2176-4301

 comentaram nas entrevistas a dificuldade de compreender o processo, bem como
relataram nos questionários que se sentiram confusos em relação ao processo.
(...) – Eu não sei se estava escrito, lá: “Por favor, faça sua auto avaliação”, mas, se estivesse
escrito, eu teria me auto avaliado. Se eu tivesse visto lá escrito, eu teria feito. Ou estava em
algum lugar que eu não vi, ou não estava (...) (trecho da transcrição da entrevista de Alberto)
(...)Eu tive uma dúvida, e fiquei pensando... Será que eu tenho que me auto avaliar, aí eu
fiquei..., não, eu não entendi realmente esta parte da auto avaliação (...) (trecho da transcrição
da entrevista de Edgar)
(...)eu já sabia que tinha que avaliar alguma coisa, por que não estava disponível? então você
fica “Ué, quando é que vai aparecer? Já apareceu?” (trecho da transcrição da entrevista de
Armando Bastos)
(...)parece que faltou assim, um detalhamento do que... a ausência do conceito, entendeu? E eu
assumi alguma coisa no final, acho que aqui é pra avaliar isso entendeu? (...) (trecho da
transcrição da entrevista de Isadora)
Texto 1. Dificuldade de percepção do processo em curso

Os indícios encontrados na análise das entrevistas transcritas são também

encontrados na análise dos questionários, conforme é ilustrado na Figura 2. Mais de um
quarto dos respondentes consideraram que o processo foi confuso.

Figura 2. Classificação do processo de avaliação colaborativa pelos alunos

2. Ausência de comentário na avaliação recebida: alguns participantes

reclamaram da ausência de comentário na avaliação recebida. Nas 12 entrevistas
realizadas, o tema foi reclamado de maneira recorrente por 9 entrevistados. Nos
dados dos questionários, 91,67% dos alunos que perceberam a ausência de
comentários declararam que o grau de satisfação com a ausência de comentários
era: regular, baixo ou muito baixo. Trata-se também de um problema já
documentado na literatura: 1.)Escovedo et al. (2006), em estudos sobre avaliação
colaborativa, relataram a importância de cada avaliação ser composta de um
breve comentário e uma nota; 2.) Otsuka (2006), em estudos sobre avaliação
formativa também pontuou a importância de a avaliação ser um instrumento
formador para o aprendiz. Trechos da entrevista transcrita e trechos extraídos dos
logs, que corroboram a importância do comentário do avaliador, são apresentados
no Texto 2.
(...)aí que tá, a pessoa deu uma nota, mas o que ela achou de bom ou ruim não... o que eu
pequei ali? Não sei, ficou faltando. (...) Não deu um feedback, nenhum dos avaliadores deu
feedback (...) (Trecho da entrevista transcrita de Armando Bastos).
Eu sinto falta porque quero saber porque tá bom, porque tá ruim, porque ta médio... Eu acho
importantíssimo que eu tenha feedback! Eu acho que tem que ser obrigatório... o cara colocou

XX Simpósio Brasileiro de Informática na Educação, Florianópolis - SC - 2009, ISSN: 2176-4301

 muito ruim por quê? O cara colocou muito bom, ta eu gostei, mas por quê? (Trecho da
entrevista transcrita de Homero)
Senti falta apenas de saber o porquê das notas que recebi das minhas avaliações... Se não foi
dada a nota máxima, então é necessário saber qual parte da minha avaliação não é válida ou
está incompleta ou inadequada. (Resposta de pergunta aberta do questionário de Amanda)
Texto 2. Ausência de comentário na avaliação recebida: trechos de entrevistas
e questionário

Os dados da entrevista são coerentes com os dados obtidos das respostas

fechadas dos questionários. Na Figura 3, é apresentado um gráfico das respostas dadas
pelos alunos quando questionados sobre a satisfação em relação à ausência de
comentários nas avaliações recebidas.

Figura 3. Grau de satisfação em relação aos comentários recebidos

Com relação à ausência de comentário para a avaliação recebida, está planejado

um novo estudo com o módulo Moodle Workshop. No novo estudo, para tentar resolver
o problema, será ativada a configuração “Assessments must be agreed”. Através desta
configuração, o avaliado pode discutir a avaliação de maneira anônima com o avaliador
(também anônimo). Se não for alcançado um acordo, então a avaliação é desconsiderada
da lista de avaliações do trabalho.
3. Usabilidade inadequada da ferramenta: a usabilidade da ferramenta foi citada
como um fator negativo por 7 dos 12 entrevistados (58,33%). Entre os
respondentes do questionário, 28,57% disseram que tiveram algumas dificuldades
no uso da ferramenta. Um evento marcante foi de um aluno, pseudônimo
Homero, que cometeu um erro na avaliação e não pôde consertá-lo. Homero disse
que a usabilidade da ferramenta era ruim. O avaliado percebeu que um de seus
avaliadores não soube usar a ferramenta ao receber diretamente do professor a
avaliação corrigida pelo avaliador que não conseguiu usar a ferramenta. A seguir,
trechos da entrevista:
(...)Foi que eu analisei um artigo e quando eu vi tinha colocado uma resposta pro artigo errado.
(...)tive que mandar por email pra professora uma avaliação diferente (...) Atrapalhou, me
deixou frustrado e preocupado... (trecho da transcrição da entrevista de Homero)
(...)Depois, eu recebi por e-mail a questão adequada que ele me mandou. (...) foi quando eu
recebi o e-mail da [professora] dizendo que a pessoa que teve alguma confusão, que teve algum
problema, e, aí, que estava me passando a avaliação dela [pessoa] (...) (trecho da transcrição
da entrevista de Danilo)
Texto 3. Problemas de usabilidade afetaram a colaboração

É necessário um estudo mais específico de usabilidade (análise por heurísticas,

XX Simpósio Brasileiro de Informática na Educação, Florianópolis - SC - 2009, ISSN: 2176-4301

 análise da tarefa, comunicabilidade ou outra técnica específica para análise de
interfaces) para determinar quais são os problemas de usabilidade da ferramenta Moodle
Workshop.

5. Nova Funcionalidade Proposta: Assistente do Processo de Avaliação

Dos três problemas encontrados, 1.) dificuldade de percepção do processo em curso, 2.)
ausência de comentários nas avaliações e 3.) má usabilidade do software, no presente
trabalho são propostas mudanças para tentar resolver especificamente o problema
“dificuldade de percepção do processo em curso”. Para a ausência de comentários, um
novo estudo será realizado com o módulo Moodle Workshop ativando uma
configuração para possibilitar a negociação entre avaliado e avaliador. Para o problema
de usabilidade, novos estudos estão em andamento com técnicas mais apropriadas para
avaliação de usabilidade.
Com relação ao problema “dificuldade de percepção do processo em curso”, é
proposto um Assistente para o Processo de Avaliação. No Assistente do Processo de
Avaliação, conforme exemplificado na Figura 4, são ilustradas as etapas do processo de
avaliação e destacada a etapa atual para o aprendiz, assim como, as ações que precisam
ser feitas na etapa. O objetivo é dar uma visão geral do processo, tarefas que precisam
ser realizadas e resultados que podem ser obtidos em cada etapa.

Figura 4. Assistente do Processo de Avaliação

No assistente foram incluídos também os prazos para cada etapa, visto que, das
transcrições das entrevistas, alguns aprendizes comentaram não saber “quando”
deveriam fazer “o que” no processo. A composição da nota final também foi um item
questionado pelos aprendizes durante as entrevistas. Para esclarecimentos adicionais do
processo, é proposto no assistente uma área para “observações do professor”. Na
ilustração da Figura 4, a área de observações da etapa 4 foi usada para esclarecer a
composição da nota final.

6. Conclusão e Trabalhos Futuros

O estudo realizado deu indícios da relevância do uso da técnica de avaliação
colaborativa para processos educacionais colaborativos. A maior parte dos respondentes,

XX Simpósio Brasileiro de Informática na Educação, Florianópolis - SC - 2009, ISSN: 2176-4301

 71,4%, disse que a qualidade da contribuição das avaliações recebidas para o trabalho
foi alta ou muito alta. Quase todos os participantes, 95,24%, disseram que avaliar os
colegas contribuiu positivamente para o seu aprendizado na disciplina. O estudo
também possibilitou a identificação de problemas relevantes que ocorrem ao aplicar a
avaliação colaborativa com a ferramenta Moodle Workshop, notadamente a dificuldade
de percepção do processo em curso, a ausência de comentário na avaliação recebida, e a
usabilidade inadequada da ferramenta (que afetou a colaboração dos aprendizes).
Para tentar diminuir o problema de dificuldade de percepção do processo em
curso, foi proposto um “Assistente para o Processo de Avaliação”. Para tentar diminuir
o problema de ausência de comentário na avaliação recebida, planeja-se um novo estudo
com diferentes configurações do módulo Moodle Workshop. Para o problema da má
usabilidade, estão sendo conduzidos estudos específicos com técnicas próprias para a
avaliação da usabilidade de softwares. Outras ferramentas de avaliação colaborativa ou
que apóiem a avaliação colaborativa estão sendo investigadas. O objetivo é ter um
conjunto de dados sobre os sistemas para apoiar a avaliação colaborativa e, com isso,
poder definir outras funcionalidades a serem implementadas e incorporadas no módulo
Moodle Workshop.
Além das funcionalidades destacadas, percebeu-se a necessidade de poder
definir com maior liberdade os pesos atribuídos às avaliações por diferentes papéis. Foi
uma dificuldade relatada pelo professor da disciplina. O Moodle possibilita definir um
peso para a avaliação dos professores e outro peso para a avaliação dos alunos. Não se
distingue a auto-avaliação (aluno) de avaliação por pares (aluno). Toda avaliação feita
por aluno tem o mesmo peso. Outro papel que não é contemplado é o do Avaliador
Externo. Também não é possível definir uma comissão de avaliação, seja interna (grupo
de alunos) ou externa (banca avaliadora).
Como trabalhos futuros, serão realizados estudos de caso múltiplos [Yin, 2005]
para avaliar a influência das novas funcionalidades na ocorrência dos problemas
identificados. Vários casos serão estudados com o mesmo roteiro de entrevistas e
questionários, para investigar possíveis similaridades e singularidades da influência das
funcionalidades na ocorrência dos problemas observados.

Agradecimentos
Os autores agradecem à professora Flávia Maria Santoro (UNIRIO) pelo apoio e
acompanhamento na realização do estudo com sua turma de pós-graduação.

Referências
Ellis, T. J., Hafner, W. (2005) Peer Evaluations of Collaborative Learning Experiences Conveyed
Through an Asynchronous Learning Network. In: Proceedings of the 38th Hawaii International
Conference on System Sciences (CD-ROM), 03.Jan.2005, Computer Society Press, 2005. pags.7.
Escovedo, T. (2007) IssueNet: Um Framewok para Avaliação Colaborativa de Tarefas. Pontifícia
Universidade Católica do Rio de Janeiro, R.J, 2007. Dissertação de Mestrado.
Escovedo, T., Pimentel, M., Fuks, H. & Lucena, C.J.P. (2006) Avaliei, Avaliei... Ensinei? Investigações
Sobre Avaliação Nas Conferências de um Curso Online. XII WIE - Workshop de Informática na
Escola, Anais eletrônico do XXVI Congresso da SBC. ISBN 8576690748. Campo Grande, MS, 14 a
20 de julho de 2006. p. 94-101.

XX Simpósio Brasileiro de Informática na Educação, Florianópolis - SC - 2009, ISSN: 2176-4301

 Fuks, H., Pimentel, M., Gerosa, M.A., Fernandes, M.C.P. & Lucena, C.J.P. (2006) Novas Estratégias de
Avaliação Online: aplicações e implicações em um curso totalmente a distância através do ambiente
AulaNet. Avaliação da Aprendizagem em Educação Online, orgs. Marco Silva e Edméa Santos, ISBN
85-15-03216-3. São Paulo: Loyola, 2006. p 369-385.
Gerosa, M. A. (2006) Desenvolvimento de Groupware Componentizado com Base no Modelo 3C de
Colaboração. Tese de Doutorado, Departamento de Informática, Pontifícia Universidade Católica do
Rio de Janeiro (PUC-Rio), 16 de março de 2006.
Lopes, M.S.S. (2007) Avaliação da Aprendizagem em Atividades Colaborativas em EAD Viabilizada por
um Fórum Categorizado. Universidade Federal do Rio de Janeiro, R.J, 2007. Dissertação de Mestrado.
Nicolaci-da-Costa, A. M. (2007). O Campo da Pesquisa Qualitativa e o Método da Explicitação do
Discurso Subjacente (MEDS). In: Psicologia: Reflexão e Crítica. vol.20 no.1. ISSN: 0102-7972. RS,
Porto Alegre: 2007.
Otsuka, J. L. (2006) Modelo de Suporte à Avaliação Formativa baseado em Sistemas Multiagentes para
ambientes de EaD. Campinas, S.P, 2006. Tese de doutorado.
Otsuka, J. L., Rocha, H. Vieira da. (2005). Um modelo de suporte à avaliação formativa para ambientes
de educação a distância: dos conceitos à solução tecnológica. In: Novas Tecnologias na Educação,
vol.3. no.2. ISSN 1679-1916. Porto Alegre, Novembro de 2005.
Santoro, F. M., Borges, M. R. S, Santos, N. (2000) An Infrastructure to Support the Development of
Collaborative Project-Based Learning Environments. In: Proceedings of the Sixth International
International Workshop on Groupware, 2000. CRIWG 2000. p. 78-85. Portugal, Madeira: 18-20 Oct.
2000.
Shen J., Hiltz, S. R., Bieber, M. (2008). Learning Strategies in Online Collaborative Examinations. In:
IEEE Transactions on Professional Communication. ISSN: 0361-1434. vol. 51. Issue 1. USA,
Auburn: IEEE Professional Communication Society: Mar.2008. p. 63-78.
Sitthiworachart, J., Joy, M. (2003). Web-based Peer Assessment in Learning Computer Programming. In:
Proceedings of the 3rd IEEE International Conference on Advanced Learning Technologies (ICALT).
9.Jul.2003, pags.5.
Stahl, G., Koschmann, T., Suthers, D. (2006). CSCL: An Historical Perspective. Based on a chapter in: R.
K. Sawyer (Ed.). (2006). Cambridge Handbook of the Learning Sciences. Cambridge, UK: Cambridge
University Press.
TelEduc (2008). Disponível em: http//www.teleduc.org.br. Acesso em: 02 de dezembro de 2008.
Trahasch, S. (2004). From peer assessment towards collaborative learning. In: Proceedings of the 34th
Frontiers in Education, 2004. FIE 2004. vol.2. pags.5.
Ugulino, W., Nunes, R. R., Oliveira, C. L., Pimentel, M., Santoro, F.M. (2008) Dos processos de
colaboração para as ferramentas: a abordagem de desenvolvimento do projeto CommunicaTEC.
Proceedings of XIV Brazilian Symposium on Multimedia and the Web: II Workshop of Business
Process Management. Vila Velha, ES: 2008.
Vygotsky, Lev. (1934) Thinking and Speaking. In: Thought and Language, 1934. Ed. Trad. Eugenia
Hanfmann and Gertrude Vakar. The M.I.T. Press, 1962.
Yin, Robert K. (2005). Estudo de caso: planejamento e métodos. trad. Daniel Grassi. 3.ed. ISBN: 85-363-
0462-6. Porto Alegre: Bookman, 2005. 212p.

XX Simpósio Brasileiro de Informática na Educação, Florianópolis - SC - 2009, ISSN: 2176-4301