BAB 9 Materials evaluation

Having completed your needs analysis and course design, your must now
decide what you are going to do with it. One option, of course, is to decide
that the whole thing is completely impossible and throw the results in the
wastepaper bin. Assuming, however, that you wish (or have) to proceed,
there are three possible ways of turning your course design into actual
teaching materials :
a) Select from existing materials : materials evaluation.
b) Write your own materials : materials development.
c) Modify existing materials : materials adaption.
In this and the following chapter we shall look at the first two options :
materials evaluation and materials writing. The thrid option is a combination
of the first two. So, if this is your choice, you will need to use both processes.
Although we shall look at evaluation and development separately, they are
complementary activities. The materials writer can learn a lot in terms of
ideas and techniques from evaluating existing materilas. Similiary, writing
materials makes you more aware of what to look for in materials written by
other people-and also more sympathetic to the efforts of other materials
writers!
Setelah menyelesaikan analisis kebutuhan dan desain saja, Anda sekarang
harus memutuskan apa yang Anda akan lakukan dengan itu. Salah satu
pilihan, tentu saja, adalah untuk memutuskan bahwa semuanya benar-benar
mustahil dan membuang hasil dalam bin sampah. Dengan asumsi,
bagaimanapun, bahwa Anda ingin (atau memiliki) untuk melanjutkan, ada
tiga cara yang mungkin untuk mengubah desain tentu saja Anda menjadi
bahan ajar yang sebenarnya:
a) Pilih dari bahan yang ada: sebagai bahan evaluasi.
b) Menulis materi Anda sendiri: bahan pembangunan.
c) Modifikasi bahan yang ada: penyesuaian bahan.

Dalam hal ini dan bab berikut kita akan melihat dua pilihan pertama: bahan
evaluasi dan bahan menulis. Pilihan thrid adalah kombinasi dari dua yang
pertama. Jadi, jika ini adalah pilihan Anda, Anda akan perlu menggunakan
kedua proses. Walaupun kita akan melihat evaluasi dan pengembangan
secara terpisah, mereka saling melengkapi kegiatan. Penulis material dapat
belajar banyak dalam hal ide-ide dan teknik dari evaluasi materilas yang ada.
Similiary, bahan menulis membuat Anda lebih sadar apa yang harus dicari
dalam materi yang ditulis oleh orang-dan juga lebih bersimpati pada upaya
penulis bahan lainnya!
1. Why evaluate materials ?
Evaluation is a matter of judging the fitness of something for a particular
purpose. Given a certain need, and in the light of the resources available,
which out of a number of possibilities can represent the best solution ?
Evaluation is, then, concerned with relative merit. There is no absolute good
or bad-only degrees of fitness for the required purpose.
In any kind of evaluation, the decision finally made is likely to be the better
for being based on a systematic check of all the important variables. The
results of an evaluation will probably finally made is likely to be the better
for being based on a systematic check of all the important variables. The
results of an evaluation will probably lead to a large investment of money in
a published course or a large investment of time in home-produced or
adapted materials. Once such an investment is made, you will probably have
to live with the consequences of it for some time, even if it later proves to
have been a bad choice. A careful evaluation, then, can save a lot of expense
and frustration. On the positive side, it can also help in justifying request to
sponsors or other members of an ESP team for money to buy materials or
time to write them.
1. Mengapa bahan mengevaluasi?
Evaluasi adalah masalah menilai kebugaran sesuatu untuk tujuan tertentu.
Mengingat kebutuhan tertentu, dan dalam terang dari sumber daya yang
tersedia, yang keluar dari sejumlah kemungkinan dapat mewakili solusi
terbaik? Evaluasi adalah, kemudian, berkaitan dengan jasa relatif. Tidak ada

gelar yang baik atau buruk-satunya mutlak kebugaran untuk tujuan yang
diperlukan.
Dalam setiap jenis evaluasi, keputusan akhirnya dibuat kemungkinan
menjadi lebih baik untuk yang berbasis pada pemeriksaan sistematis dari
semua variabel penting. Hasil dari evaluasi mungkin akan akhirnya membuat
kemungkinan untuk menjadi lebih baik untuk yang berbasis pada
pemeriksaan sistematis dari semua variabel penting. Hasil evaluasi mungkin
akan menyebabkan investasi besar uang dalam kursus dipublikasikan atau
investasi besar waktu di rumah-bahan diproduksi atau disesuaikan. Setelah
investasi tersebut dibuat, Anda mungkin akan harus hidup dengan
konsekuensi dari itu untuk beberapa waktu, bahkan jika nanti terbukti
menjadi pilihan yang buruk. Sebuah evaluasi hati-hati, maka, bisa
menghemat banyak biaya dan frustrasi. Di sisi positif, juga dapat membantu
dalam membenarkan permintaan untuk sponsor atau anggota lain dari tim
ESP uang untuk membeli bahan atau waktu untuk menulis mereka.
2. How do you evaluate materials ?
Evaluation is basically a matching process : matching needs to available
solutions. If this matching is to be done as objectively as possible, it is best to
look at the needs and solutions separately. In the final analysis, any choice
will be made on subjective grounds. If you were choosing a car, for example,
you might just as easily choose it because you like the look of it as because it
can reach 100 mph in 10 seconds. It depends on what you consider to be
important. The danger is that, if subjective factors are allowed to influence
judgement too soon, it may blind you to possibly useful alternatives : You
might not look at cars from a particular country, because you have a
prejudice against that country, while in fact those cars may suit your needs
best. Similarly you might reject a particular textbook, because you dont like
the picture on the cover, or because you dislike functional syllabuses. An ESP
textbook has to suit the needs of a number of parties-teachers, students,
sponsors, so it is important that the subjective factors, which will admittedly
play a part, should not be allowed to obscure objectivity in the early stages of
analysis.
We can divide the evaluation process into four major steps (see figure 26) :

1.
2.
3.
4.

Defining criteria.
Subjective analysis.
Objective analysis.
Matching.

Most of the work of the first two stages will have been done in the course
design stage. It will be useful, however, to set out your criteria and your own
preferred realisations of the criteria in a form which will make it easy to
compare different sets of materials. Dont, however, see your own subjective
analysis as a fixed set of requirements. You should use the materials
evaluation process as a means of questioning and developing your own ideas
as to what is required (Hutchinson,1987,forthcoming). It is also very
important to have some kind of rank order of factors. It is almost certain that
there will be a conflict : one textbook might match your criteria in terms of
content and language areas, but another might
2. Bagaimana Anda mengevaluasi materi?
Evaluasi pada dasarnya adalah sebuah proses pencocokan: pencocokan
kebutuhan untuk solusi yang tersedia. Jika pencocokan ini harus dilakukan
seobjektif mungkin, yang terbaik adalah melihat kebutuhan dan solusi secara
terpisah. Dalam analisis akhir, pilihan apapun akan dilakukan atas dasar
subyektif. Jika Anda memilih mobil, misalnya, Anda mungkin bisa dengan
mudah memilih karena Anda suka tampilan sebagai karena bisa mencapai
100 mph dalam 10 detik. Itu tergantung pada apa yang Anda anggap
penting. Bahayanya adalah bahwa, jika faktor-faktor subjektif diperbolehkan
untuk mempengaruhi penilaian terlalu cepat, hal itu mungkin buta Anda
untuk alternatif mungkin berguna: Anda mungkin tidak melihat mobil dari
suatu negara tertentu, karena Anda memiliki prasangka terhadap negara itu,
padahal mobil-mobil mungkin sesuai dengan kebutuhan Anda yang terbaik.
Demikian pula Anda mungkin menolak buku tertentu, karena Anda tidak
seperti gambar di sampul, atau karena Anda tidak menyukai silabus
fungsional. Sebuah buku ESP harus sesuai dengan kebutuhan dari sejumlah
partai-guru, siswa, sponsor, jadi penting bahwa faktor subyektif, yang diakui
akan memainkan peranan, seharusnya tidak diperbolehkan untuk
mengaburkan objektivitas pada tahap awal analisis.

Kita dapat membagi proses evaluasi menjadi empat langkah utama (lihat
gambar 26):
1. Mendefinisikan kriteria.
2. Subjektif analisis.
3. Tujuan analisis.
4. Mencocokan.
Sebagian besar karya dari dua tahap pertama akan telah dilakukan dalam
tahap desain saja. Ini akan berguna, namun, untuk menetapkan kriteria dan
realisasi pilihan Anda sendiri dari kriteria dalam bentuk yang akan
memudahkan untuk membandingkan set yang berbeda dari bahan. Jangan
Namun, melihat analisis sendiri subjektif Anda sebagai seperangkat tetap
persyaratan. Anda harus menggunakan proses bahan evaluasi sebagai
sarana mempertanyakan dan mengembangkan ide-ide Anda sendiri seperti
apa yang diperlukan (Hutchinson, 1987, yang akan datang). Hal ini juga
sangat penting untuk memiliki beberapa jenis urutan peringkat faktor. Hal ini
hampir pasti bahwa akan ada konflik: satu buku mungkin sesuai dengan
kriteria Anda dalam hal konten dan daerah bahasa, tapi lain mungkin

DEFINE CRITERIA
On what bases will you judge
materials? Which criteria will
be more important?

SUBJECTIVE

OBJECTIVE ANALYSES

ANALYSES
How does the
What realisations

material being

ofthe criteria do you

evaluated realise the

MATCHING
How far does the
materials match your
needs?
Figure 26 : The materials evaluation process
Have the more appropriate methodology. How will you make a choice ? You
will need to decide which you think is the more important to the various
people concerned : teachers, student, sponsors. You should also consider
which unsatisfactory features are easier to remedy. Is it, for example, easier
to adapt content or methodology? You mighht find it difficult to find
alternative texts, while it may be relatively easy to change the exercise
based on the texts.
We can now present our own checklist of criteria for objective and subjective
analyses. This is not an exhaustive list. You may find other criteria which you
feel are important.

Figure 27 : A checklist for materials evaluation

The following steps should be followed in using the checklist :
1. Answer the A questions first to identify your requirements. You can then
use this information either as a basis for writing your own materials or as
input to the later stages of materials evaluation.

2. Analyse the materials you have selected by answering the B questions. If

possible, test your ideas by teaching extracts from the materials.
3. Compare the A nd B findings. This can be done impressionistically or by
awarding points.
O = does not match the desired features
1 = partly matches the desired features
2 = closely matches the desired features
Total the points and analyse the results. Note that the highest number of
points does not necessarily indicate the most suitable materials, since the
points may be concentrated in one area. Look for the widest spread of
desired features and concentrations in the areas you consider most
important.
4. Make your choice and use your findings to prepare any documentation
neede for defending your decision.

CONCLUSION
In this chapter we have looked at materials evaluation as one way of
exploiting a course design. Even if you eventually decide to write your
own materials, the evaluation of existing materials can provide a good
source of ideas (of what to avoid as well as what to do) and techniques. It
can also save a lot of duplication of effort by possibly revealing existing
materials that can provide all or part of your materials needs. The
evaluation process should be systematic and is best seen as a matching
exercise : matching your analysed needs with available solutions.
But within all of us there is said to be an author struggling to get out. In
the next chapter we shall present some techniques to help the aspiring
materials writer.
Memiliki metodologi yang lebih tepat. Bagaimana Anda akan membuat
pilihan? Anda akan perlu memutuskan mana yang Anda pikir adalah lebih
penting bagi berbagai orang yang bersangkutan: guru, murid, sponsor.
Anda juga harus mempertimbangkan fitur yang memuaskan lebih mudah
untuk memperbaiki. Apakah, misalnya, lebih mudah untuk beradaptasi
konten atau metodologi? Anda mighht sulit untuk menemukan teks

alternatif, sementara itu mungkin relatif mudah untuk mengubah latihan

didasarkan pada teks.
Kami sekarang dapat menyajikan daftar kita sendiri kriteria untuk analisis
obyektif dan subyektif. Ini bukan daftar lengkap. Anda mungkin
menemukan kriteria lain yang Anda merasa penting.
Gambar 27: Sebuah checklist untuk evaluasi bahan
Langkah-langkah berikut harus diikuti dalam menggunakan checklist:
1. Jawablah pertanyaan A pertama untuk mengidentifikasi kebutuhan
Anda. Anda kemudian dapat menggunakan informasi ini baik sebagai
dasar untuk menulis materi sendiri atau sebagai masukan untuk tahap
selanjutnya evaluasi bahan.
2. Analisis materi yang telah Anda pilih dengan menjawab pertanyaan B.
Jika memungkinkan, menguji ide-ide Anda dengan mengajar ekstrak dari
bahan.
3. Bandingkan A nd temuan B. Hal ini dapat dilakukan impresionistis atau
dengan pemberian poin.
O = tidak cocok dengan fitur yang diinginkan
1 = sebagian sesuai dengan fitur yang diinginkan
2 = sangat cocok dengan fitur yang diinginkan
Jumlah poin dan menganalisis hasilnya. Perhatikan bahwa jumlah poin
tertinggi tidak selalu menunjukkan bahan yang paling cocok, karena poin
mungkin terkonsentrasi pada satu area. Carilah penyebaran terluas fitur
yang diinginkan dan konsentrasi di bidang yang Anda anggap paling
penting.
4. Buatlah pilihan Anda dan menggunakan temuan Anda mempersiapkan
setiap neede dokumentasi untuk membela keputusan Anda.
KESIMPULAN
Dalam bab ini kita telah melihat bahan evaluasi sebagai salah satu cara
untuk mengeksploitasi desain saja. Bahkan jika Anda akhirnya
memutuskan untuk menulis materi sendiri, evaluasi bahan yang ada
dapat menyediakan sumber yang baik ide-ide (dari apa yang harus
dihindari serta apa yang harus dilakukan) dan teknik. Hal ini juga dapat
menyimpan banyak duplikasi usaha dengan kemungkinan
mengungkapkan bahan yang ada yang dapat memberikan seluruh atau
sebagian dari kebutuhan bahan Anda. Proses evaluasi harus sistematis
dan yang terbaik dilihat sebagai latihan yang cocok: cocok dengan
kebutuhan Anda dianalisis dengan solusi yang tersedia.
Namun, dalam kita semua ada dikatakan seorang penulis berjuang untuk
keluar. Dalam bab berikutnya kita akan menyajikan beberapa teknik untuk
membantu penulis bahan calon.