Peer and Self Assessment in Massive Online Classes

halo readers, sekarang lg bulan ramadhan yak? selamat beribadah bagi yg menunaikan ibadah puasa semoga varokah dan mendapat pahala berlipat di sisi Allah SWT.

namun kali ini saya tetap akan memposting sebuah kajian yg diambil dari jurnal ilmiah mahasiswa stanford university berikut ulasannya.

penulis:

CHINMAY KULKARNI, Stanford University ,KOH PANG WEI, Stanford University, and Coursera, Inc.,HUY LE, Coursera, Inc.DANIEL CHIA, Stanford University, and Coursera, Inc.,KATHRYN PAPADOPOULOS and JUSTIN CHENG, Stanford University,DAPHNE KOLLER, Stanford University, and Coursera, Inc., SCOTT R. KLEMMER, Stanford University.

DOI: http://dx.doi.org/10.1145/2505057

Abstract:

This article reports our experiences with two iterations of the first large online class to use peer and selfassessment. In this class, peer grades correlated highly with staff-assigned grades. The second iteration had 42.9% of students’ grades within 5% of the staff grade, and 65.5% within 10%. On average, students assessed their work 7% higher than staff did. Students also rated peers’ work from their own country 3.6% higher than those from elsewhere. We performed three experiments to improve grading accuracy. We found that giving students feedback about their grading bias increased subsequent accuracy. We introduce short, customizable feedback snippets that cover common issues with assignments, providing students more qualitative peer feedback. Finally, we introduce a data-driven approach that highlights high-variance items for improvement. We find that rubrics that use a parallel sentence structure, unambiguous wording, and well-specified dimensions have lower variance. After revising rubrics, median grading error decreased from 12.4% to 9.9%.

dikaji oleh : Ruri Nurul Huda/ G64144060

peer dan self assessment berguna untuk menyediakan kesempatan untuk  pengalaman dan belajar bagi ruang kelas yang lebih luas. Salah satu pendekatan untuk penilaian penskalaan dan penilaian bagi siswa salah satunya adalah untuk mengevaluasi teman-teman mereka' bekerja. Penilaian  berpotensi memungkinkan kelas besar untuk  menyediakan tugas yang praktis untuk kelas secara otomatis.

                Peer dan self-assessment adalah sebuah alternatif yang menjanjikan, dengan potensi keuntungan tambahan ia tidak hanya menyediakan kelas tetapi juga penting membantu siswa untuk mlihat sebuah aktivitas dari sisi yg lain. Umpan balik peer di kelas desain juga menciptakan pesertanya untuk memberikan umpan balik yang jujur dan beberapa perspektif, peer dan self assessment lebih membuat siswa lebih mandiri, leih jujur dan objektif. Demikian pula, self-assessment membantu siswa merenungkan kesenjangan pemahaman mereka, membuat mereka lebih mempunyai wawasan yang luas,percaya diri, dan berprestasi .

               Menurut Boud penilaian Peer dapat meningkatkan keterlibatan mahasiswa dan kedewasaan, mengurangi beban perataan pada staf, dan meningkatkan diskusi kelas. Penilaian Peer telah digunakan di kelas  dan ditempatkan pada berbagai macam jenis pengaturan yang menunjukkan promosi dengan baik, siswa juga termotivasi untuk melakukan pekerjaan yang dahulunya para pemulapun dianggap memerlukan pelatihan selama bertahun-tahun.diharapkan peer-sourcing dari kelas besar-besaran akan memberikan kontribusi teknik-teknik yang berlaku secara lebih luas. Misalnya saat siswa menggunakan penilaian peer untuk menciptakan pekerjaan yang  perlu dikaji dan perlu  melakukan penilaian.

                Salah satu tema artikel ini adalah mendalami keuntungan pembelajaran yang timbul dari orang-orang peran ganda.Peninjauan peer yang disesuaikan membantu siswa belajar untuk kelas dengan pertama-tama mempraktikkan perataan.Contohnya pada pengiriman, segera setelah setiap tenggat waktu pengiriman, staf dievaluasi tentang selusin pengiriman,metode ini telah digunakan untuk melatih para pelajar; orang-orang yang lain telah digunakan untuk memperkirakan akurasi assessment.Salah satu tujuan dari ditetapkan dalam hal kurikulum pendidikan class adalah untuk memiliki peserta yang memahami dan memiliki kemampuan untuk mempengaruhi  kelas mereka tanpa adanya ketidakjujuran.

                Reaksi Mahasiswa ke sistem penilaian peer secara umumnya positif dan penilaian mereka yang diperlukan untuk kelas disimpulkan  bahwa yang ditemukan para murid mengenai rating teman-teman mereka ternyata dapat menjadi menyenangkan dan berharga,mereka percaya bahwa peer akan membantu teman-teman mereka. Siswa melaporkan kedua self-assessment dan penilaian peer yang akan berharga walaupun mereka memainkan peran yang berbeda.

                Mengevaluasi rekan-rekan adalah berguna untuk inspirasi dan untuk melihat perspektif lain. Self-assessment yang disediakan siswa merupakan kesempatan untuk melihat hasil kerja mereka sendiri  dan mendorong untuk membandingkannya dengan pekerjaan orang lain yang telah mereka nilai/kaji'. Peer dan self assessment juga sangat berguna untuk mengidentifikasi kesalahan-kesalahan dan sebagai refleksi diri dari pekerjaannya.

                Rubrics memberikan umpan-balik melalui  kualitas untuk dimensi masing-masing. Misalnya siswa dapat melihat rubrik mereka yang buruk lalu berusaha untuk  menemukan wilayah yang membutuhkan perbaikan.Namun, menggunakan skor item umpan balik sebagai rubrik memiliki dua batasan penting.penilaian peer memberlakukan jadwal tertentu pada kelas dan membatasi fleksibilitas siswa. secara umum siswa puas dengan kelas mereka secara keseluruhan tetapi yang merasa frustrasi oleh umpan balik kualitatif yang tidak akurat dari beberapa rekan-rekan. Penilaian Peer juga mengubah cara para guru menghabiskan waktu mereka contohnya ketika menilai hasil karya siswa  difokuskan pada melakukan perataan namun dengan peer assessment, tugas utama guru berubah menjadi penggerak kriteria penilaian untuk orang lain.

                Salah satu hasil yang paling menakjubkan adalah bahwa siswa melaporkan bahwa menilai orang lain bekerja adalah kegiatan belajar yang sangat berharga, mereka dapat dengan mudah berempati dengan permasalahan yang dihadapi siswa dan juga dapat secara efektif menawarkan dukungan sosial. Kelas online besar-besaran juga menawarkan individual siswa kesempatan untuk memiliki dampak positif  dengan skala besar.

                siswa di kelas online jauh lebih  beragam demografinya  dalam tujuan mereka dalam mengambil class,platform dan membuat beberapa jenis data. Artikel ini juga memperkenalkan "cookie fortune" yaitu metode untuk rekan-rekan untuk menyediakan satu sama lain dengan jumlah umpan balik dan bersifat pribadi.

                 Ada banyak peluang untuk pekerjaan yang akan datang. Pertama, dapat mengalokasikan penilai perilaku kewargaan organisasional karyawan sistem dan himpunan hasil mereka lebih cerdas, untuk meningkatkan akurasi dan mengurangi bekerja.

                Platform belajar online saat ini  kekurangan indera berhubungan dengan guru manusia. Mereka menerima produk kerja akhir tetapi tidak memiliki pengetahuan tentang proses siswa. Perangkat lunak pengajaran tersebut telah ditunjukkan kognitif yang hadir untuk proses siswa dapat meningkatkan pembelajaran melalui personalisasi-mengadaptasi, pacing pertanyaan, dan petunjuk [Corbett et al. 2002]. Mengintegrasikan model peserta dengan penilaian peer menawarkan banyak peluang, universitas-universitas fisik mempekerjakan banyak tuas struktural agar siswa tetap termotivasi dan terlibat. Dalam pengalaman penulis, hanya seperempat dari kira-kira 3,000 siswa yang menyelesaikan tugas pertama yang intensif waktu melakukan semua penetapan lima. Jelaslah, di sebuah universitas fisik, penyelesaian rate untuk kelas setara yang jauh lebih tinggi.

Sekian ulasan dari saya terimakasih.

Flexibility and efficiency of use- bukukita.com

halo readers, masih mengenai heuristic evaluation .
Flexibility and efficiency of use artinya adalah bahwa website ini dapat digunakan dan dipahami secara mudah oleh user. namun ada beberapa hal yg kurang diperhatikan oleh website bukukita.com beberapa diantaranya yaitu:
1. menu navigasi sangat panjang
sangat melelahkan saat user membuka menu navigasi kategori buku karena scrolldown yg sangat panjang dan ukuran huruf yg kecil dan rapat semakin membuat userkesusahan saat mencari buku yg diinginkan.

sebaiknya ukuran huruf dan kerapatan antar huruf diubah sehingga menjadi lebih mudah dibaca bahkan untuk sekilas pandang saja.severity rating
3 = Major usability problem: important to fix, so should be given high priority 
----------------------------------------------------------------------------------------------------------------------------
2. warna pada menu nyaris "mati"
warna background adalah abu-abu dan warna tulisannya adalah abu-abu juga hanya sedikit lebih pekat. warna harus diperhatikan karena dikhawatirkan beberapa user tidak dapat melihat tulisan tersebut karena hampir samanya warna antara background dengan warna tulisan.

sebaiknya gunakan warna yg cerah sehingga dapat mencolok dan terlihat oleh user.
severity rating=1 = Cosmetic problem only: need not be fixed unless extra time is available on project 

sekian penjelasan mengenai Flexibility and efficiency of use

help and documentation-bukukita.com

halo readers nah kali ini adalah mengenai help and documentation.
help and documentation berguna untuk membantu user dalam menjelajahi website agar user tahu setiap kegunaan menu yg ada di website ini.
berikut hal-hal mengenai help and documentation yg belum diterapkan oleh website bukukita.com

1.tidak ada petunjuk! do all you wanna do
tidak adanya menu petunjuk dalam menjelajahi website ini  seolah olah semoga dengan sangat beruntung anda bisa menemukan apa yg anda inginkan dan anda butuhkan bahkan jika beruntung anda dapat menemukannya dengan cepat.

sangat penting untuk menambahkan menu help atau menu untuk agar user dapat mengetahui langkah-langkah mencari informasi yg tepat dengan cepat.
severity rating=3 = Major usability problem: important to fix, so should be given high priority 
----------------------------------------------------------------------------------------------------------------------------------
2. where i am now?
saya tidak tahu saya sekarang berada di menu apa, user bisa saja setelah browsing kesana kemari menjadi lupa dia sedang berada di menu mana sehingga kadang user bisa saja memutuskan untuk menutup website ini dan berpindah kepada website lain.

sebaiknya ditambahkan warna kepada menu yg sedang aktif saat ini.
severity rating=3 = Major usability problem: important to fix, so should be given high priority 

sekian penjelasan untuk help and documentation 

consistency and standards-www. bukukita.com

halo readers , dalam heuristic evaluation ada yg membahas mengenai konsistensi dan standar yg berarti bahwa user tidak harus merasa bingung dengan pilihan menu yg ada.
pada website bukukita.com terdapat dua hal yg harus diperhatikan agar tidak membingungkan user saat menggunakan website ini.

1. pilihan kata yg ambigu
terdapat beberapa menu yg menggunakan pilihan kata yg hampir sama sehingga bisa memicu kebingungan user apakah menu tersebut berbeda makna atau tidak contohnya pada menu buku import

 severity rating=1 = Cosmetic problem only: need not be fixed unless extra time is available on project 

2. setiap hover selalu berbeda warna, untuk apa?
website ini sudah terlalu banyak memiliki menu navigasi parahnya lagi setiap menu memiliki perubahan warna yg berbeda beda saat disorot . perubahan yg berbeda tersebut sangat membingungkan apakah setiap warna tersebut memiliki makna yg berbeda?apakah menunjukan prioritas informasi yg ditampilkan?
sebaiknya setiap perubahan warna disamakan saja sehingga tidak memusingkan pengguna dengan terlalu banyaknya warna yg disediakan dalam website ini

severity rating=3 = Major usability problem: important to fix, so should be given high priority 


sekian untuk pembahasan mengenai konsistensi dan standar

Error prevention- www.bukukita.com

halo readers, masih mengenai heuristic evaluation kali ini adalah mengenai error prevention yaitu pencegahan terhadap adanya kesalahan. hal ini sangat penting karena jika terdapat kesalahan dalam website namun tidak ada cara atau hal yg bisa dilakukan untuk melakukan perbaikan maka akan menimbulkan kebingungan untuk user.

1. tidak memunculkan pesan error dari awal

saat saya iseng mengisi keranjang belanja dengan huruf bukan dengan angka tidak ada pesan error atau suatu peringatan apapun yg mencegah saya untuk merubah kotak isian tersebut 

severity rating=2 = Minor usability problem: fixing this should be given low priority 

2. tidak lengkap dalam memberitahukan kesalahan

saat saya memasukan nama username dan password secara acak tetapi yg diberitahukan ada kesalahan hanya pada username saja sehingga tidak menimbulkan kecurigaan bahwa password yg telah saya masukan adalah salah

severity rating=3 = Major usability problem: important to fix, so should be given high priority 

sekian penjelasan mengenai error prevention .

Aesthetic and minimalist design- www.bukukita.com

menurut prinsip heuristic evaluation yang harus diperhatikan salah satunya adalah estetika/keindahan dan desain yg minimalis sehingga pengunjung website ini merasa nyaman saat melihat informasi yg disediakan oleh website.
namun pada website ini masih terdapat beberapa hal yg menyebabkan ketidaknyamanan saat menggunakannya, berikut ini penjelasannya:
1. terlalu banyak informasi pada satu page

pada website www.bukukita.com saya merasakan sangat "sesak" dan merasa bahwa website ini memaksakan semua informasi yg mereka punya dalam satu page. gambar cover buku yg seharusnya lebih ditonjolkan malah dibuat kecil sehingga bisa memuat banyak buku tapi saat dilihat malah terlihat sangat penuh ditambah lagi dengan menu navigasi yg sangat banyak dan rumit
 

 severity rating= 3 = Major usability problem: important to fix, so should be given high priority 
-----------------------------------------------------------------------------------------------------------
2. iklan yg sangat banyak
selanjutnya website ini terlalu banyak memasang iklan beberapa iklan masih bisa dianggap berhubungan dgn  buku akan tetapi beberapa iklan sangat tidak relevan dengan fungsi utama website ini.

gambarini adalah contoh bahwa ada iklan yg tidak relevan dan menurut saya sendiri saya tidak butuh iklan dalam melihat website.

severity rating =2 = Minor usability problem: fixing this should be given low priority 

sekian penjelasan untuk prisnsip Heuristic Evaluation mengenai estetika dan desain minimalis