การประเมินผลงานวิจัย หรือเครื่องมือมีหลายแบบ

3 กรกฎาคม 2558 มีโอกาสไปฟังการนำเสนอผลงานบทความจากการวิจัย
ของอาจารย์ และนักศึกษา ในการประชุมวิชาการระดับชาติ NCCIT
ใน session ของ
Dr.Montean Rattanasiriwongwut (เช้า)
และ
Mr.Tanapon Jensuttiwetchakl (บ่าย)
ได้แนะนำผู้นำเสนอผลงานเรื่องการประเมินไว้หลายเรื่อง
1. ความเที่ยงตรง (Validity)
– ความเที่ยงตรงเชิงเนื้อหา (Content Validity)
– ความเที่ยงตรงเชิงเกณฑ์สัมพันธ์ (Criterion-related Validity)
– ความเที่ยงตรงเชิงโครงสร้าง (Construct Validity)
การตรวจสอบความเที่ยงตรงของเครื่องมือ
โดยการพิจารณาของผู้เชี่ยวชาญในศาสตร์นั้น
โดย IOC=Index of Item-Objective Congruence
ปล.มีนิสิตเรียกว่าประเมินคุณภาพโดยผู้เชี่ยวชาญ น่าสนใจ
2. ความเชื่อมั่น (Reliability)
2.1  การวัดความคงเส้นคงวา ด้วยการวัดซ้ำแล้วได้ผลเหมือนเดิม
จะทำการทดสอบกับผู้ให้ข้อมูลกลุ่มเดียวกัน 2 ครั้งในเวลาต่างกัน
2.2 การวัดโดยใช้วิธีสัมประสิทธิ์แอลฟาของครอนบาค (Cronbach’s Alpha method)
วิธีของครอนบาคได้รับความนิยมเพราะเก็บข้อมูลครั้งเดียว

หากเป็นข้อสอบก็จะมีเครื่องมือวัดอื่น
3. การวัดอำนาจจำแนก (Discrimination)
เช่น วัดกลุ่มอ่อน ออกจากกลุ่มเก่งได้
ว่าข้อใด มีอำนาจจำแนกเป็นอย่างไร
4. การวัดความยาก (Difficulty)
เทียบจำนวนข้อที่ถูกต้องต่อผู้สอบทั้งหมด
5. ความมีประสิทธิภาพ (Efficiency)
คำถามน้อย ใช้เวลาน้อย ใช้งบประมาณน้อย
6. ความเป็นปรนัย
มีความชัดเจน ผู้ใดตรวจก็ให้คะแนนเหมือนกัน
7. ความหมายในการวัด (Meaningfulness)
ประเด็นคำถามสอดคล้องกับสภาพความเป็นจริง
ว่าใช้นามบัญญัติหรือเรียงลำดับจึงเหมาะสม
8. ความสามารถในการนำไปใช้ (Usability)
– นำไปใช้ได้ง่าย
– ใช้เวลาที่เหมาะสม
– ให้คะแนนง่าย
– คุ้มค่ากับเวลา
– แปลผลที่ได้ง่าย

9. วัดความถูกต้อง จากการทำงานของระบบที่สร้างขึ้น
10. วัดระดับความแม่นยำ (Precision)
11. วัดเรียกซ้ำ (Recall)

http://www.udru.ac.th/website/attachments/elearning/01/10.pdf

precision และ recall

precision and recall
precision and recall

precision คือ การวัดความสามารถในการที่จะขจัดเอกสารที่ไม่เกี่ยวข้องออกไป โดย precision เป็น อัตราส่วนของจำนวนเอกสารที่เกี่ยวข้องและถูกดึงออกมา กับจำนวนเอกสารที่ถูกดึงออกมาทั้งหมด
recall คือ การวัดความสามารถของระบบในการดึงเอกสารที่เกี่ยวข้องออกมา โดย recall เป็น อัตราส่วนของจำนวนเอกสารที่เกี่ยวข้องและถูกดึงออกมา กับจำนวนเอกสารที่เกี่ยวข้องทั้งหมด
relevant คือ จำนวนเอกสารที่เกี่ยวข้อง
retrieved คือ จำนวนเอกสารที่ถูกดึงออกมา

การวัด recall และ precision ไม่ง่ายทั้งด้านทฤษฎีและปฏิบัติ
เพราะเงื่อนไขคือการตีความของความเกี่ยวข้อง

recall กับ precision
recall กับ precision

นิยม ความเกี่ยวข้อง คือ ความสอดคล้องระหว่างข้อคำถามกับเอกสาร
ซึ่งพิจารณาจากปริมาณที่เอกสารที่ครอบคลุมเอกสารที่เหมาะสมหรือเกี่ยวเนื่องกับข้อคำถาม

http://e-book.ram.edu/e-book/c/CT477/CT477-6.pdf
https://en.wikipedia.org/wiki/Precision_and_recall