Rater الخصائص: اعتمادية rater والقدرة على التنبؤ من التقييمات

لقد تجاهلنا حتى الآن الفاعلين أنفسهم أنفسهم وأهميتهم لعملية تقييم الأداء. على الرغم من أنه قد تم الإشارة إلى أن المورّدين يخضعون لأنواع عديدة من "الأخطاء" في إصدار الأحكام ، وأنه يجب تصميم مقاييس التقييم لتقليل هذه الأخطاء إلى أدنى حد ، لم يتم فحص خصائص المقيم الفردي من حيث تأثيرها على عملية التصنيف.

موثوقية المقيمه والتنبؤ بها من التقييمات:

وقد تلقت مشكلة خصائص المقيم الكثير من الاهتمام في السنوات الأخيرة. قام باكينر (1959) باستكشاف العلاقة بين مدى اتفاق المراجعين ودرجة تمكن الشخص من التنبؤ بالتقييمات مع بعض المتغيرات الأخرى. وبطريقة أخرى ، طرح Buckner السؤال التالي: "هل التقييمات الموثوقة للغاية ، تعني أن لدي معيارًا سيكون من الأسهل التنبؤ به؟" وتبين أن الإجابة هي لا. قسم Buckner معدلاته إلى أربع مجموعات ، وهذا يتوقف على مدى اتفاق القضاة في تحديد تصنيفاتهم.

المجموعة 1: كان القضاة متفقين بشكل كبير على هذه النسبة

المجموعة 2: كان القضاة في اتفاق معتدل على هذه المعدلات

المجموعة الثالثة: كان القضاة متفقين على هذه النسبة

المجموعة 4: كان القضاة في اتفاق صفر على هذه المعدلات

ثم شرع في التحقق من صحة اختبارين من خلال ربط نتائج الاختبار بالتقييم - وقد تم ذلك لكل مجموعة على حدة. لم يجد علاقة منهجية بين حجم صلاحيته التي تم الحصول عليها كدالة للمجموعة التي كان يعمل بها. انتقد ويندل ودينغمان (1960) تفسير بُنر وقاموا بدراسة ثانية وجدوا فيها النتائج الواردة في الجدول 7.4.

لاحظ المقاييس النسبية لمعاملات الصلاحية الموضحة في الجدول 7.4. كلما زاد موثوقية المراجعين كلما زادت صلاحيتها. وبالمثل ، كلما كانت التصنيفات أكثر موثوقية ، ارتفعت صلاحيتها.

لذلك ، قد يتوقع المرء من الناحية المنطقية نتائج مثل تلك الخاصة بـ Windle و Dingman أكثر من تلك الخاصة بـ Buckner. ومع ذلك ، يجب على المرء أن يضع في اعتبارك أن الموثوقية العالية ليست سوى شرط ضروري لصلاحيات عالية - فهي ليست حالة كافية.

درست وايلي ، في سلسلة من الدراسات ، اتساق الأحكام الخاطئة مع مرور الوقت فيما يتعلق بمدى اتفاقها مع الأحكام السابقة من نفس المقيم (وايلي 1963 ؛ وايلي وجينكينز ، 1963) ومدى موافقتهما على مجموعة مركّبة rating (Wiley and Jenkins، 1964). بشكل عام ، تم العثور على المراجعين لتكون متسقة في تقديراتهم حتى فترة زمنية من عشرة أشهر.

بالإضافة إلى ذلك ، وجد أن هؤلاء المراجعين الذين اتفقوا بشكل وثيق مع المجموعة في مهمة تقييم مبدئية هم أيضا المقيمون الذين اتفقوا بشكل وثيق مع المجموعة المركبة على مهمة تصنيف مختلفة بعد شهر واحد. ويقترح أنه يمكن استخدام هذه المعرفة لاختيار المراجعين الذين يمثلون بالفعل متوسط ​​الإجماع لمجموعة أكبر من المراجعين.

ولسوء الحظ ، فإن مشكلة ما إذا كان المقيمون الذين يتفقون مع المجموعة المركبة أم لا هم أفضل المراجعين الذين يطلبونها لم يتم تحديدها. ومع ذلك ، هناك منطق للموقف أنه إذا كان من الممكن الحصول على تقييم مركب باستخدام عدد قليل من المراجعين الذي سيقارب المركب الذي تم الحصول عليه باستخدام عدد أكبر ، فيمكن بالتأكيد توفير الوقت والمال.

وقد أظهرت العديد من الخصائص الفخارية الأخرى تلعب دورا في تقييم الأداء التي حصلت عليها التصنيفات. أظهر "كريستال" و "مادن" (1960) أن أحد الاعتبارات المهمة هو الدرجة التي تكون بها المقيمون على دراية بالاحتلال الذي يصنفه ، وهي نتيجة تدعمها دراسات إضافية أجراها مادن (1960 أ ، 1961). وبالمثل ، فقد أثبت وايلي وهاربر وجيورجيا (1959 ، 1959 ب) تأثير اتجاهات المقيم المعمم على أن يكون ملحوظًا في تأثيرها على التصنيفات.

صيغة التقييم-التقييم وحكم تقييم الأداء:

أبلغ مادن عن عدد من الدراسات التي تتناول تأثير مقياس التصنيف نفسه. في إحدى الدراسات (Madden، 1960b) وجد أن موثوقية التصنيف وسهولة التقييم لم تتأثر باستخدام أو عدم استخدام أمثلة في تحديد مقياس التصنيف ، ولكن ما إذا كان المقياس قد تم تعريفه على أنه لم يتم تعريفه تؤثر على الموثوقية وسهولة الاستخدام.

في دراسة لاحقة درس مادن وبوردون (1964) تأثير سبع تنسيقات مختلفة لمقياس التصنيف على تصنيفات 15 مهنة مختلفة على 9 عوامل وظيفية مختلفة. وتشير النتائج ، وإن كانت معقدة بعض الشيء في طبيعتها ، بوضوح إلى أن التصنيف المعين لمهنة ما يعتمد على كل من عامل الوظيفة المعني ونسق مقياس التصنيف المعين المستخدم.