منبع واریانس

MS

EMS

ECV

فرد ()

سوال ()

انواع تصمیم و واریانس­های خطا

در یک وضعیت اندازه ­گیری، نوع تفسیر نمره (هنجار در مقابل ملاک­مرجع) تعیین می‌کند که کدام تصمیم (نسبی یا مطلق) مناسب است و واریانس خطا به طور متفاوتی برای هر نوع از تصمیم تعریف می شود. یک تصمیم مطلق^[۸۰] است اگر تصمیم درباره افراد مبنی بر نمراتشان در ارتباط با یک ملاک باشد. به بیانی دیگر، تصمیم مطلق بر روی سطح عملکرد افراد بدون توجه به رتبه­ی آن ها متمرکز است و در ارتباط با ثبات جایگاه نسبی افراد و هم ثبات نمرات واقعی است. واریانس خطا برای تصمیم مطلق را با علامت نشان می­ دهند و آن را واریانس خطای مطلق^[۸۱] می‌نامند که شامل همه مؤلفه­ های واریانس مدل به جز هدف اندازه ­گیری است. این نوع واریانس بیانگر تفاوت میان نمره مشاهده شده و نمره جهان فرد است. یک تصمیم نسبی^[۸۲] است اگر تصمیم درباره افراد مبتنی بر جایگاهشان در ارتباط با دیگران باشد. این نوع تصمیم بر روی تفسیر نمره هنجار­مرجع متمرکز است. یعنی نمرات اندازه ­گیری برای متمایز کردن آزمودنی­ها به کار می­روند. اعتبار اندازه ­گیری در این حالت مربوط به ثبات جایگاه نسبی افراد است نه ‌در مورد ثبات نمرات واقعی. واریانس خطا برای تصمیم نسبی را با علامت نشان می‌دهند و آن را واریانس خطای نسبی^[۸۳] می­نامند. این نوع واریانس شامل همه ی مؤلفه­ های واریانس تعاملی است که هدف اندازه ­گیری را در بر ‌می‌گیرد. واریانس خطای نسبی به صورت تفاوت میان نمره انحرافی مشاهده شده شخص^[۸۴] و نمره انحرافی جهان^[۸۵] او تعریف می­ شود. این نوع واریانس مشابه واریانس خطا در CTT است. ریشه دوم واریانس­های خطا (نسبی و مطلق)، برآوردی از خطای استاندارد اندازه ­گیری (نسبی و مطلق) است که ‌می‌توان از آن در جهت ساخت فواصل اطمینان حول نمره جهان فرد استفاده کرد.

در کل واریانس خطای نسبی کمتر از واریانس خطای مطلق است زیرا شامل مؤلفه­ های واریانس کمتری است. این نشان می­دهد که تفسیر­های نسبی ‌در مورد نمرات افراد نسبت به تفسیرهای مطلق کمتر مستعد خطا هستند. در شکل زیر، تفاوت میان خطای مطلق و خطای نسبی طرح P×I نشان داده شده است. قسمت­ های هاشور خورده، سهم واریانس خطا تحت سطوح مختلف است.

خطای مطلق خطای نسبی

نمودار ۲-۴: سهم واریانس خطای نسبی و مطلق در طرح یک رویه ­ای متقاطع

واریانس خطا برای این طرح در صورتی که تصمیم نسبی باشد :

همچنین، واریانس خطا برای تصمیم­های مطلق به صورت زیر تعریف می­ شود:

اگر رویه موجود در طرح، رویه سوال باشد؛ تعداد سوالات تعریف شده در مطالعه D است (برنان، a 2010؛ وب و شیولسون، ۲۰۰۵؛ فن و سان، ۲۰۱۳).

انواع ضرایب

هنگامی که ‌در مورد مفهوم­سازی خطا (نسبی در مقابل مطلق) تصمیم گرفته شد، سطوح اندازه ­گیری مختلفی در سنجش اعتبار به کار می­رود. ضریب اعتبار و محاسبه آن بستگی به مفهوم­سازی خطای از پیش تعیین شده به عنوان مطلق یا نسبی دارد. به بیان دیگر، GT میان دو نوع ضریب اعتبار تمایز می­ گذارد:

اولین، ضریب تعمیم­پذیری (ضریب G) است و زمانی به کار می­رود که تصمیم­ها نسبی هستند. این ضریب، همه منابع خطایی که جایگاه نسبی افراد را تحت تأثیر قرار می­دهد (تعاملات هر رویه با هدف اندازه ­گیری) را در بر ‌می‌گیرد. ضریب G را با علائم یا نمایش می­ دهند و فرمول آن به صورت زیر ‌می‌باشد:

دومین، شاخص اتکاپذیری () است و برای تصمیم­های مطلق به کار می­رود. این شاخص، همه مؤلفه­ های واریانس به غیر از هدف اندازه ­گیری را در بر ‌می‌گیرد و به صورت زیر فرمول­بندی می­ شود:

تفاوت ضریب تعمیم پذیری و شاخص اتکاپذیری در این است که اولی شامل واریانس خطای نسبی و دومی شامل واریانس خطای مطلق است. ‌بنابرین‏ شاخص اتکاپذیری عموماً کمتر از ضریب تعمیم­پذیری است(همان منبع).

در قسمت زیر، به نظریه پرسش – پاسخ(IRT)، به همراه مفروضات، مفاهیم اساسی و مدل­های آن اشاره می­ شود. مطالب آن از منابع جزوه کلاسی فلسفی نژاد (۱۳۹۱)؛ همبلتون و همکاران (ترجمه­ی فلسفی­نژاد، ۱۳۸۹)؛ امبرتسون و رایس (ترجمه­ی شریفی و همکاران، ۱۳۸۸)؛ ستاری (۱۳۸۲) و بیکر (ترجمه­ی هومن و عسگری، ۱۳۸۱) گرفته شده است.

نظریه پرسش – پاسخ(IRT)

نارسایی­های نظریه کلاسیک موجب شد از سال ۱۹۸۰ به بعد به طور چشمگیری از نظریه پرسش – پاسخ (IRT) استفاده شود. به­ طوری که این نظریه به سرعت به صورت خطوط فکری پایه­ های نظری اندازه ­گیری درآمده است. نظریه پرسش – پاسخ چارچوب مفیدی را برای حل مسائل متنوع و گسترده اندازه ­گیری فراهم ‌می‌آورد. نظریه پرسش – پاسخ که به عنوان نظریه صفت مکنون نیز معروف است، اندازه ­گیری مبتنی بر مدل است که بر اساس آن سطح توانایی آزمودنی از روی پاسخ­های او به سوالات آزمون برآورد می­ شود. این نظریه مجموعه ­ای از مدل­های ریاضی و آماری است که برای تبیین رابطه تابعی میان صفت زیربنایی مورد سنجش که غالباً توانایی^[۸۶] است و احتمال پاسخ صحیح به سوال به کار می رود. این نظریه توانسته است برای طراحی و تحلیل آزمون­های روانی و تربیتی مفید واقع شود و مواردی از قبیل سنجش انطباقی^[۸۷]، کنش افتراقی سوال^[۸۸]، همترازسازی^[۸۹] نمرات آزمون­ها و ایجاد بانک سوال از کاربردهای با ارزش این نظریه محسوب می­شوند.

مفروضات نظریه پرسش – پاسخ

از آنجا که نظریه پرسش – پاسخ مبتنی بر مدل است، ‌بنابرین‏ پیش فرض­های مدل باید برقرار باشد تا بتوان از آن استفاده کرد. اگر پیش­فرض­ها برقرار نباشند،CTT بهتر از IRT است اما در صورت برقراری مفروضات، IRT ابزار قدرتمندی است که به نتایج معتبر و دقیق­تری منجر می­ شود که از نظریه کلاسیک با مفروضات ضعیف بر نمی­آید. در اینجا به دو مفروضه زیربنایی این نظریه اشاره می­ شود.

تک بعدی بودن^[۹۰]

تک بعدی بودن یک آزمون اشاره دارد به اینکه سوالات آزمون فقط یک توانایی را اندازه بگیرد. هر چند این مفروضه نمی­تواند به طور کامل رعایت شود و آزمونی ساخته شود که صد در صد خالص باشد و فقط یک ویژگی را بسنجد، زیرا عواملی همچون؛ دانش فهم سوال، پیدا کردن سرنخ ها، انگیزش، اضطراب و خستگی آزمودنی عملکرد آزمودنی را متأثر می­سازد. با این وصف آنچه در این میان اهمیت دارد، این است که هر آزمون یک توانایی غالب را بسنجد. برای آزمودن تک بعدی بودن یک آزمون از تحلیل عاملی استفاده می­ شود.

استقلال موضعی^[۹۱]

معنی استقلال موضعی آن است که با ثابت نگه داشتن توانایی­هایی که عملکرد در آزمون را تحت­تاثیر