نظریه تعمیم پذیری
نظریه تعمیم پذیری
برای تصمیم گیری های آموزشی نیازمند استفاده دقیق از شاخص های روایی و پایایی هستیم.
نظریه نمونه گیری تصادفی که در آن به دنبال تعمیم نتایج از یک نمونه کوچک به جامعه نسبتا بزگ هستیم، شامل دو نظریه کلاسیک اندازه گیری و نظریه تعمیم پذیری می شود.
کرانباخ و همکارانش (کرانباخ، گلسر، ناندا و راجاراتنام، ۱۹۷۲) مفهوم تعمیم پذیری را به عنوان تلاشی برای افزایش دقت تفسیر آزمون، ابداع کرده اند. نظریه تعمیم پذیری، به طور مشخص، منابع منظم و مختلف پراکندگی را در اندازه گیریها بررسی کرده است و راههای برآورد میزان واریانس توزیع شده با این منابع را توصیف میکند. نظریه تعمیم پذیری به نظریه کلاسیک یا نظریه ضعیف نمره واقعی (فصل سوم) به عنوان نظریه ای که بیش از اندازه ساده و مبهم شده است، توجه میکند و بسیاری از جنبه های نظریه کلاسیک نمره واقعی را موارد خاص تدوین نظریه عمومی تر آزمون که ناشی از نظریه تعمیم پذیری است، تلقی میکند.
طبق گفتهی شولسون ارتباط بین GT و CTT همانند ارتباط بین آنوای عاملی و ساده است. محققی که آنوای ساده را بکار میگیرد، واریانس را به دو مؤلفهی بین گروهی )واریانس منظم( و درونگروهی )واریانس تصادفی( تقسیم میکند. به شیوهای مشابه، CTT نیز، واریانس را به دو مؤلفه، واریانس واقعی )واریانس منظم( و خطا )واریانس تصادفی( تقسیم میکند. با بکارگیری آنوای عاملی بجای ساده، محقق میپذیرد که عوامل چندگانهای در واریانس کل داده ها سهیم است. آنوای ساده، سؤالات محدودتری را مطرح میکند و نسبت به آنوای عاملی با کارایی کمتری به آنها میپردازد. به همین ترتیب، بسط CTT به GT اثرات چندگانه در واریانس اندازه گیری را تأیید میکند. GT همانند آنوای عاملی، واریانس را به چندین منبع نظیر؛ واریانس منظم در بین اهداف اندازه گیری، منابع چندگانه ی خطا و به تعاملات شان تقسیم میکند.
مفاهیم زیربنایی نظریه تعمیم پذیری:
برخلاف نظریه کلاسیک که زمینه های اجرای آزمون(زمان و شرایط اجرا، نظر تصحیح کنندگان و …) را نادیده می گیرد و برای هر فرد فقط یک نمره واقعی محاسبه می کند، در نظریه تعمیم پذیری، تاثیر عوامل مختاف بر اجرای آزمون و نمره واقعی مورد بررسی قرار می گیرد.در نتیجه برحسب شرایط مختلف، نمره های متفاوتی محاسبه خواهد شد. در این نظریه هر نمره محاسبه شده به عنوان مجموعه از از نمره های ممکن یا مجموعه مرجع نمره معرفی می شود که به وسیله یک یا چند واریانس تبیین می شوند.
هدف اندازهگیری: هدف اندازه گیری عاملی است که محقق عمدتاً روی آن تمرکزمیکند و تغییرپذیری میان آنها مطلوب است. در بسیاری از وضعیتهای اندازه گیری، افرادهدف اندازه گیری هستند.
رویه : رویه عبارت است از مجموعه ای از حالت ها یا سطوح اندازه گیری که قصد داریم عملکرد آزمودنی را در این سطوح مورد اندازه گیری قرار دهیم.
برای مثال وقتی یک آزمون اجرا می کنیم هر سوال یک سطح مورد قبول و کل سوالات آزمون هم رویه مورد قبول را تشکیل می دهند.لذا نمره مشاهده شده یک فرد یک نمونه تصادفی از مجموعه مرجع سوال های قابل قبول فرض می شود و نظریه تعمیم پذیری میزان تعمیم پذیری نمره حاصل از یک آزمون را به مجموعه مرجع سوال های قابل قبول بررسی می کند.
به همین منوال، اگر برای تصحیح از چند تصحیح کننده استفاده کنیم، نمره حاصل از تصحیح یک فرد، می تواند نمونه ای تصادفی از نمره های بدست آمده توسط مجموعه مرجع تصحیح کنندگان باشد.
با توجه به آنچه گذشت، نمره مشاهده شده در یک آزمون از رویه های مختلف مانند سوال، تعداد دفعات اجرای آزمون، تعدد تصحیح کنندگان و… تاثیر می پذیرد.لذا اگر فقط یک رویه در آزمون به کار گرفته شود طرح آزمون طرح یک رویه ای گفته می شود و اگر دو رویه بکار گرفته شود طرح دو رویه ای و…
هرچه تعداد رویه ها بیشتر باشد به آزمونگر این امکان را می دهد تا با افزایش سطوح رویه ای که واریانس آن یا واریانس اثر های متقابل آن زیاد است، مقدار واریانس خطا را کاهش دهد.و از این طریق ضریب تعمیم پذیری نمره مشاهده شده به نمره مجموعه مرجع را افزایش دهد.
ضریب تعمیم پذیری با نسبت واریانس نمره جامعه به واریانس نمره مشاهده شده برابر است و این ضریب، همتای ضریب پایایی به کار برده شده در نظریه کلاسیک نمره واقعی است. یک آزمون،تنها یک ضریب تعمیم پذیری ندارد، بلکه دارای ضرایب زیادی است که به سطوح مورد بررسی در مطالعه G وابسته اند. مطالعه G، به همین ترتیب، اطلاعات لازم را درباره چگونگی برآورد نمره جامعه آزمودنی با بیشترین دقت، فراهم می کند.
در طرح یک رویه ای افراد آزمودنی هدف اندازه گیری بوده و تشخیص واریانس های نمره حقیقی یا همان تفاوت های فردی مورد نظر است.در این طرح نمره کسب شده به مجموعه مرجع نمره های قابل قبول در رویه سوال (نمره ممکن در تمام سوال های ممکن) تعمیم داده می شود.
در طرح دو رویه ای هم افراد آزمودنی هدف اندازه گیری قرار دارند و و تفاوت های فردی بین آنها واریانس نمره حقیقی محسوب می شود. در این طرح نیز نمره کسب شده توسط هر فرد به محموعه مرجع نمره های قابل قبول در همان دو رویه نسبت داده می شود.
رویه تصادفی: اگر سطوح رویه مورد بررسی ردر اندازه گیری به صورت تصادفی از میان مجموعه مرجع سطوح ممکن آن رویه انتخاب شده باشند، آن را رویه تصادفی می نامند. در چنین حالتی سطوح انتخاب شده برای اندازه گیری در هربار اجرای آزمون متفاوت خواهد بود. مثلا هر بار تعداد خاصیاز سوال ها یا تعداد خاصی از مصححان از میان سطوح قابل قبول سوال یا تصحیح کننده انتخاب و عملکرد آنها به مجموعه مرجع مورد قبول همان رویه تعمیم داده می شود.
تعمیم پذیری یک نظریه با رویه تصادفی است و در هر اندازه گیری حداقل یکی از رویه ها باید تصادفی باشد.
استفاده از نظریه تعمیم پذیری مستلزم انجام دادن دو نوع مطالعه است: مطالعه تعمیم پذیری (G) و مطالعه تصمیمی (D). مطالعه G، به عنوان بخشی از توسعه ابزار اندازه گیری صورت می گیرد. هدف عمده این مطالعه، تعیین درجه ای است که درآن، نتایج آزمون در شرایط مختلف اندازه گیری، معادل با یکدیگرند. به عبارت ساده تر، مطالعه G مستلزم جمع آوری داده ها برای آزمودنیهایی است که در شرایط معین، آزمون شده اند( برای آنهایی که در سطوح مختلف معین شده اند).برآورد واریانس اجزای ناشی از این سطوح و کنش متقابل بین آنها، با استفاده از تجزیه و تحلیل واریانس (به هیز، ۱۹۷۳مراجعه کنید) وایجاد ضرایب تعمیم است
مطالعه D، ابزار اندازه گیری داده هایی را به وجود می آورد که در تصمیم گیری یا رسیدن به نتایج به کار برده میشوند؛ مانند پذیرش اافراد در برنامه ها یا شناسایی کودکانی که دارای مهارتهای معینی در خواندن هستند. اطلاعات بدست آمده از مطالعه G، در تفسیر نتایج مطالعه D و دستیابی به نتایج دقیق مورد استفاده قرار میگیرند.
شناسایی و جداسازی منابع چندگانه خطای اندازه گیری و برآورد هر یک از آنها، تمایز گذاشتن میان تصمیمهای نسبی و مطلق، تمایز گذاشتن میان رویه های اندازه گیری ثابت و تصادفی و همچنین پرداختن به طرحهای مختلف مطالعه D را میتوان ازجمله نقاط قوت نظریه تعمیم پذیری ذکر کرد که نظیر آنها درنظریه کلاسیک آزمون وجود ندارد.
CTT چون نمیتواند خطای اندازه گیری منظم را در خود جای دهد، تنها برای سنجش اعتبار آزمونهای هنجار مرجع مناسب است. درحالیکه GT به دلیل انعطاف پذیری که دارد هر دو خطای اندازه گیری نسبی و مطلق را در خود جای میدهد و میان تصمیم های نسبی و مطلق تمایز میگذارد؛ بنابراین، هم برای سنجش هنجار مرجع مناسب است و هم نسبت به CTT ، برآورد مناسبی از اعتبار را برای آزمونهای ملاک مرجع فراهم می آورد.