ترفندهای اعتبار سنجی و اصلاح آزمونها

ترفندهای اعتبار سنجی کمک می کنند تا انجام این کار آسانتر شده و در زمان و هزینه صرفه جویی شود:

اجرای محدود آزمون

بهتر است آزمون در ابتدا بر جامعه آماری کوچکی اجرا شده و درصورت داشتن اعتبار کافی، بر جامعه بزرگتری اجرا شود.

گروه های شناخته شده

می توان آزمون را ابتدا بر روی گروه هایی که از قبل نسبت به آنها شناخت داریم انجام دهیم تا بتوانیم راحت تر ارزیابی کنیم. مثلا می دانیم که یکی از کارمندان دارای افسردگی است بنابراین راحت تر می توانیم دلیل پاسخ به برخی پارامترها تحلیل کنیم. سپس آزمون را به نحوی اصلاح می کنیم که مثلا افسردگی تاثیر کمتری بر پاسخها داشته باشد. و در نهایت آزمون را در مقیاس بزرگ اجرا می کنیم.

آزمون فرضی

می توان ابتدا آزمون را بصورت فرضی برگزار کرد یعنی داده هایی که از قبل درمورد همکاران جمع آوری کرده ایم را با نتایج سوالات تطبیق می دهیم. مثلا می دانیم که کارمندان افسرده، نسبت به ظاهر یکی از محصولات چه نظری داشته اند پس احتمالا نظر سایر افراد افسرده نیز همینگونه خواهد بود (این نتایج صرفا با فرض و بدون انجام آزمون و فقط با داده های قبلی اخذ شده است). حالا آزمون را به نحوی اصلاح می کنیم که افسردگی بر نتایج تاثیر نداشته باشد و آزمون را در مقیاس بزرگ اجرا می کنیم. توجه شود که داده های قبلی باید حتما مستند شده و قابل استناد باشند نه صرفا دیدگاه ما.

بررسی گفتاری

برای آنکه بفهمیم چقدر توانسته ایم منظور خود در آزمون را به مخاطبین انتقال دهیم، ابتدا آزمون را در جامعه آماری کوچکی اجرا می کنیم. سپس برایشان توضیح می دهیم که منظور ما از سوالات چه بوده است و دوباره آزمون را اجرا می کنیم. اگر نتایج در قبل و بعد از توضیح با یکدیگر تفاوت چشمگیری داشته باشد، یعنی آزمون گویا نیست و باید سوالات را دوباره و به نحو واضح تری طراحی کرد.

شبکه نومولوژیکی

برخی پارامترهای مرتبط با یکدیگر حتی نیاز به آزمون هم ندارندمثلا رابطه بین هوش و حافظه واضح است بنابراین وقتی می دانیم که ضریب هوشی یک کارمند بالا است، نیازی نیست که مجددا از او برای سنجش حافظه نیز آزمون گرفته شود. مفاهیم مرتبط در داخل سازمان که در جایی خارج از سازمان عمومت ندارد (مثلا نتایج کنترل کیفیت جوشکاری و رابطه آن با رضایت شغلی برای کارگران خط تولید) را می توان از قبل شناسایی کرد. این شبکه ارتباطی بین اجزای مرتبط را می توان تا جایی گسترش داد که یک یا چند پارامتر بتوانند کل نیازهای برگزاری آزمون را رفع کنند.

حدس فرضیه

یکی از خطرناکترین اشتباهات در نتیجه گیری از یک آزمون است. هیچ چیزی نباید بر مبنای تفکرات قبلی حدس زده شود بلکه همه چیز باید بررسی و آنالیز شده و بر با نگاه بیطرفانه نتیجه گیری شوند. مثلا در یک کارخانه مشاهده شد که وقتی نور در خط تولید افزایش می یابد، کارکرد کارگران بیشتر می شود. آنها نتیجه گرفتند که: چون کارگران فکر می کنند که ممکن است بیشتر دیده شوند،باید بهتر کار کنند درحالیکه این تغییر در تولید ناشی از کمبود نور در گذشته بود.

تعصب در طراحی آزمایش

این اشتباه خطرناک که ممکن است عمدی یا ناخودآگاه باشد، باعث می شود آزمون به نحوی طراحی شود که نتایجی برای تایید یا رد یک تفکر بگیرد. طراحی آزمون باید کاملا بیطرفانه باشد.

انتظارات محقِق

در طراحی آزمون باید دقت کرد که سوالات باعث نشود که ذهن مخاطب به سمتی متمایل شده و بر پاسخگویی به سوالات تاثیر بگذارد. این موضوع می تواند بصورت خودآگاه، ناخودآگاه، و یا حتی تصادفی اتفاق افتد مثلا ممکن است نحوه چینش سوالات باعث شود که مخاطب در بین سوالات یک نوع توالی را شناسایی کند درحالیکه طراح سوالات اصلا چنین قصدی نداشته است.

تعریف محدود نتیجه پیشبینی شده

ممکن است سنجه های آزمون آنقدر کم باشند که نشود نتیجه ای از آن گرفت مثلا فقط سنجش رضایت شغلی برای سنجش رضایت کارمندان از زندگی که مشخص است تنها با این پارامتر نمی توان به نتیجه رسید.

متغیر مخدوش

ممکن است پس از نتیجه گیری از یک آزمون، مشخص شود که یک متغیر بسیار مهم که تاثیر بسیاری در نتیجه گیری داشته است فراموش شده. در این حالت نباید نتیجه گیری کرد بلکه باید آزمون را تکمیل نمود.

منابع ترفندهای اعتبار سنجی و اصلاح آزمونها

بر اساس نظریات: کرونباخ، لووینگر، کین، مسیک، کمپبل، هاموند، وستن، رامیل جونیور، انگل، اکرمن، میفلین، ریچموند، گولد، مکنزی