آشنایی با روایی و پایایی در تحقیقات علمی
پایایی و روایی هیچ سنجشی بی خطا نیست. هر قدر هم که ابزار سنجش ما دقیق و هر قدر تلاش ما برای مشاهده دقیق باشد باز همواره سنجش آمیخته با خطاست. هر نوع سنجشی شامل درجه ای از خطاست که به آن " خطای سنجش " می گویند. اما هدف ما این است که خطای سنجش را تا حد امکان کاهش دهیم. مهمترین معیار درستی سنجش , اعتبار آن است یعنی سنجش واقعا سنجش همان چیزی باشد که قصد سنجش آن را داریم. سنجش باید از ثبات هم برخوردار باشد یعنی هرگاه آن را دوباره تکرار کنند به همان نتایج برسند. این ثبات سنجش را پایایی می خوانند. البته وقتی سنجش از اعتبار برخوردار نباشد پایایی آن هم مناسبتی نمی یابد. قبل از بکارگیری ابزارهای اندازه گیری لازم است پژوهشگر از طریق علمی، نسبت به روا بودن ابزار اندازه گیری مورد نظر و پایایی آن که مکمل هم بحساب می آیند اطمینان نسبی پیدا کند. ابزاری که برای جمع آوری داده ها مورد استفاده قرار ميگيرد درمرحله نخست بايد از روايي )اعتبار( برخوردار باشد و درمرحله دوم بايد پايايي )اعتماد( داشته باشد . در واقع يکی از شروطی که باعث می شود يک تحقيق روايی داشته باشد اين است که ابزار تحقیق، روايی داشته باشد.
· مفهوم روایی (Validity) پاسخ دهنده این است که ابزار اندازه گیری تا چه حد خصیصه مورد نظر را می سنجد. موضوع روایی از آن جهت اهمیت دارد که اندازه گیریهای نامتناسب میتواند هر پژوهش علمی را بی ارزش سازد.
مثال:
اگر بخواهيم شيوع كم وزني هنگام تولد را در نوزادان يك زايشگاه بدانيم ، بايد همه نوزادان تولد يافته را وزن كنيم . براي اين كار مي بايست از ترازوي مخصوص توزين نوزاد و آنهم ترازوي استاندارد استفاده شود تااهداف تحقيق را درست اندازه گيري كند و به عبارتی ابزار تحقيق از روايی برخوردار باشد. دراین مثال سپس بايد ديد با چند بار وزن کردن آيا وزن يک کودک را در هر مرحله ، مشابه وزن قبلی نمايش می دهد تا به پایایی دست یابیم.
روایی یا اعتبارسازی (Validity or Credibility)
انواع اعتبار یا روایی ابزارجمع آوری اطلاعات در تحقیقات کمی عبارتند از:
روایی یا اعتبار محتوی
روایی یا اعتبار صوری
روایی یا اعتبار ملاکی
روایی یا اعتبار پیش بین
روایی یا اعتبار همزمان
روایی یا اعتبار سازه
روایی یا اعتبار استقرایی
روایی یا اعتبار همخوان
روایی یا اعتبار وفاقی
روایی یا اعتبار همگرا
روایی یا اعتبار تعریفی
روایی یا اعتبار افتراقی
روایی یا اعتبار تفکیکی
روایی یا اعتبار تجربی
روایی یا اعتبار عاملی
روایی یا اعتبار نمونه گیری
روایی یا اعتبار وابسته به قوانین طبیعی
روایی یا اعتبار ترکیبی
روایی یا اعتبار ویژگی
روایی یا اعتبار افزایشی
1) به ترکیب روایی 1 و 2 روایی منطقی نیز می گویند که به ظاهر و محتوای پرسشنامه و سوالات آن مربوط می شود. که دو نوع دارد:
الف) روایی ظاهری یا روایی صوری
یکی از مشتقات روایی محتوایی است. به این مطلب اشاره می کند که سوالهای آزمون تا چه حد در ظاهر شبیه موضوعی هستند که برای اندازه گیری آن تهیه شده اند.: تائید صاحب نظران مبنی بر توانمندی سنجش ابزار اندازه گیری از جهت ظاهری روشن و بدون ابهام باشد.
ب ) روایی محتوایی:
تائید صاحب نظران از نظر کفایت ، کمیت ، کیفیت سوالات پرسشنامه یا مصاحبه و موارد لازم برای مشاهده.:هر وقت آزمون یا وسیله اندازه گیری طوری ساخته شود که در برگیرنده تمام مطالب و محتوای مورد نظر باشد روایی محتوایی میگویند. به این مطلب اشاره می کند که نمونه سوالهای مورد استفاده در یک آزمون تا چه حد معرف کل جامعه سوالهای ممکن است که می توان از محتوا یا موضوع مورد نظر تهیه کرد. آزمون، وقتی اعتبار محتوی دارد که هدفهای آن با محتوای آزمودنی ارتباط داشته باشد. برای مثال، سنجش دقت افراد از طریق آزمونهایی امکانپذیر است که با مفهوم دقت ارتباط داشته باشد. به این مطلب اشاره می کند که نمونه سؤالهای مورد استفاده در یک پرسش نامه یا مصاحبه تا چه حد معرف کل جامعه سؤالهای ممکنی است که می توان در رابطه با آن موضوع تهیه کرد معمولا نظر متخصصان در این باره کافی است.
3- روایی ملاکی :
رابطه میان آزمون ( ابزار اندازه گیری ) عملکرد آزمودنی در یک مقیاس خارجی به نحوی که آن دو یعنی ( آزمون و عملکرد) به صورت نظری با هم مرتبط باشند. میزان ارتباط بین نمرات حاصل از یک آزمون با نمرات حاصل از یک آزمون یا وسیله اندازه گیری دیگر است.اعتبار ملاکی به صورت همبستگی نمرههای آزمون با یک ملاک خارجی که با متغیر مورد سنجش مربوط است، تعریف میشود. اعتبار وابسته به ملاک را به اعتبار همزمان و اعتبار پیشبین تقسیم میکنند. اگر اندازه متغیر ملاک همزمان با اجرای آزمون به دست آید، همبستگی آزمون با متغیر ملاک را اعتبار همزمان مینامند. مانند، همبستگی بین نمرههای هوش و پیشرفت تحصیلی گروهی از دانشآموزان در یک زمان معین. در اعتبار پیشبین، اندازه متغیر ملاک مدتی پس از اجرای آزمون به دست میآید. به عنوان مثال همبستگی بین نمرههای یک تست هوش با نمرههای پیشرفت تحصیلی آزمودنیها در یک یا چند سال آینده، اعتبار ملاکی پیشبین آزمون هوش نامیده میشود.
4- روایی پیش بین :
آزمونهایی که بمنظور پیش بینی رویداد ها و یا پدیده ها ی به خصوصی ساخته می شوند و نیاز به داشتن روایی پیش بینی هستند. هرگاه بوسیله یک ابزار اندازه گیری بتوان بطور صحیح و دقیق رویداد و یا پدیده ای را پیش بینی کرد ان را ابزار اندازه گیری دارای روایی پیش بینی میگویند. ویژه آزمونهایی است که برای پیش بینی موفقیت افراد در امور تحصیلی یا شغلی بکار می روند. از طریق برقراری همبستگی با ابزار اندازه گیری مشابه؛ مانند نمرات ارزشیابی عملکرد (رفتار آتی) با آزمون سنجش توانایی فرد تعیین می گردد.
5- روایی همزمان :
این روایی نوعی از روایی پیش بینی میباشد با این تفاوت که در روایی همزمان بجای تعیین رابطه میان دو آزمون با فاصله زمانی رابطه دو آزمون بطور همزمان تعیین میشود. هدف از این روایی این است که آیا میتوان یک آزمون را جانشین آزمون دیگری کرد یا نه ؟ روایی همزمان بیشتر در آزمونهایی استفاده میشود که کاربرد بالینی دارند. از طریق برقراری همبستگی بین داده های ابزار اندازه گیری مشابه مانند ایجاد ارتباط بین امتیاز ویژگی های کارآفرینی افراد و پرسشنامه ضریب کارآفرینی تعیین می گردد.
به روایی پیش بین و روایی همزمان، روایی وابسته به معیار نیز می گویند.
6- روایی سازه :
در صورتی ابزار دارای روایی سازه یا توافقی است که نمرات حاصل از اجرای آن به مفاهیم یا سازه های و نظریه های مورد نظر و مرتبط با آن کار مربوط باشد . در مورد آزمونهایی لازم است که به منظور سنجش استعدادهای کلی و پدیدههای دارای ابعاد مختلف طراحی میشوند. برای مثال، هوش پدیده ذهنی است که دارای ابعاد مختلفی از قبیل: سرعت انتقال، عکسالعمل متناسب، تشخیص روابط بین پدیدهها و میزان سازگاری میباشد. مجموعه ای از عوامل است که یک عامل را میسازد و آن را سازه نامند. اعتبار سازه بر این مطلب تأکید میکند که آزمون تا چه اندازه سازه نظری یا صفت مورد نظر را اندازه میگیرد. این سنجش مستلزم سه اقدام اساسی است: در ابتدا سازنده آزمون باید صفت مورد نظر را به دقت تحلیل کند. در مرحله بعد، چگونگی ارتباط صفت با متغیرهای دیگر را مورد توجه قرار دهد و بعد از طریق آزمایش معلوم کند که آیا این روابط فرضی واقعا وجود دارند یا نه. مثال : یک آزمون برای اندازه گیری پرخاشگری ساخته شده در صورتی دارای روایی سازه است که سؤالات حاصل از آن به سازه هایی که نظریه های پرخاشگری مربوط است ارتباط داشته باشد.
ویژه آزمونهایی هست که درستی نظریه های علمی را میسنجد. یک آزمون در صورتی دارای روایی سازه است که نمرات حاصل از اجزای ان به مفاهیم یا سازه های نظریه مورد نظر مربوط باشند. بیشتر از روایی محتوایی و روایی پیش بینی جنبه نظری دارد. یک آزمون در صورتی دارای روایی سازه است که نمرات حاصل از اجرای آن به مفاهیم یا سازه های نظریه مورد نظر مربوط باشند. معنی سازه به معنی مفهوم نزدیک است. همه سازه های علمی دارای دو ویژگی هستند:
1. خلاصه ای انتزاعی از پاره ای نظاممندیهای طبیعت اند.
2. به رویدادهای عینی و قابل مشاهده مربوط اند.
روایی سازه گویای آن است که نتایج حاصل از به کارگیری ابزار سنجش تا چه اندازه با نظریه هایی که ابزار سنجش ( آزمون ) بر اساس آنها تدوین شده است تناسب دارد.
الف) روایی همگرا: از طریق بررسی همبستگی بین دو یا چند ابزار اندازه گیری که خصیصه مرتبطی را اندازه می نمایند.
ب) روایی عاملی : از طریق تکنیک تحلیل عاملی مشخص می شود مانند تعیین باز عاملی هر یک از عبارات که برای سنجش عواملی چون استقلال طلبی در نظر گرفته شده است.
ج) روایی واگرا: از طریق نشان دادن عدم وجود همبستگی بین دو آزمودنی که خصیصه های متفاوتی را اندازه گیری می کند.
روش تعیین روایی سازه : برای تعیین روایی سازه نخست باید متغیر مورد نظر را تعریف کرد این متغیر به صورت یک سازه در نظامی از مفاهیم قرار خواهد داشت که در آن نظام این سازه ,به طریقی منطقی , با سازه های دیگر در رابطه خواهد بود .این روابط در نظریه بخصوص بیان شده اند .پس از تعریف کردن سازه ,برای اندازه گیری آن ,آزمونی تهیه می شود سپس با توجه به پیش بینی های نظریه ,نمرات حاصل ازاین آزمون باید با متغیرهای دیگر مورد بحث در نظریه روابط پیش بینی شده را نشان دهند. اگروجود این روابط نشان داده شد,آزمون مورد نظر دارای روایی سازه است .
برای مثال:سازه هوش ,گرچه یک مفهوم قابل مشاهده نیست نظریه روانشناختی و پرورشی مطالب زیادی درباره آن بیان کرده اند. مثلا اینکه افراد با هوش در یادگیری سریع اند ,یا هوش یا پیشرفت تحصیلی رابطه مستقیم دارد.متخصص هوش سنجی ,پس ازاینکه تعریفی ,از هوش به دست داد,برای آن یک آزمون می سازد و رابطه بین نمرات حاصل ازاین آزمون را با سرعت یادگیری , میزان پیشرفت تحصیلی و غیره تعیین می کند چنانچه نتایج حاصل پیش بینی های نظریه هوشی را تایید کردند گفته می شود که آزمون تهیه شده یک آزمون هوشی، رواست.
برای تعیین روایی سازه از راههای مختلف استفاده می شود که عبا رتند از:
1-تعیین همبستگی آزمون با سایر آزمونهای روا:آزمون مورد نظر را با یک آزمون موجود دارای روایی که برای همان سازه ساخته شده است تعیین کنیم : با روایی همگرا یا واگرا
2-تمایز سنی :توجه به تمایز سنی است اگر یکی از ویژگی های انسان با بالا رفتن سن پیشرفت نشان دهد نمرات آزمودنی که برای اندازه گیری این ویژگی درست شده باید منعکس کنند.
3-تحلیل عامل :تحلیل عوامل یک روش آماری است که از طریق آن تعداد و ماهیت متغیرهایی را که یک آزمون اندازه می گیرد مشخص می کنند.
4- همسانی درونی : آخرین روش تعیین روایی سازه همسانی درونی است,آزمون بررسی می شود ملاک مورد استفاده بررسی همانی درونی (نمره کل آزمون ) است.اصطلاحات روایی محتوایی,روایی پیش بینی ,وروایی سازه ابتدا تنها برای آزمون های وابسته به هنجاربه کار می رفتند,اما کاربرد آنها در مورد آزمونهای وابسته به ملاک تیر کاملا امکان پذیر است.(اندازه گیری سنجش و ارزشیابی آموزشی , دکتر علی اکبر سیف)
تعریف علمی سازه را بنویسید :
مفاهیم پیچیده که در سطح بالاتری از تجرید (انتزاع) قرار دارند سازه نامیده می شوند. انگیزش؛ هوش؛ اضطراب و قابلیت اجتماعی بصورت مستقیم قابل مشاهده نیست برای تعریف عملیاتی یک سازه باید متغیرهای معرفی را که نشان گر این سازه باشد مشخص کرد .زیرا از یک سو به مهارتهای اجتماعی و از سوی دیگر به فرآیند اجتماعی شدن تنها با ایجاد شرایط خاص و با کمک متغیرها امکان پذیر می گردد .
واژه های «مفهوم» و «سازه» معنای مشابه دارند، با وجود این تمایز مهمی در بین آنها وجود دارد. برای درک این تمایز، باید به تفاوت های بین انتزاع مفاهیم توجه کنیم. برخی مفاهیم با واقعیت ها و چیزهایی که توصیف می کنند ارتباط نزدیک دارند. مثلا مفهوم میز را می توان با نشان دادن میزهای معینی به آسانی بیان کرد. برخی مفاهیم را نمی توان به آسانی به پدیده هایی که این مفاهیم در برابر آنها ایجاد شده ربط داد. مثلا مفاهیمی چون طرز فکر، یادگیری و نقش انگیزش از این گونه اند.این گونه مفاهیم در واقع تجریدهایی عالی تر از رویدادهای محسوس و ملموس اند و می توان آنها را نوعی استنباط دانست. معانی این مفاهیم را نمی توان به سهولت با نشان دادن چیزهای خاص یا افراد یا رویدادهای معینی به دیگران تفهیم کرد. این نوع تجریدهای عالی تر به این دلیل که از مفاهیمی با سطح انتزاع بالاتر ساخه شده اند در پژوهش علمی «سازه» خوانده می شوند.
7- روایی یا اعتبار استقرایی: میزان رابطه شهودی ظاهری اقلام یک آزمون با رفتارهایی که فرض میشود، مورد سنجش قرار میگیرند.
8- روایی یا اعتبار همخوان: اعتبار تثبیتشده از طریق مقایسه نتایج آزمونی تازه با نتایج آزمونی که قبلا معتبر شناخته شده است.
9- روایی یا اعتبار وفاقی: اعتبار یک آزمون یا اصلی که با نسبت افراد موافق یا معتبر بودن آن تعیین میشود.
10- روایی یا اعتبار همگرا: میزان همبستگی نمرات یک آزمون با چندین عامل مختلف را گویند. وجود این همبستگی برای اطمینان از این که آزمون آنچه را که باید سنجیده شود میسنجد، ضروری است.
11-روایی یا اعتبار تعریفی: اعتبار یک آزمون، متکی بر این است که اقلام تشکیلدهنده آن طبق تعریف آنچه را که باید سنجیده شوند میسنجند.
12-روایی یا اعتبار افتراقی: اعتبار یک آزمون، مبتنی بر میزان پیشبینی عملکرد افتراقی در دو یا چند تکلیف را گویند.
13-روایی یا اعتبار تفکیکی: میزان نقص همبستگی یک آزمون با آزمایشات یا مهارتهایی که قرار نیست سنجیده شوند را گویند.
14-روایی یا اعتبار تجربی: میزانی که میتوان به تجربه نشان داد که یک آزمون آنچه را مورد نظر است میسنجد.
15- روایی یا اعتبار عاملی: میزان همبستگی نمرات در نتایج دو آزمونی که قرار است چیز واحدی را بسنجد.
16- روایی یا اعتبار نمونه گیری: میزانی که به نظر میرسد یک آزمون صفات نمونهگیریشده خاص را در زمینه هر آنچه قرار است سنجیده شود، میسنجد.
17- روایی یا اعتبار وابسته به قوانین طبیعی: میزانی که به نظر میرسد یک آزمون با توجه به یک نظریه کلی، آنچه را که باید بسنجد، میسنجند.
18-روایی یا اعتبار ترکیبی: اعتبار یک وسیله آزمایش پیچیده یا مجموعه کاملی از آزمونها، مبتنی بر رابطه بین نمره مرکب که بازنمایی عوامل مختلفی است که در آزمون عملکرد واقعی نمایانده میشوند.
19-روایی یا اعتبار ویژگی: میزانی که یک آزمون هر یک از صفات زمینهای هر آنچه را که قرار است سنجیده شود، میسنجد.
20- روایی یا اعتبار افزایشی: میزانی که یک آزمون از طریق پالایش تدریجی(مثلا با حذف مواردی که هماهنگ با سایر مواد معتبر نیست) به معیاری قابل اطمینان برای سنجش آنچه مورد نظر است، تبدیل میگردد.
عوامل موثر بر روایی آزمون –ابزار سنجش :
الف :عوامل درونی
1- -دستورالعمل یا راهنمای آزمون 2- کیفیت سوالات آزمون 3- ترتیب قرار گرفتن سوالات 4- طول یک آزمون یا تعداد سوالات آن
ب: عوامل بیرونی :
1- ترکیب آزمون شوندگان از لحاظ توانایی مورد اندازه گیری
2- اجرای نامناسب آزمون
3- اشکالات موجود در تصحیح پاسخ های آزمون شوندگان و نمره گذاری بخصوص در آزمونهای تشریحی
4- ویژگی های روانی آزمون شوندگان مثل بالا و پایین بردن سطح انگیزش آنان یا کمی و یا زیادی اضطراب آنها
نحوه سنجش در روایی ابزار اندازه گیری:
به طور کلی ، روش های تعیین روایی ابزار اندازه گیری که ذکر شد را می توان به پنج دسته جهت سنجش تقسیم نمود.
1) روش تایید خبرگان و صاحب نظران: مطالعات و بررسی ها نشان می دهد که روایی محتوای آزمون به طور معمول از سوی متخصصین موضوع مربوطه تعیین می شود . به عبارتی روایی محتوا به قضاوت داوران بستگی دارد و از مشابهت و سازگاری بین اهداف تحقیق و محتوای آزمون و ابزار اندازه گیری نوعی ارزشیابی ذهنی و کیفی به عمل آورند. به منظور تجزیه و تحلیل دقیق روایی منطقی ابزار اندازه گیری باید دیدگاه صاحبنظران را به صورت کمی بیان نمود.
مزیت : با استفاده از فنون آماری مناسب مانند آزمون دو جمله ای ، آزمون میانگین و نیز آمار توصیفی ( فراوانی و درصد ، میانگین ، میانه ، انحراف معیار ) به تجزیه و تحلیل کمی روایی ظاهری و محتوای ابزار اندازه گیری اقدام نمود و به طور دقیق نشان داد که آیا ابزار مورد استفاده از دیدگاه صاحبنظران دارای روایی منطقی می باشد یا نه .
2) روش همبستگی :
رایج ترین سنجش روایی ابزار اندازه گیری، استفاده از همبستگی است. روش همبستگی را برای تعیین روایی وابسته به ملاک ( معیار) و روایی سازه توصیه می شود. در روایی وابسته به ملاک مشاهده همبستگی مثبت بین ابزار اندازه گیری مورد نظر و آزمون مشابه گویای وجود روایی پیش بین و یا همزمان در ابزار سنجش می باشد.
تحقیق همبستگی (همخوانی)
وقتی بخواهيم ميزان ارتباط يک يا چند متغير رابا يک يا چند متغير ديگر مورد بررسی قرار دهيم ، ازاين روش استفاده می کنيم .معمولاً اين نوع مطالعات درصدد پاسخکويی به سه سؤال زير هستند :
اوّل آن که آيا رابطه ای بين اين دو دسته از اطلاعات وجود دارد يا نه ؟ در صورت منفی بودن جواب دو سؤال ديگر نخواهد شد ولی اگر جواب مثبت باشد ، دو سؤال ديگر مطرح خواهد شد دومين سؤال در مورد جهت اين همبستگی يا رابطه است . يعنی آيا رابطه ی مستقيم وجود دارد يا معکوس ؟ همانطور که می دانيم در اين روش ما به دنبال روابط علَّی نيستيم ، بلکه فقط ميزان روابط بين متغيرها را بررسی می کنيم . يکی از ويژگی های اين تحقيق آن است که کمتر به کنترل متغيرها نياز است . در نتيجه تاثیر عوامل خارج از کنترل بر نتايج زياد است .
3) ماتریس ویژگی چندگانه _ مقیاس چند گانه
با استفاده از این روش می توان روایی سازه ( همگرا و واگرا ) را به خوبی بررسی کرد.
4) تکنیک تحلیل عاملی:
تکنیک بسیار پیشرفته و فنی است برای تعیین بار عاملی هر یک از سوالات یا عبارات اندازه گیری مانند پرسشنامه استفاده می گردد. به طور کلی در تکنیک تحلیل عاملی اگر بیش تر سوالاتی که سنجش مولفه خاصی در نظر گرفته شده اند در تبیین آن بار عاملی بالای ( معمولا بیش از 20 یا 25 درصد) داشته باشند. مولفه های مربوط دارای روایی عاملی خواهند بود.
5) تحلیل ممیزی:
تکنیک پیشنهادی برای ارزیابی روایی مدل های مفهومی تحقیق.
همچنین جهت تعیین روایی وابسته به ملاک (پیش بین و همزمان) و روایی سازه (روایی تشخیص یا واگرا) شیوه بسیار آسان و اثربخش است. با به کارگیری شیوه مزبور, پژوهشگر می تواند بر اساس داده های حاصل در فرآیند پژوهش به تعیین روایی ابزار سنجش یا مدل تحقیق بپردازد. از جمله مزایای دیگر تکنیک تحلیل ممیزی , ارائه درصد توفیق روایی اصلی یا قطعی مدل تحقیق می باشد که در سایر فنون روا سازی چنین امکانی مشاهده نمی شود. یکی از نرم افزارها DEA می باشد و یا BCC.
6) تابع ممیزی:
معادله رگرسیونی است که معرف عضویت آزمودنی ها در گروه طبقه بندی شده می باشد. این تابع امتیاز اعضای گروه را از یکدیگر متمایز می سازد. بنابراین تابع مزبور گویای آن است که هر یک از آزمودنی ها متعلق به کدام گروه است.
پایایی یا اعتماد و اطمینان سازی (Dependability or Reliability)
پایایی با این امر سروکار دارد که ابزار اندازه گیری در شرایط یکسان تا چه اندازه نتایج یکسانی بدست می دهد. بعبارت دیگر: «همبستگی میان یک مجموعه از نمرات و مجموعه دیگری از نمرات در یک آزمون معادل که بصورت مستقل بر یک گروه آزمودنی بدست آمده است» چقدر است.
پایایی یک وسیله اندازه گیری به دقت آن اشاره می کند،یک آزمون در صورتی دارای پایایی است که اگر آن را در یک فاصله زمانی کوتاه چندین بار به گروه واحدی از افراد بدهیم نتایج حاصل نزدیک بهم باشند بعبارت دیگر باید نتایج مشابه ای را فراهم نماید و این نشان می دهد که سایر متغیرها تغییری نکرده اند.
به بیان دیگر اگر ابزار اندازه گیری را در یک فاصله زمانی کوتاه چندین بار به یک گروه واحدی از افراد بدهیم نتایج نزدیک بهم باشد و برای اندازه گیری پایایی شاخصی به نام ضریب پایایی استفاده می کنیم. دامنه ضریب پایایی از صفر تا 1+ است. ضریب پایایی صفر معرف عدم پایایی و ضریب پایایی یک معرف پایایی کامل است. "پایایی کامل" واقعاً به ندرت دیده می شود و در صورت مشاهده قبل از هر چیز باید به نتایج شک کرد. برای محاسبه ضریب پایایی ابزار اندازه گیری، شیوه های مختلفی بکار برده می شود.
اعتبار یک وسیله اندازه گیری به میزان دقت ان ابزار مربوط می گردد. یعنی یک وسیله اندازه گیری در صورتی دارای اعتبار است که اگر آن را در یک فاصله ی زمانی کوتاه چندین بار ارائه نماییم نتیجه چندین بار اجرای مشابه و یا نزدیک به هم باشد به همین جهت هر آزمون که محقق میخواهد انجام دهد باید قبل از اجرا ضریب اعتبار ان مشخص شده باشد.
رابطه بین روایی و پایایی
یک آزمون باید پایا باشد تا بتواند روا باشد. اگر آزمونی در هر بار اجرا بر روی تعدادی دانش آموز نتایج مختلفی را بدست بدهد آن آزمون پایا نخواهد بود و در واقع هیچ چیز را به درستی اندازه نخواهد گرفت و اگر یک آزمون چیزی را به درستی اندازه گیری نکند هیچ اطلاع مفیدی به ما نخواهد داد. پس برای اینکه یک آزمون روا باشد نخست پایا باشد اما روایی برای پایایی ضروری نیست.
شیوه های تعیین پایایی:
برای تعیین ضریب پایایی روشهای مختلفی وجود دارد:
1- روش پایایی مصححان Examiners Reliability
2-روش بازآزمایی یا آزمون مجددtest-retest
3-روش تصنیف یا دو نیمه کردن آزمون یا همسانی درونی Split-half
4- روش فرم های های موازی یا آزمون های همتا Equivalence
5- روش کودر-ریچاردسون Kuder-Richardson
6-روش استفاده از مشخصه های آماری---آلفای کرونباخ
1- روش پایایی مصححان :
برای تعیین پایانی آزمون های تشریحی یا به طور کلی آزمون های غیر عینی که نمرات آنها تحت تأثیر مصححان قرار می گیرد. باید از 2 یا چند مصحح که مستقلا پاسخ های آزمون شنوندگان را تصحیح می کنند استفاده کرد .
2- روش باز آزمایی یا آزمون مجدد:
3- روش تصنیف یا دو نیمه کردن آزمون یا همسانی درونی
در این روش، یک آزمون واحد بعد از اجرا به دو قسمت مساوی تقسیم شده سپس با توجه به فرمولهای آماری محاسبه میگردد که ضریب همبستگی دو آزمون باید بالا باشد. در این روش یک آزمون واحد بعد از اجراء ( جواب ها ) ، به دو قسمت مساوی تقسیم می شود . بهترین راه دو نیمه کردن این است که سؤالات فرد در یک گروه و سؤالات زوج در گروه دیگری قرار گیرد. سپس رابطه بین آنها سنجیده شود اگر ضریب همبستگی بالا باشد یعنی دارای پایایی لازم می باشد. این روش محدودیت هایی دارد و مثلا این روش برای آزمون هایی که سرعت در آن نقش دارد مناسب نیست ، مثل آزمون کنکور.
این شیوه مستلزم فقط یک بار اجرای آزمون است در محاسبه پایایی دو نیمه کردن ، سوالات آزمون به دو نیمه تقسیم می شود که از نظر محتوی و دشواری با یکدیگر منطبق است و سپس دو نیمه ها مستقل از یکدیگر نمره گذاری می شود .اگر آزمون پایایی داشته باشد نمره های دو نیمه همبستگی مثبت بالایی خواهد داشت . فردی که در یک نیمه نمره بالایی آورده باشد در نیمه دیگر نیز نمره اش بالا خواهد بود
آزمون موردنظر را یکبار با گروه واحدی از آزمون شوندگان اجرا می کنیم و پس از اجرا، آن را به دو نیمه تقسیم می نماییم. بهترین راه دو نیمه کردن آزمون اینست که همه سوالهای فرد را یک آزمون به حساب آوریم، و همه سوالهای زوج را نیز آزمون دیگری بدانیم. ضریب همبستگی حاصل از نمرات دو نیمه آزمون ضریب پایایی هر یک از دو نیمه خواهد بود.
4- روش فرم های معادل یا موازی یا همتا:
در این روش دو آزمون معادل یا موازی برای یک مطلب یا موضوع تهیه می کنند و آنها را در فاصله زمانی کوتاهی به یک گروه واحد از آزمون شوندگان می دهند. دو فرم یک آزمون در صورتی هم ارز یا معادل هستند که میانگین و واریانس آنها برابر باشند. در این روش، به جای اینکه تنها به یک روش توسل جوییم، از راههای مختلف اندازهگیری را انجام میدهیم و به کمک نتایج بهدست آمده، اختلافات و اشتباهات را تصحیح میکنیم. غالبا برای انجام این منظور از طبقهبندیهای مختلف استفاده میشود.
5- آلفا کرونباخ :
ضریب آلفای کرونباخ توسط کرونباخ در سال 1951 ابداع شده و یکی ازمتداولترین روشهای اندازه گیری اعتماد پذیری و یا پایائی (Reliability) پرسش نامه ها است. ضریب آلفای کرونباخ برای سنجش میزان تک بعدی بودن نگرشها ، قضاوت ها ، عقاید و سایر مقولاتی که اندازه گیری آنها آسان نیست به کار می رود. در واقع می خواهیم ببینیم تا چه حد برداشت پاسخگویان از سؤالات یکسان بوده است. اساس ضریب آلفای کرونباخ نیز پایه طیف ها یا مقیاس هاست. مقیاس عبارت است از دسته ای از اعداد که بر روی یک پیوستار به افراد، اشیاء یا رفتار در جهت به کمیت کشاندن کیفیتها اختصاص داده می شود. وانگهی مقیاسها جهت اندازه گیری گرایش و نگرشها به کار می رود.
رایج ترین مقیاسی که در تحقیقات اجتماعی به کار برده می شود لیکرت است و آن مقیاسی است که بر سطح سنجش در مقیاس ترتیبی که دارای تعدادی گویه ، معمولا بین 5 تا 7 گویه می باشد که به صورت منفی و مثبت سازمان یافته وتعدادآنها با هم برابر است. به هر یک از گزینه ها نمراتی، مثلاً از 7-1 ویا 6-0 یا هرشکل دیگري كه با ملاحظه مثبت و منفی بودن سئوال ترتیب نیز مراعات گردد داده می شود.
مثال: نظر شما در باره سياست خودكفايي گندم كه در سال سه دهه اخير در ايران دنبال مي شود چیست؟
کاملا موافقم ... موافقم... نظری ندارم.. مخالفم.. کاملا مخالفم..
چون فرمول آلفای کرونباخ مبتنی بر واریانس است، بنابراین طبق خواص واریانس به هر ترتیبی نمره داده می شود مقدار آن تغییر پیدا نمی کند.
هرقدر شاخص آلفای کرونباخ به 1 نزدیکترباشد، همبستگی درونی بین سؤالات بیشتر و در نتیجه پرسشها همگن ترخواهند بود. کرونباخ ضریب پایایی45% را کم، 75% را متوسط و قابل قبول، و ضریب 95% را زیاد پیشنهاد کرده (کرونباخ1951) . در بسياري از منابع نيز مقادیر به دست آمده بالای 7/0 در اين آزمون مطلوب تلقی میشود. بدیهی است درصورت پایین بودن مقدارآلفا، بایستی بررسی شود که با حذف کدام پرسشهاي پرسشنامه مقدارآن را می توان افزایش داد.
آلفاي كرونباخ با استفاده از رابطه زير قابل محاسبه است:
در این رابطه K تعداد پرسشها و Si انحراف معیار امتیاز کل پرسشها است.
هرقدرهمبستگی مثبت بین سؤالات بیشتر شود، میزان آلفای کرونباخ بیشتر خواهد شد و بالعکس
هر قدر واریانس میانگین سؤالات بیشتر شود آلفای کرونباخ کاهش پیدا خواهد کرد
افزایش تعداد سؤالات تاثیرمثبت و یا منفی (بسته به نوع همبستگی بین سؤالات) بر میزان آلفای کرونباخ خواهد گذاشت
افزایش حجم نمونه باعث کاهش واریانس میانگین سؤالات در نتیجه باعث افزایش آلفای کرونباخ خواهد شد.
لازم به ذکر است در صورتیکه پرسشنامه مورد بررسی دارای سوالات 5 گزینه ای و 2 گزینه ای باشد، باید برای هر کدام از حالتها ضریب آلفای جداگانه ای محاسبه گردد، چرا که ممکن است برای سوالات 5 گزینه ای آلفا مورد قبول باشد ولی برای برای 2 گزینه ای مورد قبول واقع نگردد.
اغلب در مقالات و تحقيقات انجام شده در ايران توضيح كافي در مورد بررسي پايايي پرسشنامه ارائه نمي گردد. حتي در مواردي كه نحوه بررسي پايايي ، استفاده از آلفاي كرونباخ بيان مي گردد شرح كافي در مورد آن ارائه نمي شود. اين در حالي است كه در بعضي از همين گزارشات تحقيقي يا مقالات و يا پايان نامه ها شرح مفصلي از بعضي موارد غير لازم ارائه شده است. در بسياري از اين تحقيقات نيز اصل پرسشنامه ي تحقيق ، كه مي تواند مبنا و معياري براي ارزيابي نتايج تحقيق توسط بهره برداران باشد؛ ارائه نمي شود. همچنين اين پرسشنامه ها براي بسياري از بهره برداران و محققيني كه پس از آن قصد انجام تحقيق يا ادامه آن را دارند مي تواند به اندازه خود نتايج تحقيق اهميت داشته باشد. پنهان كاري در ارائه پرسشنامه تحقيق و عدم تشريح كافي در مورد نحوه بررسي روائي و پايائي پرسشنامه مي تواند شك بر انگيز باشد. در شرايطي كه محققين ما غالباً خود به طراحي پرسشنامه ها اقدام مي كنند و پرسشنامه هاي استاندارد شده ي از پيش آماده در اكثر موارد موجود نيست، تهيه پرسشنامه و آزمون هاي اوليه مربوط به آن اهميت تعيين كننده اي در نتايج تحقيق دارد و قسمت عمده اي از چنين تحقيقاتي را شامل مي شود و لذا لازم است همراه با معرفی روش ، نتايج و مستندات آن نیز ارائه گردد.
اگر چه ضرایب پایایی بر آوردهایی از همسانی آزمون است ، نوع همسانیها با یکدیگر متفاوت است . شیوه هایی که مشتمل بر اجرای فقط یک بار آزمون است ( دو نیمه کردن و آلفای کرونباخ) ضرایب همسانی درونی را بدست می دهد.
اگر از آزمودنها یا پرسشنامه های چاپ شده استفاده شود راهنمای آنها درباره اطلاعات لازم در مورد پایایی ، مانند پایایی و اندازه ضریب آنها خواهد بود. ولی هنگام استفاده از ابزارهایی که در محل ساخته شده است باید ضریب پایایی محاسبه شود . برای مثال فرض کنید گروهی از معلمان در مورد گزارش دانش آموزان نسبت به مدرسه تحقیق می کنند. این بر آورد از طریق پرسشنامه نگرش سنج که در محل ساخته شده است انجام می شود پایایی مورد نظر به احتمال زیاد، پایایی همسانی درونی خواهد بود. اگر پرسشنامه شامل چهار سوال باشد می توان آن را به دو نیمه بیست سوالی تقسیم کرد و نمره های دو نیمه همبستگی را بدست آورد.
6- روش کودر- ریچاردسون:
آزمون تنها یکبار اجرا می شود، اما در این روش همه ماده های آزمون تحلیل می شوند. کودر و ریچاردسون برای بررسی همسانی درونی آزمون و تعیین پایایی آن دو فرمول مورد استفاده قرار داده اند که به KR21,KR20 شهرت دارند.
عوامل موثر در اعتبار یک آزمون:
1:افزایش تعداد سوالات یک آزمون باعث افزایش میزان اعتبار ان میشود.
2:حذف سوالهای ناممکن باعث افزایش اعتبار آزمون میگردد.
3:افزودن سوالهایی که از نظر دشواری در حد متوسط باشند میزان اعتبار بالا میرود.
4:افزایش تعداد سوالهایی که افراد را از نظر ویژگیهای مورد نظر اندازه گیری و بخوبی از همدیگر متمایز سازد.
اعتبـارات داخـلي و خارجـي هر تحـقيقInternal and External Validity
هدف هر تحقيق, خصوصاً تحقيقات تجربي, مشخص نمودن تأثير يك يا چند متغيير مستقل روي يك يا چند متغير وابسته ميباشد. بنابر اين در طراحي هر مطالعه, پژوهشگر بايد كاملاً مواظب باشد كه عوامل اخلالگر و خطاها در نتايج تحقيق و تعبير و تفسير آنها وارد نشوند. در هر تحقيق بايد شرايط مناسب كنترل آنچنان فراهم گردند كه عوامل مختلف, اعتبار داخلي و خارجي را به خطر نياندازند.
شناخت اين عوامل محقق را قادر خواهد ساخت تا از آنها جلوگيري نموده و يا تا حد ممكن تأثير آنها را كاهش دهد. از لحاظ آماري, اعتبار نشانگر اين است كه يك آزمون يا ابزار اندازهگيري چيزي دارد كه ادعا به اندازهگيري آن ميكند, بسنجد. بنابراين يك ترازو بايد واقعاً وزن را بسنجد و يك گرماسنج, درجه حرارت هوا را اندازه بگيرد و يك آزمون رياضي قادر باشد معلومات رياضي گروه خاصي از افراد را اندازه بگيرد در محاسبه آماري اعتبار ميتوانيم عددي را بدست بياوريم كه نمايانگر ميزان سنجش آزمون از خصوصيات مورد نظر است. اين امر در مورد اعتبار طرح تحقيق صادق نيست.
در رابطه با طرح تحقيق, اعتبار بر اساس يك اندازهگيري فني از درستي و صحت مطالعه محاسبه ميشود. در اين مورد اعتبار بر دو نوع داخلي و خارجي تقسيم ميشود. اين دو مفهوم و رابطه آنها با طرح تحقيق بطور مفصل توسط Campbellو Stanley (1963) بيان و بحث شدهاند كه در اينجا به طور خلاصه توضيح داده ميشوند.
1- روایی درونی
2- روایی بیرونی
روایی درونی یا اعتبار داخلي(دروني) Internal Validity
این اعتبار با توانا ساختن پژوهشگر در جمعآوری اطلاعات و تجزیه و تحلیل آنها، با حذف کلیه عوامل مداخلهگر و تعبیر و تفسیر درست آنها سروکار دارد. اگر محقق بداند که آیا تغییرات بوجود آمده در متغیر وابسته متأثر از متغیر مستقل بوده یا نه باید به روایی درونی آزمون مطمئن شود.
منظور از اعتبار داخلي اين است كه نتايج حاصل تا چه اندازه مربوط به تأثير متغيير(هاي) مستقل بر روي متغير(هاي) وابسته ميباشند. محقق تا چه اندازه اطمينان دارد كه نتايج حاصله بر اثر عواملي غير از متغيير(هاي) مستقل نميباشند. داشتن اعتبار لازمه هر نوع تحقيقي است. همانگونه كه داشتن پايائي لازمه هر نوع تست و يا وسيله اندازهگيري ميباشد. عواملي چند ميتوانند اعتبار داخلي را به خطر بياندازند زيرا اين عوامل فرضيههايي را غير از آنچه كه محقق مورد نظر دارد مطرح ميسازند. اگر محقق بتواند متغيير مستقل را دقيقاً كنترل نموده و دستكاري نمايد در اينصورت ميتواند تأثير آن را بر متغير وابسته اندازه بگيرد, اما اگر كنترلها و محافظتها دقيق و مناسب نباشند, عواملي كه در كنترل محقق قرار نگرفتهاند نتايج را تحت تأثير قرار داده و فرضيههاي محقق بطور دقيق آزمايش نميشوند. اثر برخي از اين عوامل ممكن است از طريق ايجاد گروه كنترل در تحقيق حذف گردند, اما تعدادي ديگر از آنها نياز به طرحهاي پيچيدهتر و دقيقتر دارند. عواملي كه اعتبار داخلي را به خطر مياندازند و در یک آزمون اگر می خواهیم دارای روایی درونی باشد در این صورت باید عوامل زیر تحت کنترل محقق باشد :
1- رویدادهای همزمان با اجرای تحقیق
2- رشد ( بلوغ )
3- ابزار اندازه گیری ( یعنی روایی باید داشته باشد )
4- افت آزمودنی ها
5- عامل آزمون
6- گزینش
7- بازگشت آماری
8- اثر مداخله عوامل پیشین
9- اثر تعامل
عامل تاريخ (History ): اين عامل شامل حوادث و رويدادهايي هستند كه در فاصله زماني بين دو گونه اندازهگيري(پيش آزمون و پس آزمون) روي ميدهند. هر قدر اين فاصله زماني بيشتر باشد احتمال رخداد بعضي عوامل بر آزمودنيها و نهايتاً در نتايج تحقيق بيشتر ميشود. اين عامل زماني داراي تأثير زياد است كه طرح تحقيق شامل يك گروه و اجراي دو آزمون (پيش آزمون و پس آزمون ) باشد. براي كنترل عامل تاريخ ميتوان مدت زمان مطالعه را در حد ممكن كاهش داد, مخصوصاً از گروه كنترل (گواه) استفاده نمود, و زمان مطالعه را با توجه به شرايط تغيير داد.
عامل رشد (Maturation ): هرگونه تغييراتي كه درحين اجراي تحقيق در آزمودنيها روي دهد به عنوان عامل رشد محسوب ميگردد. تغييراتي از قبيل خستگي,گرسنگي و مخصوصاً رشد جسماني, عقلاني, عاطفي, اجتماعي و اخلاقي ميتوانند برنتايج مطالعه مؤثر باشند. اگر مدت زمان مطالعه طولاني باشد , همواره ممكن است كه در فاصله بين دو آزمون تغييراتي ناشي از رشد در آزمودنيها باعث اخلال در نتايج تحقيق گردد. كاهش زمان مطالعه و داشتن گروه كنترل ميتوانند بعنوان بهترين تدابيري براي كاهش تأثير عامل رشد به كار روند.
ابزار اندازهگيري(Measuring Instrument): تغييرات در وسايل و ابزارهاي اندازهگيري يا تفاوتهاي مربوط به كسانيكه بعنوان مشاهده گر يا نمرهگذار محسوب ميشوند, ميتوانند به جز اثرات متغيير مستقل, بر نتايج مؤثر باشند. وسايل و ابزارهاي اندازهگيري بايد در درجه اول دقيق و معتبر و در درجه دوم بگونهاي صحيح مورد استفاده قرار گيرند. محققي كه از ابزارهاي مختلف آزمايشگاهي براي جمعآوري دادههاي خود استفاده ميكند بايد سعي نمايد كه درستي و دقت اين ابزارها را مورد آزمايش قرار دهد و در صورتيكه چند فرد به انجام آزمايشها مشغولند, بايد قبلاً براي اين منظور تربيت شده و هماهنگي كافي و لازم را دركار با دستگاهها و يا انجام آزمونها بعمل آورند. براي جلوگيري از اثرات نامطلوب اين عامل بايد از دستگاهها, ابزارها و يا آزمونهاي معتبر و پايا استفاده نمود و در صورت ممكن يك فرد جمعآاوري اطلاعات يا انجام آزمايشها را به عهده گرفته در صورتيكه قرار است چند نفر به انجام اين مهم اشتغال داشته باشند. , قبلاً راهنمايي و هماهنگيهاي لازم صورت گيرد.
بازگشت آماريStatistical Regression : در تحقيقات مربوط به انسان, مخصوصاً در مورد آموزشهاي جبراني و زمانيكه از گروههاي آزمايشي با خصوصيت در حد بالا و يا پايين استفاده شود, گرايش اين گروهها به ميانگين حالت طبيعي داشته و جدا از تأثيرات متغيير مستقل عمل ميكند. براي كنترل اثر بازگشت آماري در تحقيقات معمولاً سعي ميشود از روش انتخاب تصادفي استفاده شود تا نمونه بتواند نماينده واقعي جامعه آماري محسوب گردد. انتخاب آزمودنيها Differential Selection of Subjects: چگونگي انتخاب آزمودنيها در گروههاي تجربي و كنترل ممكن است به غير از اثر متغيير مستقل بر نتايج تحقيق مؤثر باشد. مثلاً قرار دادن افراد داوطلب در يك گروه و ساير آزمودنيها در گروه ديگر ميتواند نتايج را تحت تأثير قرار دهد. هر گونه تفاوت و اختلاف در افراد گروه تجربي و گروه كنترل ميتواند اثر واقعي متغيير مستقل را از بين ببرد. براي كنترل اثر اين عامل ميتوان از انتخاب تصادفي و يا گزينش صرفاً يك گروه تجربي استفاده نمود.
اثر افت تجربي ( از دست دادن آزمودنيها)Experimental Mortality: احتمال كم شدن و از دست دادن آزمودنيها از شروع تحقيق تا پايان آن همواره وجود دارد ممكن است آزمودنيها در مدت انجام تحقيق دست از همكاري با محقق بردارند و يا از محل انجام تحقيق به شهر ديگري منتقل شده و يا دچار مرگ و مير گردند. گاه ديده شده است كه در اثر افت آزمودنيها امكان مقايسههاي مختلف در تحقيق ممكن نگرديده و در نتايج اثرات بوجود سوئي آورده است. براي رفع اين مشكل معمولاً آزمودنيها را بيش از تعداد مورد نياز انتخاب ميكنند و ضمناً در صورت ممكن ميتوان طول مدت انجام تحقيق را بنحوي كاهش داد.
تأثير متقابل عوامل Interaction among Factors : عوامل مؤثر بر اعتبار داخلي ميتوانند بصورت گروهي نيز عمل نموده و نتايج تحقيق را تحت تأثير قرار دهند. مثلاً عواملي چون انتخاب آزمودنيها, ابزار
مطالب مشابه :
چگونه پروپزال یا طرح تحقیق بنویسیم؟
آکادمیا کافه; FullText 1000; گیگا
آشنایی با روایی و پایایی در تحقیقات علمی
آکادمیا کافه; FullText 1000; گیگا
کافه سوسن
(زورق شکسته) - کافه سوسن - (زورق شکسته) کافه صبا ( آکادمیا) سمیرا( ماهی شناور شب)
داستان شیراز
هنرکده آکادمیا. سهراب کافه کافکا
سفر به شهر هنر و معماری و تندیسگری ایتالیا
موزه آکادمیا، خانه مجسمه حواستان باشد در رستورانها و کافهها قیمت غذا و
باشه میرم من...
هنرکده آکادمیا. دوستان دوشنبه . انجمن اهل قلم کافه کلمات. انجمن
برچسب :
آکادمیا کافه