نکات روان سنجی (ب:اعتبار)

نکات روان سنجی (ب:اعتبار)
 در فصل سوم، ما مفهوم کلی سودمندی یک آزمون یا روش ارزیابی را به عنوان اندازه یا میزانی توضیح دادیم که به ما امکان می دهد تا بعضی از رفتارهای غیرآزمون شخص را شناسایی و پیش بینی کنیم. ما همچنین واژه اعتبار را با سودمندی کم و بیش هم معنا به کار برده ایم. ما اکنون مفهوم اعتبار را با جزئیات بیشتری مورد بررسی قرار خواهیم داد.
 در معیارهای سنجش تربیتی و روان شناختی (انجمن پژوهشهای تربیتی آمریکا، انجمن روان شناسی آمریکا، شورای ملی اندازه گیری در تربیت، 1985) بر این موضوع تأکید می شود که شواهد مربوط به اعتبار را می توان از طریق روشهای مختلفی جمع آوری کرد. "اعتبار همواره به میزانی اشاره می کند که این شواهد از استنباطهایی حمایت کند که از روی نمره ها به دست می آیند" (ص 9). مدتهاست معلوم شده است که چون آزمونهای مختلف هدفهای متفاوتی دارند، رویکردی که ممکن است برای نشان دادن اعتبار یک آزمون مناسب باشد، امکان دارد احتمالاً برای یک آزمون دیگر مناسب نباشد. به طور کلی، سه نوع مختلف شواهد مربوط به اعتبار را می توان به صورتهای زیر در نظر گرفت: الف) اعتبار محتوا، ب) اعتبار وابسته به ملاک (پیش بین و همزمان)، و ج) اعتبار سازه. این طبقه بندی سه گانه که بر اساس هدفهای آزمون استوار است، تا اندازه ای ساختگی است؛ این طبقه ها تا اندازه ای همپوشانی دارند و معمولاً نشان دادن این موضوع که یک آزمون به چندین شیوه اعتبار دارد، ضروری است. به دست دادن شواهدی در خصوص اعتبار (بر اساس آزمودنیهای هدف یا استفاده کنندگان آزمون) مستلزم روشی بیش از ارزیابی توصیف یا پیش بینی شخصیت حاصل از آزمون است. فارر(822) (1949) به وضوح در مطالعه ای که میزان بالایی از توافق را در خصوص توصیف شخصیت همسان و واحدی از دانشجویان لیسانس به دست داد، سفسطه اعتبار "تصدیقی" یا "شخصی" را به تصویر کشید. این دانشجویان نمی دانستند که آنها جملگی پسخوراند یکسانی را دریافت کرده بودند. اودل(823) (1972) حتی در نشان دادن اعتقاد دانشجویان به این گزارشهای مبتنی بر اثر بارنوم، پا فراتر گذاشت و نشان داد که این گزارشها دقیقتر از گزارشهای واقعی کامپیوتری در مورد خود آنان بود.
 
اعتبار محتوا
 
 شواهد وابسته به ملاک در خصوص اعتبار شامل نشان دادن این موضوع است که محتوای آزمون معرف رفتارهای مورد توجه است. شواهد مربوط به محتوا رابطه خاصی با آزمونهای پیشرفت و استعداد دارد که در آنها پاسخ ماده های آزمون به وضوح نمونه هایی از رفتارهای مورد نظر هستند. ارزیابی شخصیت با استفاده از نمونه های رفتار و آزمونهای موقعیتی، همان طوری که در فصل پنجم مورد بحث قرار گرفت، همچنین شامل اعتبار محتوا از طریق فراخوانی مستقیم پاسخهای مربوط است. برای مثال، فرض کنید ما بخواهیم آزمونی درباره رهبری تهیه کنیم و به همین دلیل شرایط آماده کردن مجموعه ای از نمونه های رفتاری را فراهم می کنیم که بر اساس آن پاسخ دهنده رفتارهای شاخص پاسخهای خود را به انتظارات موقعیتی از رهبری نشان می دهد. اگر این موقعیتهای رفتاری در کل نمونه معرفی از موقعیتهای رهبری (یا زیرمجموعه های کاملاً مشخصی از این موقعیتها) باشند و هرگاه میزان ساختگی بودن ناشی از موقعیت سنجش به حداقل برسد، ما به طور ساده بر مبنای این واقعیت که محتوای آزمون نمونه معرفی از رفتار مورد نظر است، یک آزمون رهبری معتبر خواهیم داشت. به عبارت دیگر، اعتبار محتوای یک آزمون با یک هدف خاص، ارزیابی ذهنی همان ملاک است. با وجود این، هرگاه هدف یک آزمون پیش بینی رفتار تحت شرایط نسبتاً واقعی مانند رهبری در جنگ باشد، آن گاه به چیزی بیش از اعتبار محتوا نیازمندیم.
گاهی مطرح می شود که پرسشنامه های شخصیت مداد و کاغذی هنگامی که به طور ساده اعتبار محتوا (یا صوری) داشته باشند، یعنی، هنگامی که به صورت منطقی به دست آمده باشند، اعتبار خواهند داشت. بنابراین، وجود سؤالهای مربوط به تجزیه اختلال خلقی در یک مقیاس افسردگی، نبود انگیزش برای فعالیتهای روزانه و کندی روانی - حرکتی را می توان به عنوان زمینه های منطقی مربوط به سودمندی مقیاس در نظر گرفت. ولی رفتارهای بالینی افسردگی را نمی توان با علامت زدن روی برگه پاسخ صحیح - غلط IBM نمونه گیری کرد. در واقع، این همبسته های غیرآزمون یا زندگی واقعی این پاسخهاست که مورد توجه قرار دارند و همین باید نشان داده شود. خوشبختانه، منطقی بودن (یا اعتبار محتوای) یک مقیاس برای سازندگان آزمون یک شرط لازم در خصوص سودمندی آن است، اما با این حال، یک شرط کافی نیست.
 
اعتبار وابسته به ملاک
 
 در ارزیابی شخصیت، ما به خاطر برخورداری از یک جهت گیری عملی اغلب بیشتر به شکلهای مختلف اعتبار پیش بین توجه می کنیم. اعتبار پیش بینی به "دقتی اشاره دارد که بر اساس آن می توانیم درباره یکی از ویژگیهای فرد بر پایه یک ویژگی دیگر" دست به پیش بینی بزنیم (گیزلی(824)، 1964، ص 338). این نوع بررسی یا شاخص ارزیابی "پیش بین" و خصوصیتی که بر پایه آن حدس می زنیم، "ملاک" نامیده نامیده می شود. شاخص عددی ساده اعتبار پیش بین از طریق همبستگی بین پیش بین و ملاک به دست می آید. اعتبار پیش بینی یک روش مهم در رویکرد گروههای ملاک برای آزمون سازی است. برای مثال، هرگاه بخواهیم افزایش متوسط بیماران را هنگام پذیرش درمان روان پزشکی در مقیاسهای MMPI به عنوان شاخصی از مدت زمانی که بستری می شوند به کار ببریم، می توان به بهترین وجهی برای این منظور از اعتبار پیش بین سود جست. همبستگی بین افزایش متوسط و روزهای بستری شدن در آینده شاخصی از اعتبار افزایش متوسط به عنوان پیش بینی کننده بستری شدن است.
 برای اطمینان حاصل کردن از این موضوع که همبستگی حاصل به طور ساختگی بالا نیست، اهمیت زیادی دارد که شاخص ملاک را از "آلوده شدن" با متغیر پیش بین حفظ کنیم. در مثال قبلی، افزایش کلی نیمرخMMPI بیماران نباید هیچ نقشی در تعیین طول مدت زمان بستری شدن آنها داشته باشد. در بررسیهای انجام گرفته روی ملاک و کاربرد علمی متغیر پیش بین، باید احتیاط زیادی را به عمل آورد که محرمانه بودن نمره های متغیر پیش بین حفظ شود. در غیر این صورت، این نمره ها تحت تأثیر "پیشگوییهای خودکام بخش" قرار می گیرند.
 شواهد مربوط به اعتبار پیش بینی یک آزمون را باید برای هر نوع ملاکی که انتظار پیش بینی آن می رود، نشان داد. این واقعیت که متوسط افزایش نمره در MMPI را می توان برای پیش بینی طول مدت بستری شدن به کار برد، موفقیت آن را در پیش بینی احتمال بستری شدن مجدد تضمین نمی کند، علی رغم اینکه هر دو ملاک را بتوان به عنوان اندازه ها یا شاخصهای "موفقیت درمان" به کار برد. علاوه بر این، این واقعیت که متوسط افزایش برای پیش بینی طول مدت بستری در یک مکان خاص و با یک گروه خاص به کار برده شده عملاً به این معنا نیست که در یک مکان دیگر نیز موفق خواهد بود. در این مورد، در خصوص گروه جدید باید وارسی اعتبار صورت گیرد. روشهای موجود در وارسی اعتبار و مخاطره های ناتوانی در انجام این کار در فصل چهار مورد بحث قرار گرفته اند.
 اعتبار وابسته به ملاک لزوماً به پیش بینی در آینده اشاره نمی کند. در بعضی موارد منطقی و گاه مفید است که برای یک رویداد همزمان به پیش بینی دست زد و برای رویدادی که قبلاً رخ داده است، ولی نمی توان آن را مستقیماً بدون کوششهای زیاد اندازه گیری کرد، به پس بینی توجه کرد. برای مثال، فرض کنید که می خواهیم ماهیت و میزان نیازهای بین فردی گروهی از دانشجویان را تعیین و اندازه گیری کنیم. در یک روش، مشاهده گران کارآزموده برای یک دوره زمانی معین آنها را مورد بررسی قرار داده و اطلاعاتی را از موقعیتهای واقعی زندگی به دست می آورند. در یک روش دیگر، مجموعه ای از آزمونهای موقعیتی به کار برده می شوند و در روش سوم، یک پرسشنامه مداد و کاغذی به کار گرفته می شود یا امکان دارد که آزمودنیها بر اساس مقیاسهای درجه بندی در مورد خودشان قضاوت کنند. این پرسشنامه یا درجه بندیها به مثابه کوششهایی هستند که با استناد به آنها درباره خصوصیات دانشجویان در یک زمان معین تصمیم گرفته می شود. بدین ترتیب، اعتبار را می توان از طریق نمونه رفتارهای طولانی تر و پرهزینه تر و روشهای آزمون موقعیتی تعیین کرد. در این خصوص، بدیهی است که اعتبار محتوا نشان داده می شود و نتایج به عنوان ملاکی برای مقایسه با روش مداد و کاغذی به کار می روند. چنانچه این نمونه های رفتاری یا شاخصهای موقعیتی صرفاً در برخی از زمانهای آتی در دسترس باشند، آن گاه مجدداً درباره آینده دست به پیش بینی می زنیم.
 
اعتبار سازه
 
 شواهد مربوط به اعتبار سازه مفهومی است که در اولین نسخه مجله انجمن روان شناسی آمریکا به نام استاندارد (1954) به کار رفت و توسط کرونباخ و میل (1955) گسترش یافت. هدف از این اصطلاح یافتن عنوان مناسبی برای نشان دادن اعتبار بود که تا قبل از آن زمان، بدون درک کاملی از منطق و تلویحات ضمنی این روش به کار برده می شد. هنگامی که ملاک قطعی یا محسوسی برای کیفیت، صفت یا ویژگی مورد نظر جهت بررسی وجود ندارد، چنین کاری منطقی به نظر می رسد.
 اعتبار را می توان به روشهای مختلف طبقه بندی کرد؛ برای مثال، با استفاده از بُعد عینی در برابر انتزاعی (یا جزیی در برابر مفهومی). غالباً ما به همبستگیهای بین نمره های یک آزمون و یک ملاک به خصوص یا عینی مانند تعداد بیماران بستری در بخشهای روان پزشکی یا تعداد خلافهای رانندگی علاقه مند هستیم. بررسیهای مربوط به اعتبار پیش بین از این دست جذابیت زیادی دارند، زیرا آنها در عمل مفید هستند و نیاز زیادی به پیچیدگیهای روش شناختی یا نظری ندارند.
 با وجود این، ما اغلب به اعتبار روابط بین اعتبارهای سازه یا انتزاعی نظیر نیرومندی خود، اضطراب یا برون گرایی علاقه مند هستیم که برای آنها هیچ شاخص واحد رایجی وجود ندارد. ما می توانیم اعتبار پیش بین شاخص بستری شدن در بخشهای روان پزشکی یا شاخص ارتکاب به جرم را از طریق یک همبستگی واحد نشان دهیم، ولی اثبات اعتبار سازه یک مقیاس اضطراب یا یک شاخص از هر مفهوم کلی و انتزاعی دیگر در حوزه روان شناختی بسیار مشکل است. اعتبار سازه نیازمند جمع آوری تدریجی شواهد حاصل از یافته های پژوهشی مختلفی است که شبکه ای از روابط میان شاخص مورد نظر و مفاهیم مناسب دیگر را به تصویر می کشد. ماهیت و میزان این روابط را باید از نظریه یا نظریه هایی که مفهوم مورد نظر را مطرح کرده اند و از معنای قابل فهم متداول این مفهوم پیش بینی کرد.
 بنابراین، برای دستیابی به شواهد اعتبار سازه مربوط به اضطراب، همان طوری که از این اصطلاح بر می آید، فرد باید روابط مثبت میان این شاخص و رفتار مورد بحث را در موقعیتهای استرس زای موقتی، انواع مختلف مشکلات روان پزشکی، شاخصهای فیزیولوژیکی مانند عرق کردن کف دست و ضربان قلب و سایر رفتارهایی که معمولاً با اضطراب همراه هستند، به دست آورد. علاوه بر این، باید مشخص شود که هیچ رابطه ای بین این شاخص و خصوصیات معینی که به طور فرضی مستقل از اضطراب
 هستند مانند قد یا هوش وجود ندارد. دستیابی به اعتبار سازه یک وسیله اندازه گیری را می توان به بهترین وجهی به عنوان تداوم برنامه ای در نظر گرفت که در آن معنای اعتبار سازه به تدریج توسط ماهیت روابطی که بر آن اثر می گذارند، روشنتر می شود و عینیت می یابد و طبعاً به وسیله آنها معنای این سازه همان گونه که روابط غیرمنتظره کشف می شوند، از وضوح بیشتری برخوردار می شود. در تحلیل پایانی، از آنجایی که هیچ ضریب واحد یا مجموع ضرایب مشخصی که از قبل به عنوان شواهدی دال بر اعتبار سازه شاخص مورد نظر، وجود ندارد، قضاوتهای مربوط به میزان اعتبار سازه وسیله مورد بحث باید لزوماً ذهنی باشند.
 مفهوم اعتبار سازه قویاً بر اساس زمینه هایی که در درک نظری رفتار انسان یا دقت و یا کاربرد کارهای عملی کمکی به ما نمی کنند، مورد سؤال قرار گرفته است. یک موضوع اساسی در ایرادهای وارده به اعتبار سازه به این نکته مربوط می شود که ویژگی یا سازه فرضی به عنوان یک مفهوم واقعی در نظر گرفته می شود تا یک پندار تبیینی قراردادی. ساربین (1968) با استفاده از اضطراب به عنوان محور این بحث، به طور قانع کننده ای دامهای مربوط به این فرض را که این حالتهای ذهنی یا صفتها مانند اضطراب از موجودیت واقعی برخودارند، خاطرنشان ساخت. خطر عمده در یک پاسخ کلامی برای سؤالهایی مانند اینکه "اضطراب" چیست؟ قرار دارد؛ سؤالی که نمی توان به گونه بامعنایی به آنها پاسخ داد. ساربین اعتقاد دارد که کوششهای ما برای ساختن پندارها یا "اسطوره های" علمی تابعی از نظام زمانی و عادتهای کلامی ما هستند و اینکه این گرایشها نیازمند توجه و کنترل دقیق هستند. با وجود این، بیشتر ادبیات تحقیقی جدید ما که فنون ارزیابی شخصیت را در بر می گیرد شامل اعتباریابی سازه است و خوانندگان آگاه باید از مطالب و مشکلاتی که جزء لاینفک این روش هستند، آگاه باشند.
 
اعتبار افزوده
 
 هنگامی که یک آزمون به عنوان مبنایی برای پیش بینی در یک موقعیت بالینی به کار برده می شود، تعیین سودمندی این آزمون به اندازه تعیین دقت پیش بینی اعتبار پیش بین ساده نیست. همان طوری که سچرست(825) (1963) توضیح داد، آزمونهایی مانند آزمون رورشاخ اغلب بعد از مصاحبه، خواندن گزارشها، کنفرانسها و مانند آنها تفسیر می شوند. ظاهراً روشن است که اعتبار یک آزمون باید بر اساس افزایشهای تدریجی در کارایی پیش بین اطلاعات مورد نظر مبتنی باشد، زیرا در غیر این صورت، ساده و بی ارزش در نظر گرفته می شود (ص 154). میل (b1959)، قبلاً در خصوص افزایش اعتبار و اطلاعات معنایی واضح (ص 114)، و کرونباخ و گلیزر(1965) به تفصیل در خصوص همین موضوع با توجه به انتخاب کارکنان بحث کرده بودند.
 از آنجایی که ایده ارزشیابی سودمندی یک آزمون بر اساس اعتبار افزوده در آن موقعیت به خصوص بسیار آشکار و مناسب است، تعجب آور است که بسیاری از آزمونهای تشخیصی خاصی که در حوزه بالینی به کار می روند، اعتبار افزوده اندکی را نشان می دهند؛ و علت این امر تا اندازه زیادی آن است که متخصصان بالینی عموماً گرایش پایداری را به ارزشیابی کارایی رفتار آنها نشان نمی دهند. در واقع، هاتاوی (1959) برآورد کرد که اگر متخصصان بالینی فعالیتهای اندازه گیری خود را با توجه به کارایی ارزشیابی نمایند، بیش از 40 درصد این فعالیتها را باید به کناری نهاد. تحقیقی که روشهای مختلف ارزیابی را بر اساس اعتبار افزوده آنها مورد بررسی قرار داده، در فصل 8 مورد بحث قرار گرفته است.

موفقیت و شکست
 
 اعتبار پیش بین یک وسیله ارزیابی به طور سنتی بر اساس محاسبه همبستگی بین نمره پیش بین و ملاک مورد نظر نشان داده می شود. هرگاه این ملاک، یک موقعیت موفقیت یا شکست مانند این موقعیت را در بر بگیرد که آیا زندانیانی که آزادی مشروط دارند مرتکب خلاف می شوند یا خیر، گهگاه اعتبار پیش بین به صورت درصد پیش بینی های درست در نظر گرفته می شود.
کارکردن در قالب موفقیت و شکست (یا درصد موارد صحیح) امکان آن را فراهم می آورد که اهمیت توجه به نرخ پایه یک رویداد را نشان دهیم؛ یعنی، نسبتی از مواردی که این رویداد در جامعه مورد نظر روی می دهد. می توان مثال تخطی از آزادی مشروط را در نظر گرفت. فرض کنید ما با توجه به تجربه قبلی می دانیم که 30 درصد زندانیان احتمالاً در مدت آزادی مشروط خود مرتکب خلاف می شوند. بنابراین، نرخ پایه ارتکاب به خلاف در مدت آزادی مشروط 30درصد یا 0/30 است. حال چنانچه رفتار آتی این زندانیان را صرفاً بر اساس این اطلاعات پیش بینی کنیم، می توانیم ادعا کنیم که هیچ کدام از این زندانیان در مدت آزادی مشروط خود مرتکب خلاف نمی شوند. از آنجایی که 30درصد این عده در واقع در زمره خلافکاران هستند (اگرچه ما نمی دانیم که کدام 30درصد مرتکب خلاف می شوند)، در 30درصد موارد دچار اشتباه خواهیم شد؛ یعنی، در پیش بینی های خود 70 درصد درست عمل خواهیم کرد. اکنون فرض کنید که ما آزمودنی را تهیه کرده ایم که این خلافکاران را در 65درصد موارد نشان می دهد. حتی اگر این آزمون به ما امکان می دهد تا با احتمالی بیشتری از 50درصد شانس دست به پیش بینی بزنیم، بر اساس نرخ پایه 70درصد پیش بینی دقیقتری خواهیم داشت.
 ضمناً وقتی بدانیم که نرخ پایه کسانی که خلاف نمی کنند 70درصد است، نرخ شانس این تخصیص واقعاً بیشتر از 50درصد است. چنانچه ما به طور تصادفی هر 70نفر از 100نفر زندانی را به طبقه "غیرمتخلفان" اختصاص دهیم، در 70درصد موارد یا به طور متوسط 49 بار درست عمل خواهیم کرد. به همین ترتیب، تخصیص تصادفی 30درصد باقی مانده به طبقه "متخلف" باید به 9 جایگزینی درست منجر شود. بنابراین، در اختصاص دادن شانس 70/30، ما باید در 49 به اضافه 9 یا 58 درصد موارد درست عمل نماییم. بعضی از روان شناسان تا اندازه ای پیشتر می روند و توجه می کنند که این "شانس" باید با نرخ پایه 70درصد مشخص شود. اولین تحلیل مشروح از کاربرد داده های نرخ پایه در ارزشیابی صحت پیش بینی در زمینه ارزیابی شخصیت توسط میل و روزن (1955) ارایه شده است.
 در تحلیل های قبلی، ما تبعات نسبی نتایج دیگر را نادیده گرفتیم. به عبارت دقیقتر، ما بدیهی فرض کرده ایم که هر دو نوع خطای احتمالی – شناسایی نکردن متخلفان و برچسب غلط به غیرمتخلفان زدن- باید به یک اندازه تبعات منفی داشته باشند. در عمل این احتمال وجود دارد که خطا در یک جهت در مقایسه با خطایی که در جهت دیگر وجود دارد، از نتیجه منفی بیشتری برخوردار است. برای مثال، می توانیم تصور کنیم که نتیجه منفی آزادی مشروط دادن به یک مجرم که بعداً در این دوران مرتکب خلاف می شود با توجه به تمام موارد، در مقایسه با آزادی مشروط ندادن به مردانی که در این دوران مرتکب خلاف نمی شوند، بسیار بالاتر است. تحلیل های مفصلتر مشکلات توجه به نتایج مختلف توسط کرونباخ و گلیزر(1965) و ویگینز(1973) صورت گرفته اند. این سؤالها به کارایی یا کاربرد پیش بینی ها مربوط می شوند و بعداً در فصل هشتم تحت عنوان فرعی "تصمیم گیری" مورد بحث قرار می گیرند.
 کاربرد داده های نرخ پایه، قطع نظر از جامعه مورد بررسی، در خصوص استفاده از نمره های برش خودکار در آزمونها، اطلاعاتی را به دست می دهد. برای مثال، هاتاوی (b1956) گزارش داد که نمره T حدود 60درصد از بیماران اسکیزوفرن در گروه اعتباریابی روان پزشکی وی در مقیاس Sc مربوط به MMPI با توجه به عامل تصحیح K، 70 یا بالاتر بوده است، در حالی که تنها نمره حدود 2درصد از آزمودنیهای بهنجار مربوط به اعتباریابی در این دامنه قرار داشت. فرض کنید که این مقیاس به منظور تشخیص در کلینیکی به کار برده شده است که تقریباً نیمی از بیماران آن مبتلا به اسکیزوفرنی و نیمی دیگر "بهنجار" هستند. یک محاسبه ساده نشان می دهد که گذاشتن تشخیص اسکیزوفرنی روی تمام بیمارانی که نمره 70 یا بالاتر دارند باعث می شود که 79درصد از تمام بیماران، اسکیزوفرن تلقی شوند. این محاسبه در جدول 1-7 آورده شده است. از بین تمام بیمارانی که با استفاده از این آزمون، روی آنها تشخیص اسکیزوفرنی گذاشته شده است، در واقع، 30 نفر تقسیم بر 39 نفر (یا 97درصد) به اسکیزوفرنی مبتلا هستند. اکثر اشتباهات صورت گرفته در جهت گذاشتن تشخیص غیراسکیزوفرنی روی بیماران است و لذا یک نمره برش پایین تر (برای مثال، 65) کارایی کلی تشخیص را افزایش می دهد. نکته مهمی که در اینجا وجود دارد این است که استفاده از نمره 70 به عنوان نمره برش تضمین می کند که تقریباً تمام بیمارانی که با استفاده از این آزمون روی آنها تشخیص اسکیزوفرنی گذاشته شده است، در واقع، به اسکیزوفرنی مبتلا هستند. مقیاس Sc در عمل به اندازه ای که در اینجا توصیف شد، کارایی ندارد؛ زیرا تعدادی از 50درصدی که بهنجار هستند به واسطه اختلالهای دیگری که دارند، نمره های Sc بالایی خواهند داشت.
 اکنون فرض کنید که ما این آزمون را روی دانشجویان ظاهراً بهنجار دانشگاه اجرا کردیم و عملاً 1درصد آنها به اسکیزوفرنی مبتلا هستند. چنانچه همین نمره برش 70 به کار برده شود، با استفاده از این آزمون می توان روی 2/6 درصد این دانشجویان تشخیص اسکیزوفرنی گذاشت. این وضعیت در جدول 2-7 نشان داده شده است. به عبارت دیگر، اکثر دانشجویانی که در مقیاس Sc نمره 70 یا بالاتر می گیرند، اسکیزوفرن نیستند. بیان این پیش بینی بر اساس موارد موفقیت و شکست و نرخهای پایه نشان می دهد که اگرچه صحت پیش بینی برای دانشجویان (97/6 درصد) در مقایسه با بیماران (79درصد) بسیار بیشتر است، این آزمون به طور کلی هنگامی که در خصوص جامعه ای به کار رود که برای آن تهیه نشده است، کارایی نخواهد داشت. با وجود این، این امر به معنای انکار این موضوع نیست که دانشجویانی با نمره Sc بالا متفاوت از دانشجویانی با نمره پایین هستند. این تفاوتها را می توان از طریق بررسیهای خاص مربوط به اعتبار که روی دانشجویان دانشگاه انجام شده است، مورد بررسی قرار داد.
جدول 1-7: درصد مربوط به بیمارانی که با استفاده از مقیاس Sc روی آنها تشخیص اسکیزوفرن یا بهنجار گذاشته شده است. در اینجا نمره برش 70 است و عملاً نیمی از افراد بیمار و نیمی دیگر بهنجار هستند.
نمره T ــــــــــ عملاً اسکیزوفرن ـــــــــــ عملاً بهنجار ـــــــــ کل
 نمره T برابر 70 یا بالاتر ـــــــــــ 30 a,b ــــــــــــ 1cــــــــــــ 31
 (به عنوان تشخیص اسکیزوفرنی)
نمره پایین تر از 70 ـــــــــــ 20dــــــــــــ 49a,eـــــــــــــ 69
 (به عنوان ملاکی برای بهنجاری)
 کل ــــــــــــ 50 ـــــــــــــ 50 ــــــــــــــ 100
a تشخیص درست. c مثبت های نادرست. e منفی های درست
 b مثبت های درست. d منفی های نادرست.
 این مثال که در خصوص خطر کاربرد نمره های برش خودکار بیان شد، همچنین مشکل صحت پیش بینی را در مواردی که رویدادهای مورد پیش بینی به ندرت اتفاق می افتند، نشان می دهد. از جدول 2-7 چنین بر می آید که احتمالاً تلاش جهت به کارگیری مقیاس Sc برای شناخت درست اسکیزوفرنهای معدودی که در میان جامعه دانشگاهی یافت می شوند، کوشش بیهوده ای خواهد بود. مشکل پیش بینی رویدادهای نادر با توجه به پدیده خودکشی به عنوان موردی که خیلی کم رخ می دهد، توسط روزن (1954) مورد بررسی قرار گرفته است. روزن با برآورد نرخ خودکشی به میزان 0/0033 در میان بیماران روان پزشکی و فرض یک نرخ پیش بینی به میزان 75درصد، با استفاده از داده های فرضی نشان داد که حتی اگر چه نمره برش در یک مقیاس تعیین خودکشی به اندازه ای بالا باشد که تنها 2/5 درصد از موارد واقعی خودکشی به طور صحیح شناسایی شوند، روی بیش از 98 درصد این بیماران به اشتباه تشخیص "اقدام به خودکشی" گذاشته می شود. نیازی به گفتن نیست که این مشکل همواره حتی به صورت ناشناخته در تلاش به منظور شناسایی بیمارانی که قصد خودکشی دارند (از طریق قضاوت بالینی یا ذهنی)، وجود دارد.
 قطع نظر از دشواری پیش بینی، به علت ضرورت شناسایی بیمارانی که قصد خودکشی دارند، روشهای پیشگیری از آن باید کاملاً مشخص شود. روزن اشاره می کند که وقتی مسئولان بیمارستان بر این باورند که از خودکشی باید به هر قیمتی پیشگیری کرد، روش معمول آن است که از طریق شناسایی تعداد زیادی از "مثبت های نادرست"، دچار خطا شویم. بنابراین، تقریباً هر بیماری که نشانه های خودکشی را بروز می دهد (خواه در یک مقیاس بالینی یا در یک مقیاس روان سنجی) به عنوان فردی که قصد خودکشی دارد، مورد توجه قرار خواهد گرفت. علاوه بر این، بعضی از پیشرفتهایی که در پیش بینی روان سنجی به عمل آمده، ناشی از جمع آوری دقیق داده های مفصل در طی سالیان متمادی است. این داده ها امکان طبقه بندی و شناسایی دقیقتر بیمارانی را فراهم می کند که قصد خودکشی در آنها نسبتاً شایعتر است. این نوع بررسیها توسط فاربرو، اشنایدمن و نورینگر (1966) صورت گرفته که البته توسط برخی از پژوهشگران ادامه یافته اند. به ویژه، بک (1986)، بک، برچیک، استوارت، و استیر (1990) دریافته اند که ناامیدی یک عامل پیش بینی کننده مهم در خودکشی است. وی با کمک همکاران خود مقیاس قصد خودکشی (بک، شویلر، و هرمان، 1974) و مقیاس فکر خودکشی (بک، کوواکس، و وایس من، 1979) را تهیه کرده است.
 جدول 2-7: درصد دانشجویانی که با استفاده از مقیاس Sc تشخیص اسکیزوفرن یا بهنجار روی آنها گذاشته شده است. در اینجا نمره برش 70 است و 1درصد افراد عملاً اسکیزوفرن و 99درصد بهنجار هستند.
 نمره Tـــــــــــــ عملاً اسکیزوفرن ــــــــــــ عملاً بهنجار ـــــــــــ کل
 نمره T برابر با 70 یا بالاتر ـــــــــــــ 0/6aـــــــــــــ 2 ــــــــــــ 2/6
(به عنوان تشخیص اسکیزوفرنی)
 نمره T برابر با 70 یا پایین تر ـــــــــــــ 0/4ــــــــــــــ 97a ــــــــــــ 97/4
 (به عنوان ملاکی برای بهنجاری)
 کل ــــــــــــ 1 ــــــــــــ 99 ـــــــــــــــ100
 
نسبتهای گزینش
 
 در بحث درباره اعتبارهای وابسته به ملاک، فرض کرده ایم که پیش بینی ها یا تصمیم هایی چند باید برای هر مراجع اتخاذ شود؛ یعنی، ما مجبوریم که برای هر فرد تصمیم بگیریم. تحت چنین شرایطی، ما با مشکل متفاوتی روبه رو هستیم: گزینش که با توجه به آن نیازی نیست که برای هر فرد عمل تخصیص صورت گیرد. فرض کنید که از ما خواسته شده است تا 10 بیمار اسکیزوفرن را از یک بخش 200 نفری انتخاب نماییم، ولی دقیقاً نمی دانیم که آنها چه افرادی هستند. شانس ما در انجام این کار از طریق اجرای یک آزمون مربوط به اسکیزوفرنی و انتخاب 10 نمره بالا حتی اگر اعتبار پیش بین این آزمون متوسط باشد، بسیار زیاد است. دلیل این امر نیز آن است که ما این پیش بینی را برای اکثریت بیماران به عمل نخواهیم آورد. از نظر ما این پیش بینی فقط به معدودی از بیماران مربوط می شود که به احتمال زیاد در مورد آنها صادق است؛ یعنی، بیمارانی که نمره های افراطی دارند.
 نسبت گزینش به عنوان تعداد افرادی تعریف می شود که از میان تعداد کل مورد نظر برگزیده شده اند. در این مثال، نسبت مورد نظر 10 به 200 یا 0/05 است. هر چقدر که این نسبت کمتر باشد، موفقیت این گزینش با توجه به همان اعتبار پیش بین قبلی بیشتر خواهد بود. عامل دیگری که بر دقت این گزینش اثر می گذارد نسبت بیماران مورد نظر در گروه تحت بررسی است؛ یعنی، نرخ پایه. در این مثال، نرخ پایه 100 به 200 یا 0/05 است. در این خصوص، جداول مورد نظر (تایلر و راسل، 1939) برای نشان دادن صحت گزینش مورد انتظار با توجه به اعتبار پیش بین، نرخ پایه و نسبت گزینش در دسترس هستند. در مثالی که با آن روبه رو بودیم، فرض کنید که آزمون مربوط به اسکیزوفرنی دارای یک ضریب همبستگی اعتبار پیش بین با مقدار 0/4 است. جداول تایلر- راسل نشان می دهند که ما به احتمال زیاد با موفقیت از میان 10 نفر، 8 اسکیزوفرن را شناسایی کرده ایم. با وجود این، فرض کنید که صرفاً 20 بیمار وجود دارند که باید از میان آنها دست به انتخاب زد (در اینجا فرض بر آن است که نیمی از این عده واقعاً اسکیزوفرن هستند). نسبت گزینش در اینجا 10 به 20 یا 0/50 است و جداول تایلر- راسل نشان می دهند که احتمال گزینش ما 6 اسکیزوفرن از 10 نفر یا اندکی بیشتر از شانس، یعنی، 0/50 است.
 نسبتهای گزینش در جایی که بسیاری از افراد با یکدیگر رقابت دارند، دارای اهمیت زیادی هستند. تحت چنین شرایطی، از آزمونی که اعتبار پیش بینی اندکی دارد می توان برای به دست دادن گزینشهای نسبتاً دقیق استفاده کرد. این وضعیت اغلب در انتخاب یک فرد از میان مجموعه ای از افراد جهت احراز یک شغل مناسب پدید می آیند. علت دیگر این امر به موقعیتی بر می گردد که خدمات درمانی موجود مانند روان درمانی محدود بوده و بسیاری از بیماران در پی درمان هستند.
 
متغیرهای تعدیل کننده
 
 مدتهاست که آماردانان دریافته اند چه چیزهایی برای آنها به عنوان نوعی عوامل ظاهراً دلفریب و درست عمل می کنند. یکی از این عوامل در جداول تایلر- راسل نهفته است و همان طوری که قبلاً توصیف شد برای افزایش اعتبار پیش بین در مواردی به کار می رود که یک نسبت گزینش مناسب وجود داشته باشد. استفاده از متغیرهای تعدیل کننده روش دیگری برای به دست آوردن اعتبارهای پیش بین بالا تحت این شرایط خاص است.
 مفهوم متغیرهای تعدیل کننده در اصل توسط گیزلی (1956، 1963) و ساندرز (1956) معرفی شد. تعدیل کننده نوعی اطلاعات است که می توان از آن برای پیش بینی دقت متغیر پیش بینی کننده دیگر جهت یک آزمودنی یا مجموعه آزمودنیها استفاده کرد. برای مثال، چنانچه بتوان نمره های دانشجویان وسواسی دانشگاه را از نمره های آزمون استعداد آنها پیش بینی کرد، ولی نتوان این کار را در مورد نمره های دانشجویان غیروسواسی انجام داد، در نتیجه می توان از یک مقیاس وسواس برای تعدیل پیش بینی این نمره ها از نمره های آزمون استعداد استفاده کرد؛ یعنی، برای شناسایی آن دسته از دانشجویانی که این پیش بینی برای آنها نسبتاً دقیق خواهد بود و دانشجویانی که این پیش بینی برای آنها دقیق نخواهد بود.
 چنانچه ما علاقه خود را صرفاً به دانشجویان کاملاً وسواسی منحصر نماییم، اعتبار پیش بین نمره های دانشگاهی به مراتب بالاتر از نمره های دیگر خواهد بود. به عبارت دیگر، ما پیش بینی را به بهای کار کردن با افرادی که می دانیم برای آنها از بیشترین اعتبار برخوردار است، بالا برده ایم. متغیر تعدیل کننده از لحاظ منطقی با نوع خاصی از تعامل در کاربرد تحلیل واریانس به منظور بررسی نتایج تحقیق معادل است. وضعیت فوق در شکل 1-7 منعکس شده است که نتایج همین مطالعه فرضی را نشان می دهد. رابطه آشکار را می توان بین نمره های آزمون استعداد و نمره های دانشگاهی دانشجویان وسواسی دید که البته برای دانشجویان غیروسواسی صادق نیست.
 در وهله اول، امکانات افزایش پیش بینی از طریق کاربرد متغیرهای تعدیل کننده در ارزیابی شخصیت مهم و جدی به نظر می رسند. این مفهوم بدون شک به طور غیررسمی در بسیاری از موقعیتها به کار برده می شود. برای مثال، چنانچه دکتر جونز در تشخیص ویژگیهای اختلال شخصیت افرادی که به کلینیک وی مراجعه می کنند تبحر داشته باشد، احتمال بیشتری وجود دارد که مصاحبه کننده این مراجعان را به نزد دکتر جونز جهت معاینه تشخیصی بفرستد. چنانچه این قاعده را تعمیم دهیم، این امکان وجود دارد که یک متغیر تعدیل کننده را در نظر بگیریم. این متغیر نشان می دهد که ما باید تا چه اندازه توجه خود را معطوف پروتکل رورشاخ یک بیمار یا نیمرخ MMPI جهت دستیابی به تشخیص روان پزشکی نماییم. در یک سطح پیچیده تر، امکان آن وجود دارد تعیین کنیم که آیا برای یک بیمار خاص یا گروهی از بیماران باید بیشترین توجه خود را معطوف پروتکل رورشاخ، آزمون رسم آدمک، نیمرخ MMPI، اطلاعات زیست نگاری یا هر منبع دیگری از داده ها نماییم یا خیر.
 شکل 1-7: تعامل بین نمره های دانشگاه و ابتلا به وسواس که در جهت تعدیل پیش بینی نمره ها بر اساس نمره های آزمون استعداد عمل می کند. (توضیح شکل)
 امروزه، اکثر پژوهشهایی که در خصوص متغیرهای تعدیل کننده صورت گرفته معطوف پیش بینی موفقیت در زمینه های تحصیلی یا استخدامی بوده است. گیزلی (a1960) در کوششی که به منظور افزایش پیش بینی درآمد در بین رانندگان تاکسی انجام داد، دریافت که از یک متغیر تعدیل کننده که بر اساس سن و تحصیلات است می توان برای نشان دادن این موضوع استفاده کرد که کدام یک از این دو مقیاس توانایی (یعنی، آزمونهای توانایی فضایی و حرکتی) پیش بینی کننده بهتری است. در این مطالعه، آزمون فضایی برای رانندگان مسنتر و با تحصیلات کمتر عامل پیش بینی کننده بهتری بود. گیزلی (b1960) همچنین نشان داد که می توان با استفاده از رویکرد گروههای ملاک به طور تجربی متغیرهای تعدیل کننده را به دست آورد. خصوصیتی که از طریق اجرای یک پرسشنامه مورد پیش بینی قرار داشت، اجتماع پذیری بود. عامل پیش بینی کننده که همبستگی اندکی با اجتماع پذیری داشت هوش بود و این متغیر با استفاده از یک سیاهه توصیف خود، اندازه گیری گردید. با توجه به متغیر تعدیل کننده دو گروه ملاک انتخاب شدند. گروه "قابل پیش بینی" متشکل از افرادی بود که نمره های آنها تقریباً حول و حوش توزیع اجتماع پذیری و هوش قرار داشتند. گروه دیگر، گروه "غیرقابل پیش بینی" را تشکیل می داد. بعد، پاسخهای موجود به سیاهه توصیف خود جهت پیدا کردن ماده هایی که بین دو گروه تمایز قایل می شدند، مورد بررسی قرار گرفتند و این ماده ها مقیاس تعدیل کننده را شکل دادند. نتایج بررسی مربوط به اعتباریابی با یک نمونه جدید نشان داد که از این مقیاس می توان برای قابل پیش بینی ترین افراد استفاده کرد.
اگرچه زمینه اصلی پژوهش مربوط به متغیرهای تعدیل کننده به افزایش پیش بینی موفقیت تحصیلی یا شغلی ارتباط داشته است، پژوهشهای مناسب بالینی نیز صورت گرفته اند. فالکرسون (1959) نشان داد که اعتبار یک آزمون شخصیت جهت پیش بینی سازگاری کلی به بُعد شخصیت برون گرایی - درون گرایی یا هیستری- پسیکاستنی ارتباط پیدا می کرد، زیرا آزمودنیهای درون گرا در پاسخهای خود بسیار دقیقتر بودند. تاملینسون (1967) در یک بررسی مربوط به قضاوت بالینی، نشان داد که داورانی با نیاز به پیشرفت بالا در مقایسه با سایر داوران (پس از مصاحبه مستقیم با مراجع) پیش بینی های دقیقتری را درباره مراجعان به عمل می آورند، ولی هنگامی که مراجع را از پشت آینه یکطرفه مشاهده می کردند، از دقت پیش بینی های آنها کاسته می شد. کلوم و هویبرگ (1971) در یکی از بررسیهای خود که به مشکلات روان پزشکی مردان در یک منطقه جنگی مربوط می شد، توانستند نرخ تصمیمهای موفقیت آمیز حمله آنها را بر اساس بازگشت به جبهه از طریق استفاده از طبقه های تشخیصی به عنوان تعدیل کننده پیش بینی (که بر اساس متغیرهای شرح حال نگاری قرار داشت)، افزایش دهند.
 اصول زیربنایی و اساسی کاربرد متغیرهای تعدیل کننده کدام اند؟ در دو مثال اول فوق – یعنی، پیش بینی نمره های دانشجویان و موفقیت در میان رانندگان تاکسی - می توان از عقل سلیم یا تبیین های منطقی برای توجیه این موضوع استفاده کرد که چرا گروههای فرعی خاصی در مقایسه با بقیه از قابلیت پیش بینی بیشتری برخوردارند. بنابراین، می توان انتظار داشت که دانشجویان وسواسی احتمالاً در خصوص محدوده تواناییهای خود تلاش می کنند و دانشجویانی که از وسواس کمتری برخوردارند به طور انتخابی زمان خود را صرف واحدهایی می کنند که به آنها علاقه دارند. نکته ای که در اینجا تبیین آن مشکل تر است این موضوع است که مقیاسهای تعدیل کننده تجربی را می توان بدون داشتن هیچ گونه محتوای متناسبی تهیه کرد. بحث مربوط به تبیین های روان سنجی احتمالی که البته فراتر از این کتاب است، توسط هوبرت و دونت (1967) ارایه شده است. زدک (1971) در این زمینه کلی یک مرور و بحث جامعی را ارایه کرده است.
 در خصوص کاربرد متغیرهای تعدیل کننده در افزایش پیش بینی، محدودیتهای چندی وجود دارد.
 ابتدا امکان آن وجود ندارد که برای تمام پیش بینی ها متغیر تعدیل کننده داشته باشیم. اسمیت و لانیون (1968) از داده های شرح حال نگاری برای مشخص کردن آن دسته از مجرمانی استفاده کردند که در دوران آزادی مشروط خود مرتکب خلاف شده بودند و بعد کوشیدند تا یک مقیاس تعدیل کننده تجربی را در اساس ماده های MMPI به منظور بالا بردن این پیش بینی تهیه کنند. ولی در این خصوص هیچ گونه افزایشی به دست نیامد، زیرا احتمالاً عوامل تعیین کننده اینکه آیا در طی آزادی مشروط خلافی صورت می گیرد یا خیر، ضمنی بوده و تا زمانی که دوره آزادی مشروط آغاز نشده باشد، قابل تشخیص نیستند. محدودیت بالقوه دیگر، توسط بم و آلن (1974) مشخص شد و ما درباره آنها در فصل دوم بحث کردیم. آنها نشان دادند که افراد از لحاظ ثبات رفتاری در زمینه های معین به گونه پایایی تفاوت دارند و اینکه "ثبات" هر صفت را می توان از طریق درجه بندیهای شخصی ارزیابی کرد. همان طوری که قابل پیش بینی بود، افرادی با ثبات زیاد در مقایسه با افرادی که ثبات پایینی داشتند، قابلیت پیش بینی بیشتری را نشان دادند. بنابراین، روشن است که اهمیت ندادن به تعدیل کننده ممکن است "ثبات" باشد و اینکه بعضی افراد به طور ساده حداقل در بعضی زمینه های خاص باثبات تر و قابل پیش بینی تر از دیگران هستند. چنانچه بتوان نشان داد که این حالت یک خصوصیت شخصیت کلی است، آن گاه قابلیت بالینی تعدیل کننده ها تا اندازه زیادی محدود خواهد بود، زیرا همان فردی که برای مثال در آزمون MMPI نمره بالایی در یک متغیر تعدیل کننده به دست می آورد، در تمام منابع اطلاعاتی شخصیت در خصوص تعدیل کننده ها نمره بالایی را کسب می کند.
 اگرچه کارکرد اولیه متغیرهای تعدیل کننده به عنوان یک عامل مهم در افزایش دقت در زمینه ارزیابی شخصیت برآورده نشده است (برای مثال، آناستازی، 1988)، هنوز پژوهشهای دیگری در این زمینه مورد توجه هستند. برای مثال، کوششهایی به منظور شناخت تعدیل کننده های روابط بین وقایع زندگی استرس زا و اختلالهای روانی در بزرگسالی (جانسون و ساراسون، 1979) و کودکان (ساندلر، 1980) صورت گرفته اند. در این زمینه منصفانه است بگوییم که بررسی متغیرهای تعدیل کننده پیشرفتی را در تکنولوژی ارزیابی شخصیت نشان می دهد، زیرا این امر فراتر از بررسیهای کلی مربوط به اعتبار قرار می گیرد و پرسش میزانهای مختلف اعتبار را برای انواع مختلف افراد تحت شرایط متفاوت مد نظر قرار می دهد.
 
پی نوشت:
 
 
822- Forer
 823- O'Dell
 824- Ghiselli
 825- Sechrest