הערכה נתמכת ראיות
Evidence-based Assessment
מאת משה אלמגור
מה זה הערכה נתמכת ראיות?
"הערכה נתמכת ראיות" (Evidence-based Assessment, EBA) היא תהליך שבו נעשה שימוש מושכל בידע מחקרי ובניסיון קליני כדי להתאים את אופן ההערכה לשאלת ההפניה ולמטופל. זהו תהליך של איסוף נתונים סלקטיבי, אשר מיועד לתת למטפל ולמטופל מידע אשר יהיה לעזר בתכנון ההתערבות (Hunsley & Mash, 2007). במאמר זה יוצגו מרכיבי ההערכה נתמכת הראיות ומטרותיה, ולאחר מכן יועלו כמה ביקורות והסתייגויות כלפי יישום הגישה בעולם ובארץ, ותיבחן משמעותן.
EBA היא גישה להערכה פסיכולוגית המשתמשת במחקר על מנת לכוון בחירת מושגים, שיטה, ומדדים אשר יתאימו לתהליך ההערכה למטרה ספציפית. היא מהווה חלק ממכלול רחב יותר אשר נקרא "פרקטיקה נתמכת ראיות" (Evidence-based Practice, EBP) - תהליך של קבלת החלטות המשלב ראיות מחקריות, ניסיון קליני ומאפיינים והעדפות של מטופלים (APA, 2005). ה-EBP היא גישה אינטרדיסציפלינרית, אידיוגראפית (המותאמת לכל פרט ופרט), נתמכת מבחינה אמפירית והמקדמת למידה מתמשכת ומתמידה (Spring, 2007).
במסגרת ה-EBP נכללים גם טיפולים נתמכי ראיות, תחום אשר זכה לתשומת לב והשקעה רבה בשנים האחרונות, עת פותחו מספר גדול של שיטות מבוססות ראיות לטיפול בהפרעות שונות. החוקרים הנסלי ומאש (Hunsley & Mash, 2008) והחוקרים מרטין ובארלו (Martin & Barlow, 2004) דיווחו על התאמתם של טיפולים מבוססי ראיות למספר גדול של הפרעות, כולל הפרעות חרדה, הפרעות מצב רוח, הפרעות אישיות, קשיים בזוגיות, הפרעות ילדות ואחרות.
תהליך ההערכה והטיפול כולל הערכת מצבו של המטופל, אבחון הבעיה וקביעת הטיפול המתאים. בתהליך זה יש חשיבות לא רק למידע מחקרי אודות הטיפול בהפרעות שונות. אלא לידע על כלי האבחון השימושיים והמתאימים באבחון ההפרעות, אשר עומדים בקריטריונים של הערכה נתמכת ראיות (Hunsley & Mash, 2008). על אף שטיפול נתמך ראיות הוא שלב אחד בשרשרת המתחילה בהערכה ואבחון, עד כה המאמץ המחקרי התרכז בכיוון של טיפולים נתמכי ראיות; עם התפתחות הידע על הטיפול, התגבר הצורך בתהליך הערכה ואבחון מבוססי ראיות, שבו מתרכז המאמר הנוכחי.
נחיצות הערכה נתמכת ראיות
הערכה נתמכת ראיות נחוצה מכמה סיבות:
א. תהליך ההערכה הוא תהליך חיוני במהלך גיבוש תכנית הטיפול, שכן. על בסיס תהליך זה אנחנו לומדים את סיפורו של המטופל ומתאימים לו את תכנית ההתערבות האופטימלית המתאימה לבעיה, למאפייני המטופל ולסביבה הטיפולית בה מתנהל הטיפול (Paul, 1966).
ב. כדי לקבל את המידע המתאים לצורך גיבוש תכנית טיפולית יש צורך לעשות אינטגרציה של נתונים המגיעים מידע מחקרי ומניסיון קליני רלבנטי.
ג. כיוון שההערכה היא תהליך שדורש זמן ומקורות (מבחנים פסיכולוגיים, בדיקות רפואיות ו/או רפואיות, בדיקה נוירופסיכולוגית, קשר עם גורמים חיצוניים כמו שירותי רווחה, בית ספר וכו'), זהו תהליך יקר מבחינת השקעת זמן וכסף. כדי לייעל את התהליך במטרה להגיע לתשובה המתאימה ביותר לשאלת ההפניה, יש צורך להשתמש בהערכה נתמכת ראיות.
מיומנויות ההערכה והאבחון נתפסות בעולם הפסיכולוגי כבעלי ערך רב מאוד, עד כי הפכו לחלק מהייחוד וההגדרה של הפסיכולוג הקליני. יחד עם זאת, מאמץ מועט בלבד הושקע בבחינת תהליך ההערכה. בשלב זה אין בידינו מספיק נתונים כדי להעיד על יעילות התהליך, אלא רק על חלק שלו הקשור בשימוש במבחנים פסיכולוגיים; אך אנחנו מתחילים להבין שתהליך ההערכה הוא בעייתי ואינו נתמך דיו על ידי מחקר (Hunsley & Mash, 2007; Norcross, Koocher, & Garofalo, 2006).
תהליך הערכה בגישת ה-EBP מתייחס לשלושה מרכיבים בסיסיים בתהליך ההערכה: נתוני המטופל, ממצאים מחקריים רלבנטיים והניסיון הקליני של המעריך (ראו תרשים מס' 1).
תרשים 1: מודל הערכה נתמכת ראיות
משתני המטופל קשורים בין השאר לשונוּת בין קבוצות תרבותיות שונוֹת, תחום אשר מקשה על תהליך ההערכה במיוחד בישראל. בעוד שבארצות הברית זוכה הנושא לתהודה עצומה וכמעט כל קורס אקדמי עוסק ברב-תרבותיות וברגישות תרבותית, רמת הרגישות הבין-תרבותית בארץ נמוכה הרבה יותר. מרבית כלי ההערכה והטיפול שלנו מכוונים לאוכלוסייה ממוצא מערבי או ישראלי (דור שני). במגמות הקליניות השונות אין קורסים העוסקים ברב-תרבותיות והשפעתה על אופן ודרך הטיפול. איך אנחנו מטפלים במטופלים שתרבותם שונה משלנו, שמערכת הערכים שלהם שונה משלנו? האם טיפול במטופל ממוצא דרוזי דומה לטיפול ביהודי חרדי? האם טיפול במטופל ממוצא אתיופי דומה לטיפול במטופל ממוצא קזחי? כמה אנחנו יודעים, כמטפלים, על אוכלוסיות אלו ועל המאפיינים הרלבנטיים שלהן? ניסיוני הקליני מלמד אותי שאלו הן אוכלוסיות שונות עם צרכים שונים, ודרכי ההתערבות עם מטופלים מקרבן הן שונות בתכלית מאשר עם מטופלים מהאוכלוסייה הישראלית הכללית.
החלק הבעייתי יותר בתהליך הוא ניסיונו הקליני של המטפל, אשר נוטה להיות מאוד סובייקטיבי ותלוי בגישת המטפל. בדרך כלל הוא מבוסס על ידע אישי מצטבר, אשר אינו בהכרח גם תקף, ואשר חשוף להטיות מרובות (Groth-Marnath, 2009; Martin and Barlow, 2008). בנוסף, ההכשרה של הפסיכולוג הקליני היא מוגבלת יחסית. כמה מהפסיכולוגים הקליניים מבינים למשל בנוירופסיכולוגיה ומוכשרים להשתמש במבחנים נוירופסיכולוגיים? כמה מבינים בתרופות פסיכיאטריות ומכירים את השפעותיהן ותוצאות הלוואי? כמה מכירים את שירותי הרווחה הרלבנטיים לטיפול? אני לא מאמין שיש מישהו שמטיל ספק ברלבנטיות או בנחיצותו של ידע בתחומים אלה לתהליך ההערכה, אך הוא אינו באים לידי ביטוי שיטתי בהכשרה האקדמית ו/או בתהליך ההתמחות, ודורש מהפסיכולוג מאמץ מיוחד להשגתו באופן עצמאי.
שניים מתוך שלושת המרכיבים של תהליך ההערכה מציבים אם כן בעיות לא קטנות בתהליך. לפיכך, יש להסתמך יותר על שימוש בכלים אובייקטיביים מונחי ראיות, אשר יספקו לנו מידע אמין ותקף על המטופל שאינו תלוי בניסיונו הקליני של המטפל ויחד עם זאת רגיש לתרבותו של המטופל. כדי שהכלים ההערכתיים והאבחוניים יוכלו לעמוד בציפיות אלה, הם צריכים לענות על שלושה תנאים פסיכומטריים בסיסיים: תקפות, מהימנות ונורמות מקומיות.
יש לזכור כי תקפות אינה מושג גורף, אלא מתייחסת לאוכלוסייה הספציפית שאליה מתייחס השימוש בכלי: לכלי שתוקף בארצות הברית נדרש תיקוף חוזר בישראל; כלי שתוקף על האוכלוסייה הכללית, אינו יכול לשמש להערכת קבוצת אוכלוסייה ספציפית ללא בדיקה של תקפות הכלי לאותה קבוצת אוכלוסייה. נורמות מקומיות משקפות הבדלים בין-תרבותיים ואחרים, ולכן חובה להשתמש בהן. כאשר הכלי ההערכתי עומד במבחן בסיסי זה, הוא יכול להיות לעזר רב בתהליך ההערכה.
מטרתה של ההערכה, או שאלת ההפניה, היא זו שאמורה לקבוע את אופי ההערכה והכלים בהם ניתן להיעזר (Hunsley & Mash, 2008). מטרות אפשריות שונות הן אבחון, סינון, ניבוי הצלחת טיפול, המשגה/ניסוח של המקרה, תכנון טיפול, בקרה על טיפול והערכת תוצאות טיפול.
באבחון המטרה היא הגעה לאבחנה פורמאלית. שימוש במבחנים וכלי הערכה ספציפיים כמו ה-SCID-II (First, Gibbon, Spitzer, Williams, and Benjamin, 1997), וכלליים כמו ה-MMPI-2 (אלמגור, 2005) יכול לעזור בתהליך, אך השימוש במבחנים בלבד הוא מוטה, מטעה ואינו מספק. אבחון נכון נשען על מספר מקורות כמו אנמנזה, דיווחי אחרים, תצפיות, מבחנים וכו'.
שונה הדבר לגבי סינון של מועמדים ו/או מטופלים לצרכים שונים. בתהליך של מיון צריך בדרך כלל לאתר אנשים עם ליקויים מובחנים, או תכונות ספציפיות, כאשר מידת הדיוק באבחון היא משנית לצורך להקטין את מספר הנבדקים למספר שמתאים ליכולת לבדיקה יותר מורכבת. כאן, ורק כאן, ניתן להשתמש במבחן ייעודי או במבחן אחד (לדוגמה, MMPI-2).
ניבוי של הצלחת טיפול יכול להיעשות על ידי הערכת מאפייני המטופל אשר נמצאו במחקרים קודמים כקשורים ביעילות הטיפול (גיל, מין, מוטיבציה, אבחנה, וכו'). לשם כך אין למעשה צורך בהערכה מורכבת, אלא יותר בהסתמכות על הידע המקצועי של המטפל. ניבוי הצלחת טיפול קשור גם בהגדרת המטרות הטיפוליות על ידי המטפל והמטופל, ותפיסת שניהם באשר להשגתן. כאן ניתן להסתמך גם על מבחנים. לדוגמה, למטופליי הפרטניים אני מעביר בדרך-כלל את ה-MMPI-2 בתחילת הטיפול ובסופו, כדי להמחיש את השינוי שהתרחש.
המשגה ו/או ניסוח (פורמולציה) של המקרה דורשת פעולה הערכתית מורכבת, הכוללת אינטגרציה של ידע הנרכש בשימוש במבחנים, אנמנזה וריאיון. תהליך זה משלב ניסיון ויכולת קלינית עם שימוש מושכל בכלי הערכה מתאימים. זהו מקרה שבו שימוש בסוללת מבחנים הוא המתאים ביותר (כמובן שהרכב הסוללה תלוי גם הוא בשאלת ההפניה ומאפייני הנבדק).
תכנון טיפול דורש הערכה ואבחון של הקושי, ידע בגישות טיפוליות ויישומן. כאן לא מדובר בהכרח באבחון פורמאלי (הגעה לקטגוריה אבחונית), אלא בהערכה של הבעיה, גורמי הבעיה, הגורמים המשמרים אותה וסוכני השינוי בדרך להגיע לתכנית טיפול אופטימלית עבור המטופל/ים. בתהליך תכנון הטיפול באה לידי ביטוי היכרות המטפל עם טיפולים חלופיים, והכרת הידע המחקרי העדכני באשר ליעילות הטיפולים השונים.
בקרה והערכת יעילות טיפול דורשים לעתים שימוש בכלים ייחודיים (כולל מבחנים), אם כי נהוג גם להכניס את אלמנט הבקרה וההערכה כחלק מזוהה בטיפול (עצירה בטיפול לצורך הערכת ההתקדמות) (Lambert, 2003).
שימוש במערכת המיונית הקיימת לצורכי אבחון: מילת אזהרה
כדי לערוך אבחון מדויק בעזרת תהליך ההערכה נתמכת הראיות אנחנו זקוקים למערכת מיונית מתאימה. הקטגוריות האבחוניות השונות צריכות להיות מובחנות ותקפות, ואלמלא כן הופכת התאמת הטיפול לצרכי המטופל לחסר משמעות. האם זהו המצב? האם המערכות המיוניות אכן עומדות בתנאים הללו? המערכות המיוניות הקיימות היום (ICD, DSM) מהוות בסיס למיון וסיווג של הפרעות לקטגוריות אבחוניות ונמצאות בשימוש נרחב ביותר. יחד עם זאת, הן נתונות לביקורת מבחינות שונות וברמות שונות (לדוגמה: Kendler, 1998; Walsh, 2007), שחלקן משפיעות על יעילותה של הערכה נתמכת ראיות.
כך היא למשל שאלת מידת ההתאמה של החלוקה להפרעות בגישה המיונית המקובלת כיום. מחקרם של אלמגור וקורן (Almagor & Koren, 2001) ועבודתו היסודית ורבת השנים של טלגן (Tellegen, et al. 2003) מלמדים על קיומו של מרכיב דומיננטי בהפרעות הנפשיות (מצוקה או דמורליזציה), אשר מופיע בכל ההפרעות (כולל הפרעת אישיות אנטי-חברתית) ומסביר חלק נכבד ביותר של השונות של אותה הפרעה. כבר בשנות השבעים נטען שדמורליזציה היא הסיבה העיקרית אשר מביאה אדם לטיפול, ושכל טיפול פסיכולוגי פועל בראש וראשונה להפחתת הדמורליזציה (Frank, 1974). לאור זאת ניסה טלגן לבנות מדדים להערכת הפרעות שונות ה"נקיים" מהשפעת הדמורליזציה - ניסיון העומד בבסיסה של הגרסה החדשה של ה-MMPI-2RF (Kaemmer, 2003). עם זאת, הממצאים שמפרסמים טלגן ושותפיו מלמדים על קושי לייצר מדדים חופשיים מהשפעת הדמורליזציה. קיומו של גורם הדמורליזציה כגורם משותף להפרעות הנפשיות מעלה אם כן ספק באשר לחלוקה הקיימת להפרעות.
אולם גם אם מקבלים את המערכת המיונית הקיימת, עולה שאלת מידת ההתאמה שלה: האם הרעיון של קטגוריות אבחוניות מכניסות ומוציאות מתאים למציאות של הפונים? אחת התופעות המעניינות והשגורות בהקשר הזה, היא הקומורבידיות - נוכחות בו-זמנית של מספר הפרעות פסיכולוגיות או צירוף של הפרעות פסיכולוגיות ורפואיות. קומורבידיות מתארת, למעשה, חפיפה בין הפרעות שנחשבות לעצמאיות מבחינה אטיולוגית (לדוגמה, חרדה ודיכאון, הפרעה קוגניטיבית והפרעת אישיות, או הפרעת אישיות והפרעת מצב רוח), ובכך היא יוצרת קושי בקביעת אבחנה מבדלת (Lilienfeld, Waldman & Israel, 1994; Mineka, Watson, & Clark, 1998, Watson, 2005). נושא הקו-מורבידיות אינו מטופל בצורה מתאימה, וגם המחקרים העוסקים בפיתוח שיטות טיפול וביעילות הטיפול אינם מתייחסים אליו דיים.
יוצאי דופן הם מחקריהם של Watson ומחקרים אחרים (Brown, Chorpita, Barlow, 1998; Chorpita, Albano, & Barlow, 1998; Clark & Watson, 1991a; Mineka, Watson & Clark, 1998) המצביעים למשל על חפיפה סימפטומטית בין הפרעות החרדה ומצב הרוח, על אפשרות לבסיס גנטי משותף (Kendler, Heath, Martin, & Eaves, 1998) ועל העובדה שהטיפול התרופתי והפסיכותרפי המסייע לשתיהן דומה. כל אלו מעמיקים את הקושי באבחנה מבדלת בין שני סוגי ההפרעות (Mineka, Watson, & Clark, 1998). לאור זאת, הוצעה חלוקה תואמת יותר של הפרעות מצב רוח וחרדה והוצע המודל ההיררכי האינטגרטיבי (The Integrative Hierarchical Model), שהוא מודל מבני מדויק יותר ומקיף, ועקבי עם נתונים גנוטיפיים ופנוטיפיים על הפרעות דיכאון וחרדה (Mineka, Watson & Clark, 1998).
הערכה נתמכת ראיות בישראל
בארץ, הפרקטיקה הנתמכת ראיות על כל מרכיביה מצויה במצב בעייתי ביותר. הגישות שאינן דינמיות זכו להתנגדות רבה מצד המוסדות הפורמאליים של הממסד הפסיכולוגי בעשורים האחרונים, ומאבק איתנים סביב הנושא עדיין מתנהל.
לגבי תהליך ההערכה נתמכת הראיות בפרט כפי שהוא נעשה בארץ, התמונה היא עגומה. ראשית, תהליך ההכשרה של הפסיכולוגים הקליניים הוא בעייתי ביותר. הסטודנטים לפסיכולוגיה קלינית אינם מקבלים הכשרה מיוחדת בהתאמת שיטת ההערכה לשאלת ההפניה. ברוב מקומות ההתמחות המתמחים אינם מקבלים הכשרה נאותה בשיטות טיפוליות שונות אשר יאפשרו לעשות אופטימיזציה של תהליך ההערכה,
שנית, הכלים האבחוניים בהם אנחנו משתמשים סובלים מבעיות קשות של היעדר נורמות מקומיות, היעדר תיקוף מקומי, תרגומים לא מאושרים ולא בדוקים, שימוש לא מתאם במבחנים, והיעדר כללים ברורים לציינון וניתוח. כל אלו הופכים את מרבית הכלים בהם משתמשים בארץ ללא מתאימים לרוב שאלות ההפניה. בעיה אחרת נובעת משימוש בכלים להערכת מושגים שאינם במסגרת המושגים המוערכים על ידי כלים אלו. קשיים אלו בולטים באופן מיוחד כאשר שאלות ההפניה מתייחסות למסגרת משפטית ולשאלות כמו מסוגלות הורית ואי-שפיות משפטית (אלמגור 2002, 1999; אלמגור וגוטר,2001 ;אלמגור וארליך, 2011).
קשיים נוספים נובעים מכך שפסיכולוגים מפרשים תוצאות של מבחנים תוך כדי מתן משקל לא מתאים לסולמות והעדפה לא ברורה של מבחנים כאלו ואחרים, כאשר אין עדות מחקרית להעדפה זו (האם מבחן הרורשאך חשוב יותר ממבחן ה-TAT? איזה סולם של הרורשאך הוא בעל משקל גדול יותר ועל איזה בסיס?). לבסוף, בארץ נעשה שימוש כוללני בסוללת מבחנים כאשר לשימוש זה אין הצדקה וצורך מבחינה קלינית וטיפולית במרבית המכרעת של המקרים, ובמיוחד לאור ההערות הקודמות. סוללת המבחנים שהעברתה נדרשת במסגרת תוכנית ההתמחות - כמו גם תכנית ההתמחות בכללותה – היא מוטה מבחינה תיאורטית ולכן בעייתיית בשימוש בגישות אשר אינן פסיכודינמיות באופיין, כמו הגישות ההתנהגותיות-קוגניטיבית והמערכתיות.
הערכה נתמכת ראיות: כיוונים לעתיד
הביקורת החריפה שהוצגה לעיל מטילה אמנם ספק בערך המבחנים הפסיכולוגיים בתהליך ההערכה בארץ ובכלל, אולם אין היא גוזרת את ביטול הצורך במבחנים או באפשרות השימוש במבחנים קיימים. להערכה נתמכת הראיות יש מגבלות, אך כאשר היא תבשיל, נוכל ליהנות מפירותיה. הביקורת שהוצגה מצביעה בעיקר על הבעייתיות בשימוש במבחנים וכלי הערכה לצורך חד-פעמי (הערכות לצורכי חוות דעת שונות); אך ניתן עדיין להיעזר בשימוש במבחנים ככלי המסייע להעלאת השערות, אשר אישורן או דחייתן נעשית באמצעים לא מבחניים. השימוש בכלים הללו מתאים במיוחד במסגרות בהן הטיפול הוא מתמשך ויש אפשרות לתקן את ההערכה לאורך זמן (לדוגמה, מחלקות אישפוזיות). בכל מקרה אחר אין הצדקה לשימוש בכלי הערכה לא מתאימים.
לסיכום, יש צורך במערכת הערכתית אשר תסייע לנו להציע למטופל את הטיפול האופטימלי המתאים לשאלת ההפניה ולמאפייניו של המטופל. מערכת זו לא חייבת להסתמך על מבחנים בלבד, וצריכה להיעזר גם בעקרונות מנחים המסייעים לקחת בחשבון את משתני הבעיה, המטופל, המטפל וסביבת הטיפול. מעבר לבעיות שהוזכרו בתהליך האבחון בכללותו, אשר תיקונן נדרש, המערכת ההערכתית הנמצאת בשימוש בארץ כיום היא בעייתית מאוד מסיבות נוספות. כיוון שכך מובן הוא מדוע מרבית הפסיכולוגים אינם מוצאים בה שימוש.
מקורות
אלמגור, מ' (1999). החזקת ילדים: תפקידו של הפסיכולוג הקליני. פסיכולוגיה, ח', 34-49.
אלמגור, מ' (2002). הגנת אי שפיות: תפקיד הפסיכולוג הקליני בחוק הפלילי. רפואה ומשפט, 27, 341-347.
אלמגור, מ' (2006). מדריך MMPI-2 העברי. ירושלים: סייקטק.
אלמגור, מ', וארליך, ד' (2011). הערכת מסוגלות הורית בהחלטה לגבי משמורת ילדים ומקומו ל הפסיכולוג הקליני: האם השתנו דברים? בעקבות אלמגור (1999). אצל יגיל, ד' וזכי, מ' (עורכים). סוגיות יישומיות בפסיכולוגיה משפטית. תל-אביב: הוצאת פרובוק.
אלמגור, מ', וגוטר, ל' (2001). השימוש המשפטי במבחני הערכת אישיות. רפואה ומשפט, גיליון מיוחד, 341-347.
Almagor, M., & Koren, D. (2001). The adequacy of the MMPI-2 Harris-Lingoes subscales: A cross-cultural factor analytic study of scales D, Hy, Pd, Pa, Sc, and Ma. Psychological Assessment, 13, 199-215.
Brown, T. A., Chorpita, B. F., & Barlow, D. H. (1998). Structural relationships among dimensions of the DSM-IV anxiety and mood disorders and dimensions of negative affect, positive affect, and autonomic arousal. Journal of Abnormal Psychology, 107, 179-192.
Chorpita, B. F., Albano, A. M., & Barlow, D. H. (1998). The structure of negative emotions in a clinical sample of children and adolescents. Journal of Abnormal Psychology, 107, 74-85.
Clark, L. A., & Watson, D. (1991). Tripartite model of anxiety and depression: Psychometric evidence and taxonomic implications. Journal of Abnormal Psychology, 100, 316-336.
First, M. B., Gibbon, M., Spitzer, R. L., Williams, J. M. W., & Benjamin, L. S. (1997). Structured clinical interview nfor DSM-IV Axis II personality disorders-SCID-II, Washington, DC: American Psychiatric Association.
Frank, J. D. 1974. Persuasion and healing: A comparative study of psychotherapy. Rev. Ed., Baltimore, MD: Johns Hopkins University Press.
Groth-Marnat, G. (2009). Handbook of psychological assessment, 5th Ed. New York: Wiley.
Hunsley, J., & E. J. Mash (200). Evidence-based assessment. New York: Oxford University Press.
Hunsley, J., & E. J. Mash (2008). Developing criteria for evidence-based assessment: An introduction to assessment that work. In J. Hunsley and E. J. Mash (Eds.). A Guide to Assessment that Work, (pp. 3-14). New York: Oxford.
Kazdin, A. (2010). Research designs in clinical psychology, 4th Ed. Boston: Allyn & Bacon.
Kendler, K. S., & Gardner, C. O. Jr. (1998). Boundaries of major depression: An evaluation of DSM-IV criteria. American Journal of Psychiatry, 155, 172-177.
Kendler, K. S., Heath, A. C., Martin, N. G., & Eaves, L. J. (1987). Symptoms of anxiety and symptoms of depression: Same genes, different environments? Archives of General Psychiatry, 44, 451-457.
Lilienfeld, S. O., Waldman, I. D., & Israel, A. C. (1994). A Critical Examination of the Use of the Term and Concept of Comorbidity in Psychopathology Research. Clinical Psychology 1, 71-83.
Lambert, M. J. (2003). Bergin and Garfield's Handbook of psychotherapy and behavior change, 5th Ed. New York: Wiley.
Martin, M., & Barlow, D. H. (2010). Handbook of assessment and treatment planning for psychological disorders. New York: Guilford Press.
Mineka, S., Watson, D., & Clark, L. A. (1998).Comorbidity of Anxiety and Unipolar Mood Disorders. Annual review of Psychology, 49, 377-418.
Norcross, J. C., Koocher, G. P., and Garofalo, A. (2006). Discredited psychological treatments and tests: A Delphi poll. Professional Psychology: Research and Practice, 37, 515-522.
Paul, G. L. (1966). Insight versus desensitization in psychotherapy: An experiment in anxiety reduction. Stanford, CA: Stanford University Press.
Spring, B. (2007). Evidence-Based Practice in Clinical Psychology: What it is,, why it matters: What you need to know. Journal of Clinical Psychology, 63, 611–631.
Tellegen, A., Ben-Porath, Y. S., McNulty, J. L., Arbisi, P. A., Graham, J. R., & Kaemmer, B. (2003). The MMPI-2 Restructured Clinical (RC) Scales: Development, validation, and interpretation. Minneapolis: University of Minnesota Press.
Walsh, T. B. (2007). DSM-V from the perspective of DSM-IV experience. International Journal of Eating Disorders, 40, 53-57.
Watson, D. (2005). Rethinking the mood and anxiety disorders: A quantitative hierarchical model for DSM-V. Journal of Abnormal Psychology, 114, 522-536.
