Как оценить качество психодиагностической методики
В хороших институтах уделяют большое внимание классической психометрической теории, которая гласит, что придуманный кем-то тест должен быть проверен на надежность (насколько точно он измеряет) и валидность (он вообще измеряет то, что задумано или что-то другое). Часто психологи и даже разработчики, и авторы руководств к тестам напрочь забывают про эти требования, когда выходят из-под гнета кафедры. В итоге, на практике используют что угодно, доверяя любым написанным книжкам, и уж тем более авторитету авторов, имеющих звание профессора. А ведь научное звание ничего не гарантирует, и от слепого доверия авторитетам предостерегал ещё Ф. Бэкон в 17 веке.
Давайте попробуем разобраться, какие есть признаки хороших и плохих методик. Практикующие психологи вполне могут оценить качество и отсеять сомнительные варианты, откровенно невалидные методы. Вырабатывайте критическое отношение к инструментам, которые используете, от этого зависит ваш авторитет и компетентность.
Основная информация о методике содержится в практическом руководстве или в методичке. Оценить её качество можно по нескольким критериям:
1. Список литературы. В конце книги всегда есть список литературы, так вот, изучите его повнимательнее, это очень важно. Источников должно быть как минимум 15-20, они должны быть научными (в основном рецензируемые журналы, минимум монографий). Никаких популярных книг типа «Тайны подсознания» или "100 лучших тестов". Если видите список из 8 источников с сомнительными названиями или автор в основном ссылается на себя – не стоит и читать.
2. Реальное время создания. Не смотрите год издания на первых страницах, он указывает на издание этого бумажного экземпляра. Книжка может быть написана в середине советского периода и переиздается 2025 годом. Маркером старого текста будет вышедшая из обихода стигматизирующая (а проще говоря, оскорбительная) терминология, например: олигофрен, дебильность, шизофреник, органик и т.п. (звучит дико). Список литературы тоже поможет, посмотрите, какие там года статей, на которые ссылается автор. Самый поздний год указывает на период, в котором, скорее всего, реально создавалось руководство. Понятно, что за последние 30-40 лет появилось огромное количество новых исследований по методу, а вы будете использовать давно не актуальные данные. В России есть методики, которые красиво упакованы, стоят пару десятков тысяч рублей, а внутри старинные тексты советского периода, увы.
3. Рецензенты. Любое научное издание (руководство, статья, монография) должно быть рецензировано независимыми учеными, специализирующимися в этой конкретной области. Фамилии и должности рецензентов указаны на первой странице книги с выходными данными. Независимый рецензент – значит, он не работает вместе с автором, не проводит с ним совместные исследования; специалист в области – значит, он имеет работы в узкой области изучения агрессивности или нарушений мышления, смотря что измеряет методика.
4. Автор. А он вообще есть? Вы не поверите, но на Озоне и WB есть безымянные руководства к патопсихологическим методикам, внутри компиляция отрывков из работ советских мэтров в перемешку с пассажами неизвестного автора. Честным изданиям нечего скрывать, первая страница с выходными данными, где указаны авторы и рецензенты, должна быть публично доступна.
5. Стимульный материал. До сих пор есть картинки давностью 50 и более лет. Иногда это не страшно, например, в знаменитых рисунках на установление последовательности событий в тесте Векслера. Но иногда это мешает работе, например, в старинных вариантах классификации предметов, предлагая испытуемым чернильницу, которая не узнаваема молодым поколением или стационарный телефон, который не узнают дети.
6. Валидность. Если методика предполагает количественный анализ, то в руководстве должны быть ясные статистические критерии надежности (альфа Кронбаха) и валидности (любые коэффициенты корреляции). Некоторые авторы сердечно любят и верят в свои разработки, они даже частично соблюдают научные правила издания своих работ (пункты 1-4). Но вот беда, их методики имеют подтверждения ненадежности и невалидности. Об этом не будет написано в руководстве, автор умолчит об этом или он даже не знает, что такие исследования появились. Придется посмотреть сторонние источники, не поленитесь и будете самым осведомленным психологом среди коллег! Не рекомендуем читать PsyLab, там свалена разная информация без особого ценза по качеству. Лучше открыть Википедию, а ещё круче найти пару статей на тему этого метода (ГуглАкадемия, КиберЛенинка) и проверить, что там пишут.
Горячо любимый российскими психологами тест Люшера – яркий пример страстной любви и полной невалидности. Есть и другие известные методики сильно сомнительного качества, дело в том, что честное слово именитого автора не считается доказательством, нужны опубликованные работы в хороших рецензируемых журналах. Это важно, потому что есть журналы, которые с виду научные, но они публикуют любой связный текст. Рейтинг лучших научных журналов по психологии приводим ниже. Этим журналам можно доверять.
Психологические методики это не бытовая техника, где высокая конкуренция, огромный спрос и понятны критерии оценки качества. В научных работах по психологии непросто разобраться, поэтому можно встретить что угодно. Отчасти это результат безответственности производителей и продавцов, которые могут не иметь отношения к научным исследованиям, их волнует только один фактор – спрос.
Вы достойны качественных материалов и достоверной информации. Не верьте громким названиям и известным фамилиям. Сомневайтесь и проверяйте!