Протокол разработки типологических тестов

Назначение #

Протокол определяет, как Before We Build должен разрабатывать, рецензировать, валидировать и интерпретировать инструменты для соционики, психософии и темпористики.

Целевой «тип» — это модельная гипотеза о восприятии и организации опыта, а не тип личности. Предполагаемая природная предрасположенность — отдельная непроверенная гипотеза. См. Переосмысление типологий.

Он нужен, потому что типологический тест легко создаёт чрезмерную уверенность: точный на вид опросник может измерять социальную желательность, стереотипы сообщества, вербальный стиль, настроение или прежнее самотипирование вместо целевого конструкта.

Цель — переводить типологические гипотезы в измеримые конструкты, сохраняя эмпирическую осторожность.

Область применения #

Протокол относится к:

• опросникам самоотчёта;
• формам наблюдательской оценки;
• схемам кодирования интервью;
• сценарным тестам;
• предложениям поведенческих заданий;
• гибридным инструментам типирования.

Он не предполагает, что традиционные категории типов уже валидны. Валидация должна происходить на уровне конструктов, шкал, профилей и правил решений.

Балл индивидуального типологического инструмента не является баллом совместимости пары. Он может только суммировать свидетельства ответов в пользу конструкта или гипотезы о типе; его нельзя превращать в вердикт о паре без отдельно определённой и валидированной модели исхода, которой у Before We Build сейчас нет.

Рамка конструктов Before We Build #

Вся разработка тестов сохраняет трёхсистемную рамку проекта:

• Соционика → латентные процессы отбора, сжатия, вывода и обновления частичных моделей одной общей реальности;
• Психософия → латентные процессы синтеза и анализа в действии;
• Темпористика → латентные процессы абдукции, индукции и дедукции во временном/экзистенциальном опыте.

Это рабочие гипотезы, а не установленные психологические факты.

Соционический инструмент должен раздельно собирать свидетельства по аспектным операциям и позиционным режимам Модели A, охватывать отбор, сжатие, вывод и обновление, а самоотчёт считать вспомогательным. Системная спецификация дана в Спецификация теста по соционике и Соционика как гипотеза о латентном моделировании реальности.

Рекомендуемое распределение экспертных ролей #

Before We Build должен использовать единый психометрический процесс, а не отдельных психометристов для каждой типологии.

Эксперты предметных областей:

• Обзор соционики / исследователь соционики для конструктов информационного моделирования;
• Обзор психософии / исследователь психософии для конструктов приоритетов действия;
• Модель темпористики / исследователь темпористики для временных/экзистенциальных конструктов.

Почему не нужны отдельные специалисты по тестам каждой типологии #

Психометрические стандарты общие для всех систем:

• определение конструкта;
• ясность заданий;
• надёжность;
• валидность;
• инвариантность;
• калибровка;
• контроль смещений;
• сообщение неопределённости.

Предпочтительная структура:

• централизованные психометрические стандарты;
• распределённая предметная рецензия соционики, психософии и темпористики.

Повторяющуюся проверку тестов и банков заданий координирует typology-test-evaluation-expert как слой безопасности. Он не заменяет психометрию, статистику, оговорки, этику или предметных экспертов. Если поддержка банка заданий станет большой постоянной нагрузкой, можно предложить psychometric-item-bank-steward.

Основные принципы разработки #

• Измерять латентные конструкты, а не фольклорные метки.
• Предпочитать наблюдаемые тенденции утверждениям об идентичности.
• Отделять теоретические гипотезы от валидированных результатов.
• Избегать детерминированных выводов о личности, совместимости, роли и жизненном исходе.
• Считать присвоение типа модельным выводом, а не прямым наблюдением.
• Сохранять размерные баллы до вывода категорий.
• Не давать точные проценты уверенности без калибровки на валидационных данных.

Шаблон определения конструкта #

Каждая шкала или подшкала документирует:

1. Измеряемый конструкт - определение простым языком; - исходная типологическая система; - ожидаемые проявления; - правдоподобные противоположные или соседние конструкты.

2. Почему он важен - теоретическая роль в Before We Build; - ожидаемая связь с профилями, поведением, гипотезами о совместимости или роли.

3. Наблюдаемые индикаторы - повторяющиеся выборы; - паттерны внимания; - привычки решений; - нарративный стиль; - паттерны взаимодействия.

4. Исключения - чем конструкт не является; - какие соседние конструкты могут загрязнить измерение.

Правила написания заданий #

Задания должны:

• описывать конкретные тенденции или повторяющиеся паттерны;
• по возможности избегать типологического жаргона;
• избегать формулировок, нагруженных престижем;
• не вынуждать отождествляться с рассказом о типе;
• не объединять два вопроса в одном;
• избегать метафизической уверенности;
• не подавать очевидную подсказку «я — тип X»;
• быть понятными в разных языках и уровнях образования.

Контрольный список рецензии заданий #

Каждое задание проверяется на:

• загрязнение конструкта;
• склонность соглашаться;
• социальную желательность;
• сложность чтения;
• трудность перевода;
• подсказки самотипирования;
• чрезмерную абстрактность;
• культурную нагруженность;
• дисбаланс эмоциональной окраски.

Рекомендуемая смесь заданий #

По возможности использовать несколько форматов:

• прямые задания самоотчёта;
• сценарные задания;
• вынужденный выбор между альтернативами, когда обосновано;
• версии наблюдательского отчёта для видимых тенденций;
• вопросы интервью;
• необязательные поведенческие индикаторы, если осуществимо.

Ни одного формата недостаточно для окончательного вывода о типе.

Жизненный цикл задания #

1. Извлечение теории — преобразовать типологические утверждения в кандидаты латентных конструктов.
2. Операциональное определение — указать, что будет свидетельством конструкта.
3. Начальный пул — создать широкое избыточное покрытие заданиями.
4. Экспертная рецензия — предметная и психометрическая проверка формулировки, теории и загрязнения.
5. Когнитивное предтестирование — интервью об понимании и процессе ответа.
6. Пилотное исследование — распределения, пропуски, дисперсия, базовая размерность.
7. Сокращение заданий — удалить слабые, избыточные, нестабильные или неоднозначные.
8. Валидационное исследование — надёжность, структура, конвергентная/дискриминантная валидность, правила решений.
9. Репликация — повторить на новых выборках, контекстах, языках и режимах.
10. Постоянный мониторинг — отслеживать дрейф, смещения подгрупп, ухудшение калибровки и злоупотребление.

Рекомендуемая архитектура измерения #

Предпочтительный порядок:

1. Сначала строить шкалы конструктов.
2. Затем выводить профили.
3. В последнюю очередь выводить типоподобные классификации, если это обосновано.

Так слабые размерные данные не будут преждевременно превращаться в жёсткие категории типов.

Рамка валидации #

Проверки надёжности #

• внутренняя согласованность там, где уместно;
• стабильность при повторном тестировании;
• межэкспертная надёжность для инструментов наблюдателей/кодировщиков;
• проверка параллельных форм, если используются параллельные наборы.

Проверки валидности #

• Содержательная валидность: экспертное сопоставление заданий с конструктами.
• Конвергентная валидность: ожидаемая теорией связь с соседними мерами.
• Дискриминантная валидность: отделение от настроения, статуса, словесного стиля, социальной желательности, широких черт и идеологии.
• Критериальная валидность: связь с релевантным поведением или оценками.
• Прогностическая валидность: осторожная проверка будущих исходов, когда обоснована.

Структурные проверки #

• размерность / факторная структура;
• различающая способность задания;
• локальная зависимость;
• функционирование подгрупп;
• стабильность калибровки между выборками.

Проверки инвариантности #

Проверять между:

• языками;
• культурами;
• гендерами;
• возрастами;
• контекстами тестирования;
• режимами самоотчёта и наблюдательского отчёта.

Угрозы валидности #

• круговая проверка через прежние присвоения типов;
• загрязнение конструктами широких черт, интеллекта, статуса, настроения или идеологии;
• смещение самоотчёта из-за знакомства с типологиями;
• характеристики требования в типологических сообществах;
• переобучение на малых выборках энтузиастов;
• дрейф перевода между языками;
• раздувание категорий из слабых размерных данных.

Правила интерпретации #

• Сообщать данные как свидетельства измеренных тенденций, а не доказательство неизменной сущности.
• Не называть классификации клиническими диагнозами.
• Не выводить исходы совместимости без прямых критериальных исследований.
• Не превращать слабовалидные шкалы в высокоуверенные метки типов.
• Не использовать баллы теста как единственное основание рекомендаций с высокими ставками.
• Помечать статус данных: подтверждено источником, экспертная гипотеза, пилотный результат, валидационный результат или предположение.

Минимальный порог данных до публичного использования #

До рабочего развёртывания требуются:

• документированные определения конструктов;
• пилотно проверенный банк заданий;
• приемлемая надёжность;
• хотя бы одна независимая валидационная выборка;
• интерпретационный язык, проверенный на оговорки;
• этическая рецензия, если собираются персональные данные или результат влияет на рекомендации.

Этические требования #

Этическая рецензия обязательна при данных реальных участников или использовании теста для подбора, карьеры, военной сферы, знакомств, команд и других рекомендаций, влияющих на возможности.

Минимум:

• информированное согласие;
• минимизация данных;
• политика удаления и хранения;
• разделение сырых и производных данных;
• отсутствие скрытого профилирования;
• отсутствие чувствительных выводов без явной рецензии;
• запрет детерминированного или карательного использования типологических результатов.

Рекомендуемые следующие шаги #

1. Определить карты конструктов соционики, психософии и темпористики.
2. Создать широкие банки заданий без типологического жаргона.
3. Провести предметную экспертную рецензию.
4. Провести психометрическую рецензию заданий.
5. Провести когнитивные интервью.
6. Выполнить пилот на разнородных выборках.
7. Проверить размерную структуру и надёжность.
8. Оценить конвергентную/дискриминантную валидность.
9. Проверить инвариантность между языками и группами.
10. Только затем оценивать полезность классификации.

См. также #

• Программа валидации — общая рамка валидации
• Дорожная карта измерения совместимости — предпосылки будущего измерения пары
• Методы типирования по психософии — существующие методы типирования психософии
• Соционическая Модель A — основная страница Модели A
• Модель психософии Афанасьева — структура модели психософии
• Модель темпористики — структура модели темпористики
• Эпистемический статус и пределы вывода — позиционирование исследования и пределы вывода