Протокол розроблення типологічних тестів

Призначення #

Протокол визначає, як Before We Build має розробляти, рецензувати, валідувати й інтерпретувати інструменти для соціоніки, психософії та темпористики.

Цільовий «тип» — це модельна гіпотеза про сприйняття й організацію досвіду, а не тип особистості. Передбачувана природна схильність — окрема неперевірена гіпотеза. Див. Переосмислення типологій.

Він потрібен, бо типологічний тест легко створює надмірну впевненість: точний на вигляд опитувальник може вимірювати соціальну бажаність, стереотипи спільноти, вербальний стиль, настрій або попереднє самотипування замість цільового конструкту.

Мета — перекладати типологічні гіпотези у вимірювані конструкти, зберігаючи емпіричну обережність.

Сфера застосування #

Протокол стосується:

• опитувальників самозвіту;
• форм спостережницької оцінки;
• схем кодування інтерв'ю;
• сценарних тестів;
• пропозицій поведінкових завдань;
• гібридних інструментів типування.

Він не припускає, що традиційні категорії типів уже валідні. Валідація має відбуватися на рівні конструктів, шкал, профілів і правил рішень.

Бал індивідуального типологічного інструмента не є балом сумісності пари. Він може лише підсумовувати свідчення відповідей на користь конструкту або гіпотези про тип; його не можна перетворювати на вердикт про пару без окремо визначеної й валідованої моделі результату, якої Before We Build зараз не має.

Рамка конструктів Before We Build #

Усе розроблення тестів зберігає трисистемну рамку проєкту:

• Соціоніка → латентні процеси відбору, стиснення, висновування й оновлення часткових моделей однієї спільної реальності;
• Психософія → латентні процеси синтезу й аналізу в дії;
• Темпористика → латентні процеси абдукції, індукції та дедукції в часовому/екзистенційному досвіді.

Це робочі гіпотези, а не встановлені психологічні факти.

Соціонічний інструмент має окремо збирати свідчення щодо аспектних операцій і позиційних режимів Моделі A, охоплювати відбір, стиснення, висновування й оновлення, а самозвіт вважати допоміжним. Системну специфікацію подано в Специфікація тесту із соціоніки і Соціоніка як гіпотеза про латентне моделювання реальності.

Рекомендований розподіл експертних ролей #

Before We Build має використовувати єдиний психометричний процес, а не окремих психометристів для кожної типології.

Експерти предметних сфер:

• Огляд соціоніки / дослідник соціоніки для конструктів інформаційного моделювання;
• Огляд психософії / дослідник психософії для конструктів пріоритетів дії;
• Модель темпористики / дослідник темпористики для часових/екзистенційних конструктів.

Чому не потрібні окремі фахівці з тестів кожної типології #

Психометричні стандарти спільні для всіх систем:

• визначення конструкту;
• ясність завдань;
• надійність;
• валідність;
• інваріантність;
• калібрування;
• контроль зміщень;
• повідомлення невизначеності.

Бажана структура:

• централізовані психометричні стандарти;
• розподілена предметна рецензія соціоніки, психософії й темпористики.

Повторювану перевірку тестів і банків завдань координує typology-test-evaluation-expert як шар безпеки. Він не замінює психометрію, статистику, застереження, етику чи предметних експертів. Якщо підтримка банку завдань стане великим постійним навантаженням, можна запропонувати psychometric-item-bank-steward.

Основні принципи розроблення #

• Вимірювати латентні конструкти, а не фольклорні мітки.
• Віддавати перевагу спостережуваним тенденціям перед твердженнями про ідентичність.
• Відокремлювати теоретичні гіпотези від валідованих результатів.
• Уникати детермінованих висновків про особистість, сумісність, роль і життєвий результат.
• Вважати присвоєння типу модельним висновком, а не прямим спостереженням.
• Зберігати вимірні бали до виведення категорій.
• Не давати точних відсотків упевненості без калібрування на валідаційних даних.

Шаблон визначення конструкту #

Кожна шкала або підшкала документує:

1. Вимірюваний конструкт - визначення простою мовою; - вихідна типологічна система; - очікувані прояви; - правдоподібні протилежні або сусідні конструкти.

2. Чому він важливий - теоретична роль у Before We Build; - очікуваний зв'язок із профілями, поведінкою, гіпотезами про сумісність або роль.

3. Спостережувані індикатори - повторювані вибори; - патерни уваги; - звички рішень; - наративний стиль; - патерни взаємодії.

4. Виключення - чим конструкт не є; - які сусідні конструкти можуть забруднити вимірювання.

Правила написання завдань #

Завдання мають:

• описувати конкретні тенденції або повторювані патерни;
• за можливості уникати типологічного жаргону;
• уникати формулювань, навантажених престижем;
• не змушувати ототожнюватися з оповіддю про тип;
• не об'єднувати два питання в одному;
• уникати метафізичної впевненості;
• не подавати очевидну підказку «я — тип X»;
• бути зрозумілими в різних мовах і на різних рівнях освіти.

Контрольний список рецензії завдань #

Кожне завдання перевіряється на:

• забруднення конструкту;
• схильність погоджуватися;
• соціальну бажаність;
• складність читання;
• складність перекладу;
• підказки самотипування;
• надмірну абстрактність;
• культурну навантаженість;
• дисбаланс емоційного забарвлення.

Рекомендована суміш завдань #

За можливості використовувати кілька форматів:

• прямі завдання самозвіту;
• сценарні завдання;
• вимушений вибір між альтернативами, коли обґрунтовано;
• версії спостережницького звіту для видимих тенденцій;
• питання інтерв'ю;
• необов'язкові поведінкові індикатори, якщо здійсненно.

Жодного формату недостатньо для остаточного висновку про тип.

Життєвий цикл завдання #

1. Видобування теорії — перетворити типологічні твердження на кандидатів латентних конструктів.
2. Операційне визначення — зазначити, що буде свідченням конструкту.
3. Початковий пул — створити широке надлишкове покриття завданнями.
4. Експертна рецензія — предметна й психометрична перевірка формулювання, теорії та забруднення.
5. Когнітивне претестування — інтерв'ю про розуміння й процес відповіді.
6. Пілотне дослідження — розподіли, пропуски, дисперсія, базова вимірність.
7. Скорочення завдань — видалити слабкі, надлишкові, нестабільні чи неоднозначні.
8. Валідаційне дослідження — надійність, структура, конвергентна/дискримінантна валідність, правила рішень.
9. Реплікація — повторити на нових вибірках, контекстах, мовах і режимах.
10. Постійний моніторинг — відстежувати дрейф, зміщення підгруп, погіршення калібрування та зловживання.

Рекомендована архітектура вимірювання #

Бажаний порядок:

1. Спочатку будувати шкали конструктів.
2. Потім виводити профілі.
3. Насамкінець виводити типоподібні класифікації, якщо це обґрунтовано.

Так слабкі вимірні дані не перетворяться передчасно на жорсткі категорії типів.

Рамка валідації #

Перевірки надійності #

• внутрішня узгодженість там, де доречно;
• стабільність під час повторного тестування;
• міжекспертна надійність для інструментів спостерігачів/кодувальників;
• перевірка паралельних форм, якщо використовуються паралельні набори.

Перевірки валідності #

• Змістова валідність: експертне зіставлення завдань із конструктами.
• Конвергентна валідність: очікуваний теорією зв'язок із сусідніми вимірюваннями.
• Дискримінантна валідність: відокремлення від настрою, статусу, словесного стилю, соціальної бажаності, широких рис та ідеології.
• Критеріальна валідність: зв'язок із релевантною поведінкою чи оцінками.
• Прогностична валідність: обережна перевірка майбутніх результатів, коли обґрунтована.

Структурні перевірки #

• вимірність / факторна структура;
• розрізнювальна здатність завдання;
• локальна залежність;
• функціонування підгруп;
• стабільність калібрування між вибірками.

Перевірки інваріантності #

Перевіряти між:

• мовами;
• культурами;
• гендерами;
• віковими групами;
• контекстами тестування;
• режимами самозвіту й спостережницького звіту.

Загрози валідності #

• кругова перевірка через попередні присвоєння типів;
• забруднення конструктами широких рис, інтелекту, статусу, настрою або ідеології;
• зміщення самозвіту через знайомство з типологіями;
• характеристики вимоги в типологічних спільнотах;
• перенавчання на малих вибірках ентузіастів;
• дрейф перекладу між мовами;
• роздування категорій зі слабких вимірних даних.

Правила інтерпретації #

• Повідомляти дані як свідчення виміряних тенденцій, а не доказ незмінної сутності.
• Не називати класифікації клінічними діагнозами.
• Не виводити результати сумісності без прямих критеріальних досліджень.
• Не перетворювати слабовалідні шкали на високовпевнені мітки типів.
• Не використовувати бали тесту як єдину основу рекомендацій із високими ставками.
• Позначати статус даних: підтверджено джерелом, експертна гіпотеза, пілотний результат, валідаційний результат або припущення.

Мінімальний поріг даних до публічного використання #

До робочого розгортання потрібні:

• документовані визначення конструктів;
• пілотно перевірений банк завдань;
• прийнятна надійність;
• хоча б одна незалежна валідаційна вибірка;
• інтерпретаційна мова, перевірена на застереження;
• етична рецензія, якщо збираються персональні дані або результат впливає на рекомендації.

Етичні вимоги #

Етична рецензія обов'язкова за даних реальних учасників або використання тесту для добору, кар'єри, військової сфери, знайомств, команд та інших рекомендацій, що впливають на можливості.

Мінімум:

• поінформована згода;
• мінімізація даних;
• політика видалення й зберігання;
• відокремлення сирих і похідних даних;
• відсутність прихованого профілювання;
• відсутність чутливих висновків без явної рецензії;
• заборона детермінованого чи карального використання типологічних результатів.

Рекомендовані наступні кроки #

1. Визначити карти конструктів соціоніки, психософії й темпористики.
2. Створити широкі банки завдань без типологічного жаргону.
3. Провести предметну експертну рецензію.
4. Провести психометричну рецензію завдань.
5. Провести когнітивні інтерв'ю.
6. Виконати пілот на різнорідних вибірках.
7. Перевірити вимірну структуру й надійність.
8. Оцінити конвергентну/дискримінантну валідність.
9. Перевірити інваріантність між мовами й групами.
10. Лише потім оцінювати корисність класифікації.

Див. також #

• Програма валідації — загальна рамка валідації
• Дорожня карта вимірювання сумісності — передумови майбутнього вимірювання пари
• Методи типування за психософією — наявні методи типування психософії
• Соціонічна Модель A — основна сторінка Моделі A
• Модель психософії Афанасьєва — структура моделі психософії
• Модель темпористики — структура моделі темпористики
• Епістемічний статус і межі висновку — позиціонування дослідження й межі висновку