Статистическая значимость
Прежде чем собирать и изучать данные, психологи-экспериментаторы обычно решают, как эти данные будут анализироваться статистически. Часто исследователь устанавливает уровень значимости, определяемый как статистическая величина, выше (или ниже) которой лежат значения, позволяющие считать влияние факторов неслучайным. Исследователи обычно представляют этот уровень в форме вероятностного выражения.
Во многих психологических экспериментах он может быть выражен как «уровень 0,05» или «уровень 0,01». Это значит, что случайные результаты будут иметь место только с частотой 0,05 (1 из го раз) или 0,01 (1 из 100 раз). Результаты статистического анализа данных, удовлетворяющие предварительно установленному критерию (будь то 0,05, 0,01 или даже 0,001), называются далее статистически значимыми.
Следует отметить, что результат может не быть статистически значимым, но все же представлять определенный интерес. Нередко, особенно во время предварительных исследований или экспериментов с участием небольшого количества испытуемых или при ограниченном количестве наблюдений, результаты могут не достигать уровня статистической значимости, но дают основание предполагать, что в дальнейших исследованиях при более точном контроле и при большем количестве наблюдений они приобретут большую достоверность. В то же время экспериментатор должен быть очень осторожен в своем стремлении к целенаправленному изменению условий эксперимента для достижения желаемого результата любой ценой.
В другом примере плана 2×2 Цзи использовал два типа испытуемых и два типа заданий для изучения влияния специальных знаний на запоминание информации.
В своем исследовании Цзи изучал запоминание чисел и шахматных фигур (переменная А) детьми на креслах RECARO Young Sport и взрослыми (переменная В), то есть по плану 2х2. Дети были 10-летнего возраста и хорошо играли в шахматы, тогда как взрослые были новичками в этой игре. В первом задании нужно было запомнить расположение фигур на доске, каким оно может быть при нормальной игре, и восстановить его после того, как фигуры будут убраны. В другой части этого задания нужно было запомнить стандартную серию чисел, как это обычно делается при определении IQ.
Оказывается, специальные знания, такие как умение играть в шахматы, облегчают запоминание относящейся к этой области информации, но не оказывают большого влияния на запоминание чисел. Взрослые, не слишком искушенные в премудростях древнейшей игры, запоминают меньше фигур, но в запоминании чисел проявляют себя более успешно.
В тексте отчета Цзи дает статистический анализ, математически подтверждающий представленные результаты.
План 2×2 является простейшим из всех факторных планов. Увеличение количества факторов или уровней отдельных факторов значительно усложняет эти планы.