СТАТИСТИЧЕСКИЙ АНАЛИЗ ДАННЫХ: КОРРЕКТНОЕ ОПИСАНИЕ МЕТОДОВ И ТИПОВЫЕ ОШИБКИ СТУДЕНТОВ

Использование статистических методов обработки данных является обязательным условием планирования исследования, написания и успешной защиты научной работы студентами. Так, в рекомендациях председателя Государственной экзаменационной комиссии д.б.н. Ю.В. Герасимова (ИБВВ РАН) по итогам защиты ВКР бакалаврами на факультете биологии и экологии ЯрГУ в 2015 году отмечалось, в качестве замечания, отсутствие тщательной статистической обработки материалов студентами, необходимость применения методов многомерной статистики.

Следует различать собственно правильное применение статистических методов при обработке собранного материала в процессе исследования и корректное описание использованных методов, а также результатов их применения в соответствующих разделах научной работы. Первое изучается в рамках специальных курсов по математическим методам в биологии, экологии и химии, второе – будет изложено в данном разделе.

Описание статистических методов и изложение результатов их применения приводятся в следующих разделах научной работы: «Материалы и методы», «Результаты исследования», «Обсуждение результатов».

В первую очередь, остановимся на разделе «Материалы и методы». Непременным компонентом этого раздела является описание конкретных методов статистической обработки данных, для чего целесообразно выделить отдельный подраздел «Математическая обработка данных» или «Статистический анализ данных». Внутри него, перечисляются методы статистического анализа, и кратко описывается, с какой целью они применялись в научной работе. В этом подразделе не нужно приводить описание методов научного исследования (наблюдение, эксперимент), а также различных методик получения первичных количественных данных об объекте исследования.

В подразделе «Статистический анализ данных» приводятся данные об объеме выборок, которые были использованы при математической обработке материала (поскольку не весь собранный материал может быть задействован в статистическом анализе). Следует указать способы формирования выборок из генеральной совокупности для оценки их репрезентативности (рандомизированный, систематический, типический отбор и тд.). Для наглядности данные об использованных в работе показателях и объеме выборок можно свести в таблицу:

Таблица 4.1.

Объем собранного в исследовании материала

Уместно дать и буквенное обозначение применяемых в работе статистических показателей. Например, выборочные характеристики, приводимые далее в таблицах, имеют следующие обозначения: М – среднее значение, s – стандартное (среднеквадратичное) отклонение, m – стандартная ошибка среднего значения, C_V – коэффициент вариации, n – объем анализируемой выборки, р – достигнутый уровень значимости. Затем в следующих разделах работы при необходимости эти буквенные обозначения показателей без дополнительной расшифровки удобно использовать в таблицах и тексте работы.

Основной частью подраздела «Статистический анализ данных» является краткое описание использованных в работе статистических процедур. Приводим ниже пример такого описания.

«Статистическая обработка данных полевых наблюдений и экспериментов включала вычисление описательных статистик (среднее арифметическое, стандартная ошибка и 95 % доверительный интервал для среднего значения, коэффициент вариации, лимиты), построение вариационных рядов и гистограмм распределения частот, применение критериев достоверности статистических оценок, дисперсионного, корреляционного, регрессионного и кластерного методов анализа. Для обнаружения статистически значимых различий между средними значениями признака в двух независимых выборках применялся t-критерий Стьюдента (двусторонний вариант) (two-tailed Student t-test) при условии нормального распределения и статистически незначимого отличия дисперсий сравниваемых признаков. При несоблюдении данных условий использовался ранговый U-критерий Манна-Уитни (Mann-Whitney U-test). Нормальность распределения признаков оценивалась с помощью критерия Шапиро-Уилка (W Shapiro-Wilk test). Статистическая значимость различий выборочных дисперсий сравниваемых признаков определялась по F-критерию Фишера (F-test). Однофакторный дисперсионный анализ (ANOVA) использовался с учетом условий его применимости (нормальность распределения результативного признака, отсутствие статистически значимых различий дисперсий в группах). Последнее ограничение проверялось с помощью критериев Левена и Браун-Форсайта (Levene test, Brown-Forsythe test). Если оба условия применимости не соблюдались, а преобразование исходных данных (логарифмирование) не приближало их распределение к нормальному, то использовался непараметрический аналог – критерий Краскела-Уоллиса (Kruskal-Wallis H- test). В случае отвержения по результатам дисперсионного анализа нулевой гипотезы проводилось множественное апостериорное сравнение отдельных пар групповых средних значений с помощью критерия наименьшей существенной разности (LSD test) и критерия Шеффе (Scheffe test). При проведении корреляционного анализа в случае нормальности распределения переменных и при наличии линейной связи вычислялся коэффициент корреляции Пирсона (r). При несоблюдении данных условий предпочтение отдавалось коэффициенту корреляции рангов Спирмена (r_s). Для подбора теоретической функции, наиболее точно описывающей эмпирическую связь между показателями, применялся регрессионный анализ. Выбор уравнения регрессии осуществлялся на основе графического анализа с использованием коэффициента детерминации (R²). Оценка статистической значимости отличия выборочного коэффициента регрессии от нуля производилась с помощью t-критерия Стьюдента, проверка адекватности выбранной линии регрессии эмпирическим данным – с помощью дисперсионного анализа. В кластерном анализе применялись евклидово расстояние и метод полной связи. В работе в качестве критического уровня значимости принято значение р = 0.05. Статистический анализ данных проводился в программе Statistica 10 (StatSoft Inc., США)». Другие примеры корректного описания статистических методов можно найти на сайте БИОМЕТРИКА [http://www.biometrica.tomsk.ru/kuzbass10.htm].

Теперь кратко выделим основные моменты, на которые следует обращать внимание при описании методов статистического анализа:

1. Описание применявшихся в работе статистических методов обязательно должно сопровождаться упоминанием об условиях применимости этих методов к тем данным, которые получены в работе. При этом нужно указывать, каким образом, с помощью каких статистических тестов (критериев) студент проверял условия применимости. Если в результате применения данных тестов получен отрицательный результат по возможности использования конкретного статистического метода для обработки данных, необходимо отметить какие альтернативные (подходящие для обработки имеющихся данных) методы использовались. Чаще всего исследователь, проверяя допущения того или иного метода, стоит перед выбором использования более мощных параметрических тестов или не имеющих, как правило, «жестких» ограничений к применению, но более «грубых» непараметрических тестов.

2. При описании методов статистического анализа обязательно необходимо указывать критическое значение уровня значимости (р), принятое исследователем в работе. Как известно студентам, в научных исследованиях принято оперировать тремя значениями р-уровня (р = 0.05, р = 0.01 и р = 0.001). Для биологических и экологических исследований чаще всего достаточно в качестве критического значения выбрать р = 0.05.

3. При описании общепринято указывать использованный при обработке данных конкретных программный пакет, его версию и производителя. Например: STATISTICA 10 (StatSoft Inc., США), SPSS 19 (SPSS Inc., США), STATGRAPHICSCenturion XVII (Statpoint Technologies, Inc., США), ATTESTAT 12.5 (разработчик Игорь Гайдышев, Россия) и т.д. Наличие подобной информации для рецензента работы означает малую вероятность того, что в работе допущены ошибки, связанные непосредственно с расчетными процедурами при использовании того или иного метода. Очевидно, в свою очередь, для студента важно продемонстрировать рецензенту эту информацию (также как и важно действительно использовать специализированные статистические программы).

4. Использование терминов «достоверность», «достоверность различия», «достоверный коэффициент корреляции» не допускается, вместо них необходимо применять словосочетания «статистическая значимость», «статистически значимые различия», «статистически значимый коэффициент корреляции» (использование слова «значимость» отдельно от термина «статистическая значимость» в контексте описания конкретного статистического метода также недопустимо). Подробнее об этой распространенной ошибке при описании статистических методов можно узнать на сайте БИОМЕТРИКА [http://www.biometrica.tomsk.ru/let1.htm].

5. Названия практически всех статистических методов сопровождаются фамилиями авторов, разработавших данный метод. Поэтому при написании фамилий иностранных авторов следует, во-первых, придерживаться общепринятой транскрипции, во-вторых, в скобках приводить написание фамилии на языке оригинала, поскольку существует путаница в русскоязычной транскрипции фамилий в разных работах (например: критерий Краскела-Уоллиса (критерий Крускала-Уоллиса), критерий Данкана (критерий Дункана), тест Даннетта (тест Дуннетта), критерий Вилкоксона (критерий Уилкоксона)).

6. Во избежание неоднозначных трактовок читателем того, какой же на самом деле метод анализа использовал студент, в описании всегда следует указывать точное название использованного метода (в том числе, его модификации, варианта), а не ограничиваться фразами типа: «применялся корреляционный анализ». Последнее мало что говорит читателю, о том, какой же при этом рассчитывался коэффициент корреляции (Пирсона, Спирмена, Кендалла, Фехнера и т.д.). А это важно, поскольку каждый из них имеет разные ограничения использования, применяется для решения разных задач и зачастую дает разные результаты. Также необходимо учитывать, что похожие названия могут иметь принципиально разные методы статистического анализа. Например, фраза «рассчитывался критерий Фишера» не дает представления о том, какой же тест Фишера действительно применял студент, идет ли речь о F-критерии Фишера или, например, о точном критерии Фишера. Названия похожи, но для специалиста понятно, что методы совершенно разные. Или, при анализе зависимых выборок используется не привычный всем t-критерий Стьюдента, а парный t-критерий Стьюдента. Казалось бы, разница в названии несущественная, а расчеты для двух этих модификаций t-критерия Стьюдента принципиально разные. Кроме того, следует всегда указывать какой вариант критерия (одно- или двусторонний) рассчитывался в работе. Достигнутые уровни значимости для этих двух вариантов различаются, что связано с проверяемой нулевой гипотезой.

7. Недопустимо описание в разделе «Материалы и методы» конкретных методов статистического анализа, результаты использования которых, затем не приводятся в разделах «Результаты исследования» и «Обсуждение результатов».

В разделах работы «Результаты исследования» и «Обсуждение результатов» излагаются результаты применения статистической обработки материала, которые могут быть использованы для подтверждения проверяемых гипотез, доказательства обсуждаемого факта, для выдвижения новых гипотез и т.д. Таким образом, статистическая обработка является инструментом, с помощью которого в исследовании делаются те или иные предположения и формулируются выводы. Корректное представление в тексте работы результатов применения статистических методов также непростая задача. Существуют 3 основные формы представления результатов статистической обработки данных в разделах «Результаты исследования» и «Обсуждение результатов»: текстовая, табличная и графическая.

При описании в текстовой форме обязательно нужно указывать само рассчитанное значение показателя или критерия, объем выборки и точное значение достигнутого р-уровня значимости. Подобный порядок представления в тексте работы статистической информации позволяет рецензенту или читателю работы сделать заключение о степени доверия к выводам, полученным с помощью статистических методов, оценить корректность проведенных расчетов, проверить правильность вывода в отношении нулевой статистической гипотезы. Значения р-уровня следует указывать с точностью до первого отличающегося от нуля знака после запятой; для близких к нулю значений, к примеру, р = 0.00000005, допустима запись р < 0.001. Грубой ошибкой является упоминание в тексте конкретных значений достигнутого р-уровня значимости без указания в работе (разделе «Материалы и методы») статистических критериев, для которых они вычислялись. Приведем пример, каким образом можно встраивать в текст результаты статистического анализа данных: «наличие положительной статистически значимой корреляции между концентрациями цианотоксинов в воде и биомассой видов рода Microcystis (r = 0.96; p = 0.004; n = 20) подтвердило гипотезу о токсигенности цианобактерий рода Microcystis. Биомасса Microcystis spp. в сосудах с добавлением дафний статистически незначимо (критерий Манна-Уитни, U = 8, р = 0.43, n = 5) изменялась относительно таковой в контроле без дафний. Этот результат доказывал неспособность дафний потреблять токсичные виды Microcystis».

При проведении регрессионного анализа конечным результатом является установление уравнения регрессии, которое в тексте записывается также как формулы и другие математические уравнения:

Однако при этом для коэффициентов уравнения регрессии принято указывать рассчитанные стандартные ошибки в круглых скобках, а также давать информацию о величине коэффициента корреляции r (или детерминации – R²), объеме выборки, на основе которой рассчитано уравнение и значении р-уровня для коэффициента корреляции.

Стандартная процедура в любой научной работе – это расчет интервальных оценок для применяемых статистических показателей, например, для средних значений признака. Приведение в тексте работы или в таблицах только лишь рассчитанных средних значений недопустимо. Средние значения и другие статистические показатели всегда должны сопровождаться соответствующими интервальными оценками, такими как, стандартная ошибка, 95% доверительный интервал, лимиты, межквартильный интервал и др. Стандартной формой записи при интервальном оценивании является следующая: «5.2 ± 0.5 мм». Однако частой ошибкой студентов является отсутствие расшифровки тех показателей, которые находятся слева и справа от знака ±. Это необходимо делать либо в разделе «Материалы и Методы», либо в примечаниях под таблицами или в подписях к рисункам.

Табличный способ представления результатов статистического анализа данных хорош тем, что большие массивы статистической информации можно компактно разместить в таблице, не занимая значительного места в самом тексте работы. Частая проблема, которая при этом возникает у студентов, в какой форме нарисовать таблицу, чтобы в ней поместились результаты большого числа проведенных сравнений, например, между средними значениями признака, рассчитанные коэффициенты корреляции между парами признаков и т.д. Эту задачу легко решить построением таблицы матричного типа, когда на пересечении соответствующего столбца и строки помещается рассматриваемый статистический показатель (коэффициент корреляции между парой признаков или достигнутый р-уровень значимости при сравнении средних значений признака в двух выборках). Примеры таких таблиц показаны ниже.

Пример таблицы в виде корреляционной матрицы:

Таблица 4.2.

Результаты корреляционного анализа

Примечание: жирным шрифтом выделены коэффициенты корреляции Пирсона с p-уровнем < 0.05.

Пример таблицы с р-уровнями, отображающей результаты применения статистического теста (например, критерия Тьюки) для попарного сравнения 4 выборок (M6, М7, Д6, Д7) между собой:

Таблица 4.3.

Результаты множественных сравнений выборок с помощью критерия Тьюки

Примечание: жирным шрифтом выделены достигнутые уровни значимости р < 0.05.

Графический способ представления результатов статистического анализа используется почти в каждой научной работе, и к нему следует прибегать, где только возможно и целесообразно. Построение графиков различных типов упрощает содержательный анализ количественных данных и является наглядным способом визуализации полученных материалов. На графиках (или в подписях к ним) обязательно следует указывать результаты статистической обработки отображаемых показателей (средние значения с интервальными оценками, достигнутые р-уровни значимости, названия и рассчитанные значения статистических тестов и т.д.). Рассмотрение всего многообразия применяемых графиков не входит в задачу данной главы, это излагается в специальных курсах по математическим методам обработки данных. Студенты, прошедшие подобный курс и приступающие к написанию научной работы, часто задают вопрос о том, какую интервальную оценку лучше (или правильнее) откладывать на графиках: стандартную ошибку, стандартное отклонение или доверительные интервал? Подобная постановка вопроса в корне ошибочна и даже бессмысленна, поскольку не существует градации интервальных оценок по степени «правильности» или нельзя сказать, какая их них лучше или хуже. Как всегда, всё зависит от решаемой задачи, от того, что студент желает продемонстрировать на графике читателю. Если важно визуализировать показатель, отражающий просто степень разброса значений признака относительно среднего в полученной выборке, другими словами, показать вариабельность данных в данной конкретной выборке, то целесообразнее на графиках продемонстрировать выборочное стандартное отклонение. С этой целью, вместо стандартного отклонения, можно показать на графике среднее, максимальное и минимальное значения в выборке. Если стоит задача наглядно показать различия между средними значениями в выборках, оценить насколько в среднем исследователь ошибся, принимая полученное им выборочное среднее значение за генеральное, то корректнее в виде планок погрешностей отложить стандартную ошибку (это фактически будет 68% доверительный интервал). Если необходимо визуализировать вероятностное представление о величине истинной генеральной средней на основе полученной выборочной средней, то откладывать на графике стоит 95% доверительный интервал.

Частой ошибкой студентов является представление в работах графиков без обозначения показателей, отложенных на осях абсцисс и ординат. На рисунках все оси должны быть подписаны с указанием единиц измерения показателя через запятую после названия оси.