Статистический анализ данных (курс лекций, К.В.Воронцов). Статистические методы - это что такое? Применение статистических методов

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

хорошую работу на сайт">

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

Размещено на http://www.allbest.ru/

• 3. Ряды динамики
• Литература

1. Абсолютные и относительные величины

В результате сводки и группировки статистического материала в руках исследователя оказывается самая разнообразная информация об изучаемых явлениях и процессах. Однако, останавливаться на полученных результатах было бы большой ошибкой, потому что, даже сгруппированные по заданным признакам и отраженные в табличной или графической форме, эти данные пока являются только своего рода иллюстрацией, промежуточным результатом, который должен быть подвергнут анализу - в данном случае, статистическому. Статистический анализ - это представление изучаемого объекта в качестве расчлененной системы, т.е. комплекса элементов и связей, образующих в своем взаимодействии органическое целое .

В результате такого анализа должна быть построена модель изучаемого объекта, причем, поскольку речь идет о статистике, при построении модели должны быть использованы статистические значимые элементы и связи.

Собственно, на выявление таких значимых элементов и связей и направлен статистический анализ.

Абсолютные показатели (величины) - величины суммарные, подсчитанные или взятые из сводных статистических отчетов без всяких преобразований. Абсолютные показатели всегда именные и отражаются в тех единицах измерения, которые были заданы при составлении программы статистического наблюдения (количество возбужденных уголовных дел, количество совершенных преступлений, количество разводов и т.д.).

Абсолютные показатели являются базовыми для любых дальнейших статистических операций, однако сами они для анализа малопригодны. По абсолютным показателям, например, трудно судить об уровне преступности в разных городах или регионах и практически нельзя ответить на вопрос, где преступность выше, а где ниже, так как города или регионы могут существенно различаться численности населения, территории и другим важным параметрам.

Относительные величины в статистике представляют собой обобщающие показатели, которые раскрывают числовую форму соотношения двух сопоставляемых статистических величин. При исчислении относительных величин наиболее часто сравнивают две абсолютные, но можно сопоставлять и средние, и относительные величины, получая новые относительные показатели. Самый простой пример вычисления относительной величины - ответ на вопрос: во сколько раз одно число больше другого?

Приступая к рассмотрению относительных величин, необходимо учитывать следующее. В принципе, сравнивать можно все, что угодно, даже линейные размеры листа бумаги А4 с количеством продукции, выпускаемой Ломоносовским фарфоровым заводом. Однако, такое сравнение ничего нам не даст. Важнейшее условие для плодотворного вычисления относительных величин можно сформулировать следующим образом:

1. единицы измерения сравниваемых величин должны быть одними и теми же или вполне сопоставимыми. Числа преступлений, уголовных дел и осужденных - показатели коррелируемые, т.е. взаимосвязанные, но не сопоставимые по единицам измерения. В одном уголовном деле может быть рассмотрено несколько преступлений и осуждена группа лиц; несколько осужденных могут совершить одно преступление и, наоборот, один осужденный - множество деяний. Числа преступлений, дел и осужденных сопоставимы с численностью населения, количеством персонала системы уголовной юстиции, уровнем жизни народа и другими данными одного и того же года. Более того, в течение одного года рассматриваемые показатели вполне сопоставимы и между собой.

2. Сопоставляемые данные обязательно должны соответствовать друг другу по времени или территории их получения либо по тому и другому параметрам вместе.

Абсолютная величина, с которой сравниваются другие в е личины, называется основанием или базой сравнения, а сравн и ваемый показатель - величиной сравнения . Например, при расчете отношения динамики преступности в России в 2000-2010 гг. данные 2000 г. будут базовыми. Они могут приниматься за единицу (тогда относительная величина будет выражена в форме коэффициента), за 100 (в процентах). В зависимости от размерности сравниваемых величин выбирают наиболее удобную, показательную и наглядную форму выражения относительной величины.

Если сравниваемая величина намного превосходит основание, получаемое отношение лучше выразить в коэффициентах. Например, преступность за определённый период (в годах) увеличилась в 2,6 раза. Выражение в разах в данном случае будет показательнее, чем в процентах. В процентах относительные величины выражаются тогда, когда величина сравнения не сильно отличается от базы.

Относительные величины, применяемые в статистике, в том числе и правовой, бывают разных видов. В правовой статистике применяются следующие виды относительных величин:

1. отношения, характеризующие структуру совокупности, или отношения распределения;

2. отношения части к целому, или отношения интенсивности;

3. отношения, характеризующие динамику;

4. отношения степени и сравнения.

Относительная величина распределения - это относительная величина, выражаемая в процентах отдельных частей совокупности изученных явлений (преступлений, преступников, гражданских дел, исков, причин, мер предупреждения и т.д.) к их общему итогу, принимаемому за 100% . Это - самый распространенный (и простой) вид относительных данных, применяемых в статистике. Это, например, структура преступности (по видам преступлений), структура судимости (по видам преступлений, по возрасту осужденных) и т.д.

статистический анализ абсолютная величина

Отношение интенсивности (отношение части к целому) - обобщающая относительная величина, которая отражает распространенность определенного признака в наблюдаемой совокупности.

Самый распространенный показатель интенсивности, применяемый в правовой статистике - интенсивности преступности. Интенсивность преступности обычно отражается посредством коэффициента преступности, т.е. числа преступлений на 100 или 10 тыс. жителей.

КП= (П*100000)/Н

где П - абсолютное число учтенных преступлений, Н - абсолютная численность населения.

Обязательное условие, определяющее саму возможность вычисления таких показателей, как было сказано выше - все используемые абсолютные показатели берутся на одной территории и за один промежуток времени.

Отношения, характеризующие динамику , представляют собой обобщающие относительные величины, показывающие изменение во времени тех или иных показателей правовой статистики . За временной интервал обычно принимается год.

За основание (базу), равное 1, или 100%, принимаются сведения об изучаемом признаке определенного года, который был чем-то характерен для изучаемого явления. Данные базового года выполняют роль неподвижной базы, к которой процентируются показатели последующих лет.

Задачи статистического анализа часто требуют ежегодных (или по иным периодам) сопоставлений, когда за базу принимаются данные каждого предыдущего года (месяца или другого периода). Подобная база называется подвижной . Обычно это используется при анализе временных рядов (рядов динамики).

Отношения степени и сравнения позволяют сопоставлять различные показатели в целях выявления, какая величина насколько больше другой, в какой мере одно явление отличается от другого или схоже с ним, что имеется общего и отличительно в наблюдаемых статистических процессах и т.д.

Индекс - это специально созданный относительный показатель сравнения (во времени, пространстве, при сравнении с прогнозом и т.д.), показывающий, во сколько раз уровень изучаемого явления в одних условиях отличается от уровня того же явления в других условиях. Наиболее распространены индексы в экономической статистике, хотя они играют определенную роль и при анализе правовых явлений.

Без индексов не обойтись в случаях, когда необходимо сопоставить несоизмеримые показатели, простое суммирование которых невозможно. Поэтому обычно индексы определяют как числа-показатели для измерения средней динамики совокупности разнородных элементов .

В статистике индексы обычно обозначают буквой I (i). Прописная буква или заглавная - зависит от того, идет ли речь об индивидуальном (частном) индексе или он общем.

Индивидуальные индексы (i) отражают отношение показателя текущего периода к соответствующему показателю сравниваемого периода.

Сводные индексы используются при анализе соотношения сложных социально-экономических явлений и состоят из двух частей: собственно индексируемой величины и соизмерителя ("веса").

2. Средние величины и их применение в правовой статистике

Результатом обработки абсолютных и относительных показателей является построение рядов распределения. Ряд распределения - это упорядоченные по качественным или количественным признакам распределения единиц совокупности . Анализ этих рядов лежит в основе любого статистического анализа, каким бы сложным в дальнейшем он не оказался.

Ряд распределения может быть построен на основании качественных или количественных признаков. В первом случае он называется атрибутивным , во втором - вариационным . При этом различия количественного признака называется вариацией , а сам этот признак - вариантой . Именно с вариационными рядами чаще всего приходится иметь дело правовой статистике.

Вариационный ряд всегда состоит из двух колонок (граф). В одной указывается значение количественного признака в порядке возрастания, которые, собственно, и называют вариантами, которые обозначаются x . В другой колонке (графе) указывается число единиц, которые свойственны той или иной варианте. Они называются частотами и обозначаются латинской буквой f .

Таблица 2.1

Варианта x
Частота f

Частота проявления того или иного признака очень важна при вычислении других значимых статистических показателей, а именно - средних и показателей вариации.

Вариационные ряды, в свою очередь, могут быть дискретными или интервальными . Дискретные ряды, как следует из названия, построены на основании дискретно варьирующих признаков, а интервальными - на основании непрерывных вариаций. Так, например, распределение правонарушителей по возрасту может быть как дискретным (18, 19,20 лет и т.д.), так и непрерывным (до 18 лет, 18-25 лет, 25-30 лет и т.д.). Причем сами интервальные ряды могут строиться как по дискретному, так и по непрерывному принципу. В первом случае границы смежных интервалов не повторяются; в нашем примере интервалы будут выглядеть так: до 18 лет, 18-25, 26-30, 31-35 и т.д. Такой ряд называется непрерывный дискретный ряд . Интервальный ряд с непрерывной вариацией предполагает совпадение верхней границы предыдущего интервала с нижней границей последующей.

Самый первый показатель, описывающий вариационные ряды - это средние величины . Они играют важную роль в правовой статистике, поскольку только с их помощью можно охарактеризовать совокупности по количественному варьирующему признаку, по которому можно их сравнивать. С помощью средних величин можно сравнивать интересующие нас совокупности юридически значимых явлений по тем или иным количественным признакам и делать из этих сравнений необходимые выводы.

Средние величины отражают самую общую тенденцию (закономерность ), присущую всей массе изучаемых явлений. Она проявляется в типичной количественной характеристике, т.е. в средней величине всех имеющихся (варьирующих) показателей.

Статистикой разработано много видов средних величин: средняя арифметическая, геометрическая, кубическая, гармоническая и т.д. Однако в правовой статистике они практически не применяются, поэтому мы будем рассматривать только два вида средние - среднюю арифметическую и среднюю геометрическую.

Самая распространенная и хорошо известная средняя - это средняя арифметическая . Для ее расчета высчитывается сумма показателей и делится на общее число показателей. Например, семья из 4-х человек состоит из родителей возрастом 38 и 40 лет и двоих детей возрастом 7год и 10 лет. Мы суммируем возраст: 38+40+7+10 и полученную сумму 95 делим на 4. Полученный средний возраст семьи - 23,75 года. Или рассчитаем среднемесячную нагрузку следователей, если в отделе из 8 человек за месяц раскрыто 25 дел. Делим 25 на 8 и получаем 3,125 дела в месяц на следователя.

В правовой статистике средняя арифметическая используется при расчете нагрузки сотрудников (следователей, прокуроров, судей и т.д.), расчете абсолютного прироста преступности, расчете выборки и т.д.

Однако в приведенным примере среднемесячная нагрузка на следователя рассчитана неверно. Дело в том, что простая средняя арифметическая не учитывает частоту изучаемого признака. В нашем примере среднемесячная нагрузка на следователя столь же корректна и информативна, как "средняя температура по больнице" из известного анекдота, которая, как известно, комнатная. Для того, чтобы при расчете средней арифметической учитывать частоту проявлений изучаемого признака, используется так средняя арифметическая взвешенная илисредняя для дискретных вариационных рядов. (Дискретный вариационный ряд - последовательность изменения признака по дискретным (прерывистым) показателям).

Средняя арифметическая взвешенная (средняя взвешенная) не имеет принципиальных отличий от простой средней арифметической. В ней суммирование одного и того же значения заменено умножением этого значения на его частоту, т.е. в этом случае каждое значение (варианта) взвешивается по частоте встречаемости.

Так, вычисляя по среднюю нагрузку следователей, мы должны умножим число дел на число следователей, который расследовали именно такое количество дел. Обычно такие расчеты удобно представлять в виде таблиц:

Таблица 2.2

Число дел (варианта х )	Число следователей (частота f )	Произведение вариант на частоты (х f )

2. Вычислим собственно среднюю взвешенную по формуле:

где x - число уголовных дел, а f - число следователей.

Таким образом, средняя взвешенная равна не 3,125, а 4,375. Если вдуматься, то так и должно быть: нагрузка на каждого отдельного следователя возрастает за счет того, что один следователь в нашем гипотетическом отделе оказался бездельником - или, наоборот, расследовал особо важное и сложное дело. Но вопрос интерпретации результатов статистического исследования будет рассматриваться в следующей теме. В некоторых случаях, а именно - в случаях сгруппированных частот дискретного распределения - вычисление средней, на первый взгляд, неочевидно. Предположим, нам необходимо вычислить среднюю арифметическую для распределения лиц, осужденных за хулиганство, по возрасту. Распределение выглядит следующим образом:

Таблица 2.3

(варианта х )	Число осужденных (частота f )	Середина интервала	Произведение вариант на частоты (х f )
		(21-18) /2+18=19,5

Далее средняя высчитывается по общему правилу и составляет для данного дискретного ряда 23,6 года. В случае т. н. открытых рядов, то есть в ситуациях, когда крайние интервалы определяются "менее x " или "больше x ", величина крайних интервалов задается аналогично другим интервалам.

3. Ряды динамики

Общественные явления, изучаемые статистикой, находятся в постоянном развитии и изменении. Социально-правовые показатели могут быть представлены не только в статической форме, отражающей определенное явление, но и как процесс, происходящий во времени и пространстве, а также в виде взаимодействия исследуемых признаков. Иными словами, динамические ряды показывают развитие признака, т.е. его изменение во времени, пространстве или в зависимости от условий среды.

Данный ряд представляет собой последовательность средних величин в указанные периоды времени (за каждый календарный год).

Для более глубокого изучения общественных явлений и их анализа простого сопоставления уровней ряда динамики недостаточно, необходимо исчислять производные показатели ряда динамики: абсолютный прирост, темп роста, темп прироста, средние темпы роста и прироста, абсолютное содержание одного процента прироста.

Расчет показателей рядов динамики осуществляется на основе сравнения их уровней. При этом возможны два способа сопоставления уровней динамического ряда:

базисные показатели, когда все последующие уровни сравнивают с некоторым начальным, принятым за базу;

цепные показатели, когда каждый последующий уровень ряда динамики сопоставляют с предыдущим.

Абсолютный прирост показывает, на сколько единиц уровень текущего периода больше или меньше уровня базисного или предыдущего периода за конкретный промежуток времени.

Абсолютный прирост (П) исчисляется как разность между сравниваемыми уровнями.

Базисный абсолютный прирост:

П б = y i - y баз . (ф.1).

Цепной абсолютный прирост:

П ц = y i - y i -1 (ф.2).

Темп роста (Тр) показывает, во сколько раз (на сколько процентов) уровень текущего периода больше или меньше уровня базисного или предыдущего периода:

Базисный темп роста:

(ф.3)

Цепной темп роста:

(ф.4)

Темп прироста (Тпр) показывает, на сколько процентов уровень текущего периода больше или меньше уровня базисного или предыдущего периода, принятого за базу сравнения, и вычисляется как отношение абсолютного прироста к абсолютному уровню, принятому за базу.

Темп прироста можно также рассчитать путем вычитания из темпа роста 100%.

Базисный темп прироста:

или (ф.5)

Цепной темп прироста:

или (ф.6)

Средний темп роста исчисляется по формуле средней геометрической из темпов роста ряда динамики:

(ф.7)

где - средний темп роста;

- темпы роста для отдельных периодов;

n - число темпов роста.

Подобные задачи с показателем корня больше трех, как правило, решаются при помощи логарифмирования. Из алгебры известно, что логарифм корня равен логарифму подкоренной величины, деленной на показатель корня, и что логарифм произведения нескольких сомножителей равен сумме логарифмов этих сомножителей.

Таким образом, средние темпы роста исчисляются путем извлечения корня n степени из произведений индивидуальных n - цепных темпов роста. Средние темпы прироста представляют собой разность между средним темпом роста и единицей (), или 100%, когда темп роста выражен в процентах:

или

При отсутствии в динамическом ряду промежуточных уровней средние темпы роста и прироста определяются по следующей формуле:

(ф.8)

где - конечный уровень динамического ряда;

- начальный уровень динамического ряда;

n - число уровней (дат).

Очевидно, что показатели средних темпов роста и прироста, исчисленные по формулам (ф.7 и ф.8), имеют одинаковые числовые значения.

Абсолютное содержание 1% прироста показывает, какое абсолютное значение содержит 1% прироста и исчисляется как отношение абсолютного прироста к темпу прироста.

Абсолютное содержание 1% прироста:

базисные: (ф.9)

цепные: (ф.10)

Вычисление и анализ абсолютного значения каждого процента прироста способствуют более глубокому пониманию характера развития исследуемого явления. Данные нашего примера показывают, что, несмотря на колебания темпов роста и прироста за отдельные годы, базисные показатели абсолютного содержания 1% прироста остаются неизменными, в то время как цепные показатели, характеризующие изменения абсолютного значения одного процента прироста в каждом последующем году по сравнению с предыдущим, непрерывно возрастают.

При построении, обработке и анализе рядов динамики часто возникает потребность в определении средних уровней изучаемых явлений за определенные промежутки времени. Средняя хронологическая интервального ряда исчисляется при равных интервалах по формуле средней арифметической простой, при неравных интервалах - по средней арифметической взвешенной:

где - средний уровень интервального ряда;

- исходные уровни ряда;

n - число уровней.

Для моментного ряда динамики при условии равенства промежутков времени между датами исчисление среднего уровня производится по формуле средней хронологической:

(ф.11)

где - средняя хронологическая величина;

y 1 ,., y n - абсолютный уровень ряда;

n - число абсолютных уровней ряда динамики.

Средняя хронологическая из уровней моментного ряда динамики равняется сумме показателей этого ряда, деленной на число показателей без одного; при этом начальный и конечный уровни должны быть взяты в половинном размере, так как число дат (моментов) обычно бывает наединицу больше, чем число периодов.

В зависимости от содержания и формы представления исходных данных (интервальные или моментные ряды динамики, равные или нет временные интервалы) для вычисления различных социальных показателей, например, среднегодовое количество преступлений и правонарушений (по видам), среднего размера остатков оборотных средств, среднесписочного числа правонарушителей и т.п., используют соответствующие аналитические выражения.

4. Статистические методы изучения взаимосвязей

В предыдущих вопросах мы рассматривали, если можно так сказать, анализ "одномерных" распределений - вариационных рядов. Это очень важный, но далеко не единственный вид статистического анализа. Анализ вариационных рядов является основанием для более "продвинутых" видов статистического анализа, в первую очередь - для изучения взаимосвязей . В результате такого исследования вскрываются причинно-следственные отношения между явлениями, что позволяет определить, изменении каких признаков влияет на вариации изучаемых явлений и процессов. При этом признаки, обуславливающие изменение других, называются факторными (факторами), а признаки, изменяющиеся под их воздействием - результативными.

В статистической науке различают два вида связей между различными признаками и их сведениями - функциональную связь (жестко-детерминированную) и статистическую (стохастическую).

Для функциональных связей характерно полное соответствие между изменением факторного признака и изменением результативной величины. Эта взаимосвязь одинаково проявляется у всех единиц любой совокупности. Самый простой пример: повышение температуры отражается на объеме ртути в градуснике. При этом температура окружающей среды выступает в качестве фактора, а объем ртути - в качестве результативного признака.

Функциональные взаимосвязи характерны для явлений, изучаемых такими науками, как химия, физика, механика, в которых есть возможность ставить "чистые" эксперименты, при которых устраняется влияние посторонних факторов. Дело в том, что функциональная связь между двумя возможна только в том случае, если вторая величина (результативный признак) зависит только и исключительно от первой. В общественных явлениях такое наблюдается крайне редко.

Социально-правовые процессы, представляющие собой результат одновременного воздействия большого количества факторов, описываются посредством статистических связей, то есть связей стохастически (случайно ) детерминированных , когда разным значениям одной переменной соответствуют разные значения другой переменной.

Наиболее важный (и распространенный) случай стохастической зависимости - корреляционная зависимость . При такой зависимости причина определяет следствие не однозначно, а лишь с определенной долей вероятности. Выявлению таких связей посвящен отдельный вид статистического анализа - корреляционный анализ.

Основная задача корреляционного анализа - на основе строго математических приемов установить количественное выражение зависимости, существующей между исследуемыми признаками. Существует несколько подходов к тому, как именно вычисляется корреляция и, соответственно, несколько видов коэффициентов корреляции: коэффициент сопряженности А.А. Чупрова (для измерения связи между качественнымипризнаками), коэффициент ассоциации К. Пирсона, а также коэффициенты ранговой корреляции Спирмена и Кендалла. В общем случае такие коэффициенты показывают, с какой вероятностью проявляются изучаемые взаимосвязи. Соответственно, чем коэффициент выше, тем более выраженной является связь между признаками.

Между изучаемыми факторами может существовать как прямая, так и обратная корреляционная зависимость. Прямая корреляционная зависимость наблюдается в случаях, когда изменению значений фактора соответствуют такие же изменения значения результативного признака, то есть, когда увеличивается значение факторного признака, увеличивается и значение результативного, и наоборот. Например, между криминогенными факторами и преступностью существует прямая корреляционная зависимость (со знаком "+"). Если же увеличение значений одного признака вызывает обратные изменения значений другого, то такая связь называется обратной . Например, чем выше социальный контроль в обществе, тем ниже преступность (связь со знаком "-").

И прямые, и обратные связи могут быть прямолинейными и криволинейными.

Прямолинейные (линейные) связи проявляются тогда, когда с увеличением значений признака-фактора происходит возрастание (прямая) или уменьшение (обратная) величины признака-следствия. Математически такая связь выражается уравнением регрессии: у = а + b х, где у - признак-следствие; а и b - соответствующие коэффициенты связи; х - признак-фактор.

Криволинейные связи носят иной характер. Возрастание величины факторного признака оказывает неравномерное влияние на величину результирующего признака. Вначале эта связь может быть прямой, а затем - обратной. Известный пример - связь преступлений с возрастом правонарушителей. Сначала криминальная активность лиц растет прямо пропорционально увеличению возраста правонарушителей (приблизительно до 30 лет), а затем с увеличением возраста преступная активность снижается. Причем вершина кривой распределения правонарушителей по возрасту сдвинута от средней влево (к более молодому возрасту) и является асимметричной.

Корреляционные прямолинейные связи могут быть одн о факторными , когда исследуется связь между одним признаком-фактором и одним признаком-следствием (парная корреляция). Они могут быть и многофакторными, когда исследуется влияние многих взаимодействующих между собой признаков-факторов на признак-следствие (множественная корреляция).

Но, какой бы из коэффициентов корреляции не использовался, какая бы корреляция не исследовалась, установить связь между признаками, исходя только из статистических показателей, невозможно. Первоначальный анализ показателей - это всегда анализ качественный , в ходе которого изучается и уясняется социально-правовая природа явления. При этом используются те научные методы и подходы, которые характерны для отрасли науки, изучающей данное явление (социологии, права, психологии и т.д.). Затем анализ группировок и средних величин позволяет выдвинуть гипотезы, построить модели, определить тип связи и зависимости. Только после этого определяется количественная характеристика зависимости - собственно, коэффициент корреляции.

Литература

1. Аванесов Г.А. Основы криминологического прогнозирования. Учебное пособие. М.: ВШ МВД СССР, 1970.

2. Аврутин К.Е., Гилинский Я.И. Криминологический анализ преступности в регионе: методология, методика, техника. Л., 1991.

3. Адамов Е. и др. Экономика и статистика фирм: Учебник / Под ред. С.Д. Ильенковой. М.: Финансы и статистика, 2008.

4. Балакина Н.Н. Статистика: Учеб. - метод. комплекс. Хабаровск: ИВЭСЭП, филиал в г. Хабаровске, 2008.

5. Блувштейн Ю.Д., Волков Г.И. Динамические ряды преступности: Учебное пособие. Минск, 1984.

6. Боровиков В.П., Боровиков И.П. STATISTICA - Статистический анализ и обработка данных в среде Windows. М.: Информационно-издательский дом "Филинъ”, 1997.

7. Бородин С.В. Борьба с преступностью: теоретическая модель комплексной программы. М.: Наука, 1990.

8. Вопросы статистики // Ежемесячный научно-информационный журнал Госкомстата РФ.М., 2002-2009 гг.

9. Гусаров В.М. Статистика: Учеб. пособие для вузов. М.: ЮНИТИ-ДАНА, 2009.

10. Добрынина Н.В., Нименья И.Н. Статистика: Учеб. - метод. пособие. СПб.: СПбГИЭУ, 2009.

11. Елисеева И.И., Юзбашев М.М. Общая теория статистики: Учебник для вузов / Под ред.И. И. Елисеевой.4-е изд. М.: Финансы и статистика, 1999.

12. Елисеева И.И., Юзбашев М.М. Общая теория статистики: Учебник. - М.: Финансы и статистика, 1995.

13. Еремина Т., Матятина В., Плущевская Ю. Проблемы развития секторов российской экономики // Вопросы экономики. 2009. № 7.

14. Ефимова М.Р., Ганченко О.И., Петрова Е.В. Практикум по общей теории статистики: Учеб. пособие.2-е изд., перераб. и доп. М.: Финансы и статистика, 2009.

15. Ефимова М.Р., Петрова Е.В., Румянцев В.Н. Общая теория статистики: Учебник. - М.: ИНФРА-М, 1998.

16. Кириллов Л.А. Криминологическое изучение и предупреждение преступности органами внутренних дел М., 1992.

17. Косоплечев Н.П., Методы криминологического исследования. М., 1984.

18. Ли Д.А. Преступность в России: системный анализ. М., 1997.

19. Ли Д.А. Уголовно-статистический учет: структурно-функциональные закономерности. М.: Информационно-издательское агентство "Русский мир”, 1998.

20. Макарова Н.В., Трофимец В.Я. Статистика в Excel: Учеб. пособие. М.: Финансы и статистика, 2009.

21. Нестеров Л.И. Новые веяния в статистике национального богатства // Вопросы статистики. 2008. № 11.

22. Петрова Е.В. и др. Практикум по статистике транспорта: Учеб. пособие. М.: Финансы и статистика, 2008.

23. Преступность в России в девяностых годах и некоторые аспект законности и борьбы с нею. М., 1995.

24. Преступность, статистика, закон // Под ред. проф. А.И. Долговой. М.: Криминологическая ассоциация, 1997.

25. Ростов К.Т. Преступность в регионах России (социально-криминологический анализ). СПб.: СПб академия МВД России, 1998.

26. Руководство для переписчика о порядке проведения Всероссийской переписи населения 2002 года и заполнения переписных документов. М.: ПИК "Офсет", 2003.

27. Савюк Л.К. Правовая статистика: Учебник. М.: Юристъ, 1999.

28. Салин В.Н., Шпаковская Е.П. Социально-экономическая статистика: Учебник для вузов. М.: Гарданика Юрист, 2008.

29. Сиденко А.В., Попов Г.Ю., Матвеева В.М. Статистика: Учебник. М.: Дело и Сервис, 2008.

30. Социальная профилактика правонарушений: советы, рекомендации // Под ред. Д.А. Керимова. М., 1989.

31. Социальная статистика: Учебник для вузов // Под ред. И.И. Елисеевой. 3-е изд. М.: Финансы и статистика, 2009.

Размещено на Allbest.ru

Подобные документы

Рассмотрение основных методов статистического анализа. Исследование Кунгурского муниципального района. Проведение расчетов по показателям ежегодника. Анализ демографии и социально-экономического развития данного района по результатам применения.

курсовая работа , добавлен 24.06.2015


Средняя величина – свободная характеристика закономерностей процесса в тех условиях, в которых он протекает. Формы и методы расчета средних величин. Применение средних величин на практике: расчет дифференциации заработной платы по отраслям экономики.

курсовая работа , добавлен 04.12.2007


Статистические методы анализа разводов. Статистический анализ разводов в Амурской области. Анализ динамики и структуры разводов. Группировка городов и районов Амурской области по количеству разводов за год. Расчет средних величин и показателей вариации.

курсовая работа , добавлен 12.04.2014


Аспекты статистического анализа обеспеченности жильем. Применение статистических методов для анализа обеспеченности жильем населения. Анализ однородности совокупности районов по коэффициенту демографической нагрузки. Корреляционно-регрессионный анализ.

курсовая работа , добавлен 18.01.2009


Организация государственной статистики в России. Требования, предъявляемые к собираемым данным. Формы, виды и способы статистического наблюдения. Подготовка статистического наблюдения. Ошибки статистического наблюдения. Методы контроля за статистикой.

реферат , добавлен 02.12.2007


Разработка программы наблюдения уголовно-правовой статистики, ее основные этапы и предъявляемые требования, методы и порядок реализации. Определение состояния преступности в исследуемом районе. Правила оформления результатов статистического наблюдения.

контрольная работа , добавлен 18.05.2010


Классификация статистической документации. Виды документов: письменные, иконографические, статистические и фонетические. Методы и способы анализа материалов: неформализованные (традиционные) и формализованные. Порядок осуществления контент-анализа.

презентация , добавлен 16.02.2014


Понятие средней величины. Метод средних величин в изучении общественных явлений. Актуальность применения метода средних величин в изучении общественных явлений обеспечивается возможностью перехода от единичного к общему, от случайного к закономерному.

курсовая работа , добавлен 13.01.2009


Понятие статистического наблюдения. Анализ прямолинейных и криволинейных корреляционных связей. Знакомство с формулами и величинами статистического наблюдения. Анализ расчетов взаимосвязи индексов, построение гистограммы, элементы ряда распределения.

контрольная работа , добавлен 27.03.2012


Характеристика основных показателей статистического анализа социальной обусловленности общественного здоровья в Российской Федерации. Уровни оценки здоровья с точки зрения социальной медицины. Классификация детской части населения по группам здоровья.

статистика» биостатистикой» .

1. номинальную;
2. ординальную;
3. интервальную;

выборки

репрезентативной

выборочной рамки простой случайной выборкой интервальная выборка

стратифицированной выборки

кластерная и квотная выборки

нулевой гипотезы

альтернативной гипотезы мощности

доверительной вероятности».

Название: Основы статистического анализа данных
Детальное описание:

После завершения любого научного исследования, фундаментального или экспериментального, производится статистический анализ полученных данных. Чтобы статистический анализ был успешно проведен и позволил решить поставленные задачи, исследование должно быть грамотно спланировано. Следовательно, без понимания основ статистики невозможно планирование и обработка результатов научного эксперимента. Тем не менее, медицинское образование не дает не только знания статистики, но даже основ высшей математики. Поэтому очень часто можно столкнуться с мнением, что вопросами статобработки в биомедицинских исследованиях должен заниматься только специалист по статистике, а врачу-исследователю следует сосредоточиться на медицинских вопросах своей научной работы. Подобное разделение труда, подразумевающее помощь в анализе данных, вполне оправдано. Однако понимание принципов статистики необходимо хотя бы для того, чтобы избежать некорректной постановки задачи перед специалистом, общение с которым до начала исследования является в такой же степени важным, как и на этапе обработки данных.

Прежде чем говорить об основах статистического анализа, следует прояснить смысл термина «статистика» . Существует множество определений, но наиболее полным и лаконичным является, на наш взгляд, определение статистики как «науки о сборе, представлении и анализе данных». В свою очередь, использование статистики в приложении к живому миру называют «биометрией» или «биостатистикой» .

Следует заметить, что очень часто статистику сводят только к обработке экспериментальных данных, не обращая внимания на этап их получения. Однако статистические знания необходимы уже во время планирования эксперимента, чтобы полученные в ходе него показатели могли дать исследователю достоверную информацию. Поэтому, можно сказать, что статистический анализ результатов эксперимента начинается еще до начала исследования.

Уже на этапе разработки плана исследователь должен четко представлять себе, какого типа переменные будут в его работе. Все переменные можно разделить на два класса: качественные и количественные. То, какой диапазон может принимать переменная, зависит от шкалы измерений. Можно выделить четыре основных шкалы:

1. номинальную;
2. ординальную;
3. интервальную;
4. рациональную (шкалу отношений).

В номинальной шкале (шкале «названий») присутствуют лишь условные обозначения для описания некоторых классов объектов, например, «пол» или «профессия пациента». Номинальная шкала подразумевает, что переменная будет принимать значения, количественные взаимоотношения между которыми определить невозможно. Так, невозможно установить математические отношения между мужским и женским полом. Условные числовые обозначения (женщины - 0, мужчины - 1, либо наоборот) даются абсолютно произвольно и предназначены только для компьютерной обработки. Номинальная шкала является качественной в чистом виде, отдельные категории в этой шкале выражают частотами (количество или доля наблюдений, проценты).

Ординальная (порядковая) шкала предусматривает, что отдельные категории в ней могут выстраиваться по возрастанию или убыванию. В медицинской статистике классическим примером порядковой шкалы является градация степеней тяжести заболевания. В данном случае мы можем выстроить тяжесть по возрастанию, но все еще не имеем возможности задать количественные взаимоотношения, т. е. дистанция между значениями, измеренными в ординальной шкале, неизвестна или не имеет значения. Установить порядок следования значений переменной «степень тяжести» легко, но при этом невозможно определить, во сколько раз тяжелое состояние отличается от состояния средней тяжести.

Ординальная шкала относится к полуколичественным типам данных, и ее градации можно описывать как частотами (как в качественной шкале), так и мерами центральных значений, на чем мы остановимся ниже.

Интервальная и рациональная шкалы относятся к чисто количественным типам данных. В интервальной шкале мы уже можем определить, насколько одно значение переменной отличается от другого. Так, повышение температуры тела на 1 градус Цельсия всегда означает увеличение выделяемой теплоты на фиксированное количество единиц. Однако в интервальной шкале есть и положительные и отрицательные величины (нет абсолютного нуля). В связи с этим невозможно сказать, что 20 градусов Цельсия - это в два раза теплее, чем 10. Мы можем лишь констатировать, что 20 градусов настолько же теплее 10, как 30 - теплее 20.

Рациональная шкала (шкала отношений) имеет одну точку отсчета и только положительные значения. В медицине большинство рациональных шкал - это концентрации. Например, уровень глюкозы 10 ммоль/л - это в два раза большая концентрация по сравнению с 5 ммоль/л. Для температуры рациональной шкалой является шкала Кельвина, где есть абсолютный ноль (отсутствие тепла).

Следует добавить, что любая количественная переменная может быть непрерывной, как в случае измерения температуры тела (это непрерывная интервальная шкала), или же дискретной, если мы считаем количество клеток крови или потомство лабораторных животных (это дискретная рациональная шкала).

Указанные различия имеют решающее значение для выбора методов статистического анализа результатов эксперимента. Так, для номинальных данных применим критерий «хи-квадрат», а известный тест Стьюдента требует, чтобы переменная (интервальная либо рациональная) была непрерывной.

После того как будет решен вопрос о типе переменной, следует заняться формированием выборки . Выборка - это небольшая группа объектов определенного класса (в медицине - популяция). Для получения абсолютно точных данных нужно исследовать все объекты данного класса, однако, из практических (зачастую - финансовых) соображений изучают только часть популяции, которая и называется выборкой. В дальнейшем, статистический анализ позволяет исследователю распространить полученные закономерности на всю популяцию с определенной степенью точности. Фактически, вся биомедицинская статистика направлена на получение наиболее точных результатов из наименее возможного количества наблюдений, ведь при исследованиях на людях важен и этический момент. Мы не можем позволить себе подвергать риску большее количество пациентов, чем это необходимо.

Создание выборки регламентируется рядом обязательных требований, нарушение которых может привести к ошибочным выводам из результатов исследования. Во-первых, важен объем выборки. От объема выборки зависит точность оценки исследуемых параметров. Здесь следует обратить внимание на слово «точность». Чем больше размеры исследуемых групп, тем более точные (но не обязательно правильные) результаты получает ученый. Для того же, чтобы результаты выборочных исследований можно было переносить на всю популяцию в целом, выборка должна быть репрезентативной . Репрезентативность выборки предполагает, что в ней отражены все существенные свойства популяции. Другими словами, в исследуемых группах лица разного пола, возраста, профессий, социального статуса и пр. встречаются с той же частотой, что и во всей популяции.

Однако перед тем как начать выбор исследуемой группы, следует определиться с необходимостью изучения конкретной популяции. Примером популяции могут быть все пациенты с определенной нозологией или люди трудоспособного возраста и т. д. Так, результаты, полученные для популяции молодых людей призывного возраста, вряд ли удастся экстраполировать на женщин в постменопаузе. Набор характеристик, которые будет иметь изучаемая группа, определяет «обобщаемость» данных исследования.

Формировать выборки можно различными путями. Самый простой из них - выбор с помощью генератора случайных чисел необходимого количества объектов из популяции или выборочной рамки (sampling frame). Такой способ называется «простой случайной выборкой ». Если случайным образом выбрать начальную точку в выборочной рамке, а затем взять каждый второй, пятый или десятый объекты (в зависимости от того каких размеров группы требуются в исследовании), то получится интервальная выборка . Интервальная выборка не является случайной, так как никогда не исключается вероятность периодических повторений данных в рамках выборочной рамки.

Возможен вариант создания так называемой «стратифицированной выборки », которая предполагает, что популяция состоит из нескольких различных групп и эту структуру следует воспроизвести в экспериментальной группе. Например, если в популяции соотношение мужчин и женщин 30:70, тогда в стратифицированной выборке их соотношение должно быть таким же. При данном подходе критически важно не балансировать выборку избыточно, то есть избежать однородности ее характеристик, в противном случае исследователь может упустить шанс найти различия или связи в данных.

Кроме описанных способов формирования групп есть еще кластерная и квотная выборки . Первая используется в случае, когда получение полной информации о выборочной рамке затруднено из-за ее размеров. Тогда выборка формируется из нескольких групп, входящих в популяцию. Вторая - квотная - аналогична стратифицированной выборке, но здесь распределение объектов не соответствует таковому в популяции.

Возвращаясь к объему выборки, следует сказать, что он тесно связан с вероятностью статистических ошибок первого и второго рода. Статистические ошибки могут быть обусловлены тем, что в исследовании изучается не вся популяция, а ее часть. Ошибка первого рода - это ошибочное отклонение нулевой гипотезы . В свою очередь, нулевая гипотеза - это предположение о том, что все изучаемые группы взяты из одной генеральной совокупности, а значит, различия либо связи между ними случайны. Если провести аналогию с диагностическими тестами, то ошибка первого рода представляет собой ложноположительный результат.

Ошибка второго рода - это неверное отклонение альтернативной гипотезы , смысл которой заключается в том, что различия либо связи между группами обусловлены не случайным совпадением, а влиянием изучаемых факторов. И снова аналогия с диагностикой: ошибка второго рода - это ложноотрицательный результат. С этой ошибкой связано понятие мощности , которое говорит о том, насколько определенный статистический метод эффективен в данных условиях, о его чувствительности. Мощность вычисляется по формуле: 1-β, где β - это вероятность ошибки второго рода. Данный показатель зависит преимущественно от объема выборки. Чем больше размеры групп, тем меньше вероятность ошибки второго рода и выше мощность статистических критериев. Зависимость эта как минимум квадратичная, то есть уменьшение объема выборка в два раза приведет к падению мощности минимум в четыре раза. Минимально допустимой мощностью считают 80%, а максимально допустимый уровень ошибки первого рода принимают 5%. Однако всегда следует помнить, что эти границы заданы произвольно и могут изменяться в зависимости от характера и целей исследования. Как правило, научным сообществом признается произвольное изменение мощности, однако в подавляющем большинстве случаев уровень ошибки первого рода не может превышать 5%.

Все сказанное выше имеет непосредственное отношение к этапу планирования исследования. Тем не менее, многие исследователи ошибочно относятся к статистической обработке данных только как к неким манипуляциям, выполняемым после завершения основной части работы. Зачастую после окончания никак не спланированного эксперимента, появляется непреодолимое желание заказать анализ статистических данных на стороне. Но из «кучи мусора» даже специалисту по статистике будет очень сложно выудить ожидаемый исследователем результат. Поэтому при недостаточных знаниях биостатистики необходимо обращаться за помощью в статистическом анализе еще до начала эксперимента.

Обращаясь к самой процедуре анализа, следует указать на два основных типа статистических техник: описательные и доказательные (аналитические). Описательные техники включают в себя методы позволяющие представить данные в компактном и легком для восприятия виде. Сюда можно отнести таблицы, графики, частоты (абсолютные и относительные), меры центральной тенденции (средние, медиана, мода) и меры разброса данных (дисперсия, стандартное отклонение, межквартильный интервал и пр.). Другими словами, описательные методы дают характеристику изучаемым выборкам.

Наиболее популярный (хотя и зачастую ошибочный) способ описания имеющихся количественных данных заключается в определении следующих показателей:

• количество наблюдений в выборке или ее объем;
• средняя величина(среднее арифметическое);
• стандартное отклонение- показатель того, насколько широко изменяются значения переменных.

Важно помнить, что среднее арифметическое и стандартное отклонение - это меры центральной тенденции и разброса в достаточно небольшом числе выборок. В таких выборках значения у большинства объектов с равной вероятностью отклонены от среднего, а их распределение образует симметричный «колокол» (гауссиану или кривую Гаусса-Лапласа). Такое распределение еще называют «нормальным», но в практике медицинского эксперимента оно встречается лишь в 30% случаев. Если же значения переменной распределены несимметрично относительно центра, то группы лучше описывать с помощью медианы и квантилей (процентилей, квартилей, децилей).

Завершив описание групп, необходимо ответить на вопрос об их взаимоотношениях и о возможности обобщить результаты исследования на всю популяцию. Для этого используются доказательные методы биостатистики. Именно о них в первую очередь вспоминают исследователи, когда идет речь о статистической обработке данных. Обычно этот этап работы называют «тестированием статистических гипотез».

Задачи тестирования гипотез можно разделить на две большие группы. Первая группа отвечает на вопрос, имеются ли различия между группами по уровню некоторого показателя, например, различия в уровне печеночных трансаминаз у пациентов с гепатитом и здоровых людей. Вторая группа позволяет доказать наличие связи между двумя или более показателями, например, функции печени и иммунной системы.

В практическом плане задачи из первой группы можно разделить на два подтипа:

• сравнение показателя только в двух группах(здоровые и больные, мужчины и женщины);
• сравнение трех и более групп(изучение разных доз препарата).

Необходимо учитывать, что статистические методы существенно отличаются для качественных и количественных данных.

В ситуации, когда изучаемая переменная - качественная и сравниваются только две группы, можно использовать критерий «хи-квадрат». Это достаточно мощный и широко известный критерий, однако, он оказывается недостаточно эффективным в случае, если количество наблюдений мало. Для решения данной проблемы существуют несколько методов, такие как поправка Йейтса на непрерывность и точный метод Фишера.

Если изучаемая переменная является количественной, то можно использовать один из двух видов статистических критериев. Критерии первого вида основаны на конкретном типе распределения генеральной совокупности и оперируют параметрами этой совокупности. Такие критерии называют «параметрическими», и они, как правило, базируются на предположении о нормальности распределения значений. Непараметрические критерии не базируются на предположении о типе распределения генеральной совокупности и не используют ее параметры. Иногда такие критерии называют «свободными от распределения» (distribution-free tests). В определенной степени это ошибочно, поскольку любой непараметрический критерий предусматривает, что распределения во всех сравниваемых группах будут одинаковыми, иначе могут быть получены ложноположительные результаты.

Существует два параметрических критерия применяемых к данным, извлеченным из нормально распределенной совокупности: t-тест Стьюдента для сравнения двух групп и F-тест Фишера, позволяющий проверить равенство дисперсий (он же - дисперсионный анализ). Непараметрических же критериев значительно больше. Разные критерии отличаются друг от друга по допущениям, на которых они основаны, по сложности вычислений, по статистической мощности и т. д. Однако наиболее приемлемыми в большинстве случаев считаются критерий Вилкоксона (для связанных групп) и критерий Манна-Уитни, также известный как критерий Вилкоксона для независимых выборок. Эти тесты удобны тем, что не требуют предположения о характере распределения данных. Но если окажется, что выборки взяты из нормально распределенной генеральной совокупности, то их статистическая мощность будет несущественно отличаться от таковой для теста Стьюдента.

Полное описание статистических методов можно найти в специальной литературе, однако, ключевым моментом является то, что каждый статистический тест требует набора правил (допущений) и условий для своего использования, и механический перебор нескольких методов для поиска «нужного» результата абсолютно неприемлем с научной точки зрения. В этом смысле статистические тесты близки к лекарственным препаратам - у каждого есть показания и противопоказания, побочные эффекты и вероятность неэффективности. И столь же опасным является бесконтрольное применение статистических тестов, ведь на них базируются гипотезы и выводы.

Для более полного понимания вопроса точности статистического анализа необходимо определить и разобрать понятие «доверительной вероятности». Доверительная вероятность - это величина, принятая в качестве границы между вероятными и маловероятными событиями. Традиционно, она обозначается буквой «p». Для многих исследователей единственной целью выполнения статистического анализа является расчет заветного значения p, которое словно проставляет запятые в известной фразе «казнить нельзя помиловать». Максимально допустимой доверительной вероятностью считается величина 0,05. Следует помнить, что доверительная вероятность - это не вероятность некоторого события, а вопрос доверия. Выставляя перед началом анализа доверительную вероятность, мы тем самым определяем степень доверия к результатам наших исследований. А, как известно, чрезмерная доверчивость и излишняя подозрительность одинаково негативно сказываются на результатах любой работы.

Уровень доверительной вероятности показывает, какую максимальную вероятность возникновения ошибки первого рода исследователь считает допустимой. Уменьшение уровня доверительной вероятности, иначе говоря, ужесточение условий тестирования гипотез, увеличивает вероятность ошибок второго рода. Следовательно, выбор уровня доверительной вероятности должен осуществляться с учетом возможного ущерба от возникновения ошибок первого и второго рода. Например, принятые в биомедицинской статистике жесткие рамки, определяющие долю ложноположительных результатов не более 5% - это суровая необходимость, ведь на основании результатов медицинских исследований внедряется либо отклоняется новое лечение, а это вопрос жизни многих тысяч людей.

Необходимо иметь в виду, что сама по себе величина p малоинформативна для врача, поскольку говорит только о вероятности ошибочного отклонения нулевой гипотезы. Этот показатель ничего не говорит, например, о размере терапевтического эффекта при применении изучаемого препарата в генеральной совокупности. Поэтому есть мнение, что вместо уровня доверительной вероятности лучше было бы оценивать результаты исследования по величине доверительного интервала. Доверительный интервал - это диапазон значений, в котором с определенной вероятностью заключено истинное популяционное значение (для среднего, медианы или частоты). На практике удобнее иметь оба эти значения, что позволяет с большей уверенностью судить о применимости полученных результатов к популяции в целом.

В заключение следует сказать несколько слов об инструментах, которыми пользуется специалист по статистике, либо исследователь, самостоятельно проводящий анализ данных. Давно ушли в прошлое ручные вычисления. Существующие на сегодняшний день статистические компьютерные программы позволяют проводить статистический анализ, не имея серьезной математической подготовки. Такие мощные системы как SPSS, SAS, R и др. дают возможность исследователю использовать сложные и мощные статистические методы. Однако далеко не всегда это является благом. Не зная о степени применимости используемых статистических тестов к конкретным данным эксперимента, исследователь может провести расчеты и даже получить некоторые числа на выходе, но результат будет весьма сомнительным. Поэтому, обязательным условием для проведения статистической обработки результатов эксперимента должно быть хорошее знание математических основ статистики.

Объектом исследования в прикладной статистике являются статистические данные, полученные в результате наблюдений или экспериментов. Статистические данные - это совокупность объектов (наблюдений, случаев) и признаков (переменных), их характеризующих. Статистические методы анализа данных применяются практически во всех областях деятельности человека. Их используют всегда, когда необходимо получить и обосновать какие-либо суждения о группе (объектов или субъектов) с некоторой внутренней неоднородностью.

Статистические методы анализа данных, относящиеся к группе а), обычно называют методами прикладной статистики.

Числовые статистические данные - это числа, вектора, функции. Их можно складывать, умножать на коэффициенты. Поэтому в числовой статистике большое значение имеют разнообразные суммы. Математический аппарат анализа сумм случайных элементов выборки - это (классические) законы больших чисел и центральные предельные теоремы.

Нечисловые статистические данные - это категоризованные данные, вектора разнотипных признаков, бинарные отношения, множества, нечеткие множества и др. Их нельзя складывать и умножать на коэффициенты.

Статистический анализ данных, как правило, включает в себя целый ряд процедур и алгоритмов, выполняемых последовательно, параллельно или по более сложной схеме. В частности, можно выделить следующие этапы:

планирование статистического исследования;

организация сбора необходимых статистических данных по оптимальной или рациональной программе (планирование выборки, создание организационной структуры и подбор команды статистиков, подготовка кадров, которые будут заниматься сбором данных, а также контролеров данных и т.п.);

непосредственный сбор данных и их фиксация на тех или иных носителях (с контролем качества сбора и отбраковкой ошибочных данных по соображениям предметной области);

первичное описание данных (расчет различных выборочных характеристик, функций распределения, непараметрических оценок плотности, построение гистограмм, корреляционных полей, различных таблиц и диаграмм и т.д.),

оценивание тех или иных числовых или нечисловых характеристик и параметров распределений (например, непараметрическое интервальное оценивание коэффициента вариации или восстановление зависимости между откликом и факторами, т.е. оценивание функции),

проверка статистических гипотез (иногда их цепочек - после проверки предыдущей гипотезы принимается решение о проверке той или иной последующей гипотезы),

более углубленное изучение, т.е. применение различных алгоритмов многомерного статистического анализа, алгоритмов диагностики и построения классификации, статистики нечисловых и интервальных данных, анализа временных рядов и др.;

проверка устойчивости полученных оценок и выводов относительно допустимых отклонений исходных данных и предпосылок используемых вероятностно-статистических моделей, в частности, изучение свойств оценок методом размножения выборок;

применение полученных статистических результатов в прикладных целях (например, для диагностики конкретных материалов, построения прогнозов, выбора инвестиционного проекта из предложенных вариантов, нахождения оптимальных режима осуществления технологического процесса, подведения итогов испытаний образцов технических устройств и др.),

составление итоговых отчетов, в частности, предназначенных для тех, кто не является специалистами в статистических методах анализа данных, в том числе для руководства - "лиц, принимающих решения".

К методам относят:

Корреляционный анализ. Между переменными (случайными величинами) может существовать функциональная связь, проявляющаяся в том, что одна из них определяется как функция от другой. Но между переменными может существовать и связь другого рода, проявляющаяся в том, что одна из них реагирует на изменение другой изменением своего закона распределения. Такую связь называют стохастической. В качестве меры зависимости между переменными используется коэффициент корреляции (r), который изменяется в пределах от - 1 до +1. Если коэффициент корреляции отрицательный, это означает, что с увеличением значений одной переменной значения другой убывают. Если переменные независимы, то коэффициент корреляции равен 0 (обратное утверждение верно только для переменных, имеющих нормальное распределение). Но если коэффициент корреляции не равен 0 (переменные называются некоррелированными), то это значит, что между переменными существует зависимость. Чем ближе значение r к 1, тем зависимость сильнее. Коэффициент корреляции достигает своих предельных значений +1 или - 1, тогда и только тогда, когда зависимость между переменными линейная. Корреляционный анализ позволяет установить силу и направление стохастической взаимосвязи между переменными (случайными величинами).

Регрессионный анализ. В регрессионном анализе моделируется взаимосвязь одной случайной переменной от одной или нескольких других случайных переменных. При этом, первая переменная называется зависимой, а остальные - независимыми. Выбор или назначение зависимой и независимых переменных является произвольным (условным) и осуществляется исследователем в зависимости от решаемой им задачи. Независимые переменные называются факторами, регрессорами или предикторами, а зависимая переменная - результативным признаком, или откликом.

Если число предикторов равно 1, регрессию называют простой, или однофакторной, если число предикторов больше 1 - множественной или многофакторной. В общем случае регрессионную модель можно записать следующим образом:

y = f (x 1 , x 2 , …, x n),

где y - зависимая переменная (отклик), x i (i = 1,…, n) - предикторы (факторы), n - число предикторов.

Канонический анализ. Канонический анализ предназначен для анализа зависимостей между двумя списками признаков (независимых переменных), характеризующих объекты. Например, можно изучить зависимость между различными неблагоприятными факторами и появлением определенной группы симптомов заболевания, или взаимосвязь между двумя группами клинико-лабораторных показателей (синдромов) больного. Канонический анализ является обобщением множественной корреляции как меры связи между одной переменной и множеством других переменных.

Методы сравнения средних. В прикладных исследованиях часто встречаются случаи, когда средний результат некоторого признака одной серии экспериментов отличается от среднего результата другой серии. Так как средние это результаты измерений, то, как правило, они всегда различаются, вопрос в том, можно ли объяснить обнаруженное расхождение средних неизбежными случайными ошибками эксперимента или оно вызвано определенными причинами. Сравнение средних результата один из способов выявления зависимостей между переменными признаками, характеризующими исследуемую совокупность объектов (наблюдений). Если при разбиении объектов исследования на подгруппы при помощи категориальной независимой переменной (предиктора) верна гипотеза о неравенстве средних некоторой зависимой переменной в подгруппах, то это означает, что существует стохастическая взаимосвязь между этой зависимой переменной и категориальным предиктором.

Частотный анализ. Таблицы частот, или как еще их называют одновходовые таблицы, представляют собой простейший метод анализа категориальных переменных. Данный вид статистического исследования часто используют как одну из процедур разведочного анализа, чтобы посмотреть, каким образом различные группы наблюдений распределены в выборке, или как распределено значение признака на интервале от минимального до максимального значения. Кросстабуляция (сопряжение) - процесс объединения двух (или нескольких) таблиц частот так, что каждая ячейка в построенной таблице представляется единственной комбинацией значений или уровней табулированных переменных. Кросстабуляция позволяет совместить частоты появления наблюдений на разных уровнях рассматриваемых факторов.

Анализ соответствий. Анализ соответствий по сравнению с частотным анализом содержит более мощные описательные и разведочные методы анализа двухвходовых и многовходовых таблиц. Метод, так же, как и таблицы сопряженности, позволяет исследовать структуру и взаимосвязь группирующих переменных, включенных в таблицу.

Кластерный анализ. Кластерный анализ - это метод классификационного анализа; его основное назначение - разбиение множества исследуемых объектов и признаков на однородные в некотором смысле группы, или кластеры. Это многомерный статистический метод, поэтому предполагается, что исходные данные могут быть значительного объема, т.е. существенно большим может быть как количество объектов исследования (наблюдений), так и признаков, характеризующих эти объекты. Большое достоинство кластерного анализа в том, что он дает возможность производить разбиение объектов не по одному признаку, а по ряду признаков. Кроме того, кластерный анализ в отличие от большинства математико-статистических методов не накладывает никаких ограничений на вид рассматриваемых объектов и позволяет исследовать множество исходных данных практически произвольной природы.

Дискриминантный анализ. Дискриминантный анализ включает статистические методы классификации многомерных наблюдений в ситуации, когда исследователь обладает так называемыми обучающими выборками. Этот вид анализа является многомерным, так как использует несколько признаков объекта, число которых может быть сколь угодно большим. Цель дискриминантного анализ состоит в том, чтобы на основе измерения различных характеристик (признаков) объекта классифицировать его, т.е. отнести к одной из нескольких заданных групп (классов) некоторым оптимальным способом. При этом предполагается, что исходные данные наряду с признаками объектов содержат категориальную (группирующую) переменную, которая определяет принадлежность объекта к той или иной группе. Факторный анализ. Факторный анализ - один из наиболее популярных многомерных статистических методов. Если кластерный и дискриминантный методы классифицируют наблюдения, разделяя их на группы однородности, то факторный анализ классифицирует признаки (переменные), описывающие наблюдения. Поэтому главная цель факторного анализа - сокращение числа переменных на основе классификация переменных и определения структуры взаимосвязей между ними.

Деревья классификации. Деревья классификации - это метод классификационного анализа, позволяющий предсказывать принадлежность объектов к тому или иному классу в зависимости от соответствующих значений признаков, характеризующих объекты. Признаки называются независимыми переменными, а переменная, указывающая на принадлежность объектов к классам, называется зависимой. В отличие от классического дискриминантного анализа, деревья классификации способны выполнять одномерное ветвление по переменными различных типов категориальным, порядковым, интервальным. Не накладываются какие-либо ограничения на закон распределения количественных переменных. По аналогии с дискриминантным анализом метод дает возможность анализировать вклады отдельных переменных в процедуру классификации.

Анализ главных компонент и классификация. Метод анализ главных компонент и классификация позволяет решить эту задачу и служит для достижения двух целей:

уменьшение общего числа переменных (редукция данных) для того, чтобы получить "главные" и "некоррелирующие" переменные;

классификация переменных и наблюдений, при помощи строящегося факторного пространства.

Решение основной задачи метода достигается созданием векторного пространства латентных (скрытых) переменных (факторов) с размерностью меньше исходной. Исходная размерность определяется числом переменных для анализа в исходных данных.

Многомерное шкалирование. Метод можно рассматривать как альтернативу факторному анализу, в котором достигается сокращение числа переменных, путем выделения латентных (непосредственно не наблюдаемых) факторов, объясняющих связи между наблюдаемыми переменными. Цель многомерного шкалирования - поиск и интерпретация латентных переменных, дающих возможность пользователю объяснить сходства между объектами, заданными точками в исходном пространстве признаков. Показателями сходства объектов на практике могут быть расстояния или степени связи между ними. В факторном анализе сходства между переменными выражаются с помощью матрицы коэффициентов корреляций. В многомерном шкалировании в качестве исходных данных можно использовать произвольный тип матрицы сходства объектов: расстояния, корреляции и т.д.

Моделирование структурными уравнениями (причинное моделирование). Объектом моделирования структурными уравнениями являются сложные системы, внутренняя структура которых не известна ("черный ящик"). Основная идея моделирования структурными уравнениями состоит в том, что можно проверить, связаны ли переменные Y и X линейной зависимостью Y = aX, анализируя их дисперсии и ковариации. Эта идея основана на простом свойстве среднего и дисперсии: если умножить каждое число на некоторую константу k, среднее значение также умножится на k, при этом стандартное отклонение умножится на модуль k.

Временные ряды. Временные ряды - это наиболее интенсивно развивающееся, перспективное направление математической статистики. Под временным (динамическим) рядом подразумевается последовательность наблюдений некоторого признака Х (случайной величины) в последовательные равноотстоящие моменты t. Отдельные наблюдения называются уровнями ряда и обозначаются хt, t = 1, …, n. При исследовании временного ряда выделяются несколько составляющих:

x t =u t +y t +c t +e t , t = 1, …, n,

где u t - тренд, плавно меняющаяся компонента, описывающая чистое влияние долговременных факторов (убыль населения, уменьшение доходов и т.д.); - сезонная компонента, отражающая повторяемость процессов в течение не очень длительного периода (дня, недели, месяца и т.д.); сt - циклическая компонента, отражающая повторяемость процессов в течение длительных периодов времени свыше одного года; t - случайная компонента, отражающая влияние не поддающихся учету и регистрации случайных факторов. Первые три компоненты представляют собой детерминированные составляющие.

Нейронные сети. Нейронные сети представляют собой вычислительную систему, архитектура которой имеет аналогию с построением нервной ткани из нейронов. На нейроны самого нижнего слоя подаются значения входных параметров, на основании которых нужно принимать определенные решения.

Планирование экспериментов. Искусство располагать наблюдения в определенном порядке или проводить специально спланированные проверки с целью полного использования возможностей этих методов и составляет содержание предмета "планирование эксперимента".

Карты контроля качества. Качество продукции и услуг формируется в процессе научных исследований, конструкторских и технологических разработок, обеспечивается хорошей организацией производства и услуг. Но изготовление продукции и оказание услуг независимо от их вида всегда связано с определенным непостоянством условий производства и предоставления. Это приводит к некоторой вариабельности признаков их качества. Поэтому, актуальными являются вопросы разработки методов контроля качества, которые позволят своевременно выявить признаки нарушения технологического процесса или оказания услуг.

Различные единицы статистической совокупности, имеющие определенное сходство межу собой по достаточно важным признакам, объединяются в группы при помощи метода группировки. Такой прием позволяет "сжать" информацию, полученную в ходе наблюдения, и на этой основе установить закономерности, присущие изучаемому явлению.

Метод группировок применяется для решения различных задач, важнейшими из которых являются:

1. выделение социально-экономических типов

2. определение структуры однотипных совокупностей

3. вскрытие связей и закономерностей между отдельными признаками общественных явлений

В связи с этим существуют 3 вида группировок: типологические, структурные и аналитические. Группировки различают по форме проведения.

Типологическая группировка представляет собой разделение исследуемой качественно разнородной статистической совокупности на классы, социально-экономические типы, однородные группы единиц.

Структурные группировки разделяют однородную в качественном отношении совокупность единиц по определенным, существенным признакам на группы, характеризующие ее состав и внутреннюю структуру.

Аналитические группировки обеспечивают установление взаимосвязи и взаимозависимости между исследуемыми социально-экономическими явлениями и признаками, их характеризующими. Посредством этого вида группировок устанавливаются и изучаются причинно-следственные связи между признаками однородных явлений, определяются факторы развития статистической совокупности.

Курс знакомит студентов с основными задачами и методами прикладной статистики .

Цели курса - связать теорию и практику, научить студентов «видеть» статистические задачи в различных предметных областях и правильно применять методы прикладной статистики, показать на практических примерах возможности и ограничения статистических методов. Курс имеет скорее методологическую, чем математическую направленность и не содержит доказательств теорем.

Каждый метод описывается по единой схеме:

• постановка задачи;
• примеры прикладных задач из области биологии, экономики, социологии, производства, медицины;
• базовые предположения и границы применимости;
• описание метода (для методов проверки статистических гипотез: нулевая гипотеза и альтернативы, статистика, её нулевое распределение);
• достоинства, недостатки, ограничения, «подводные камни»;
• сравнение с другими методами.

Курс читается студентам 4 курса кафедры математических методов прогнозирования ВМиК МГУ с 2007 года и студентам 4 курса факультета управления и прикладной математики МФТИ с 2011 года. Предполагается, что студенты уже прослушали курсы теории вероятностей и математической статистики.

Программа курса

Введение

Обзор необходимых сведений из теории вероятностей и математической статистики.

• Понятия простой выборки и статистики . Примеры статистик: моменты , асимметрия и эксцесс , вариационный ряд и порядковые статистики, эмпирическое распределение .
• Статистические точечные оценки и их свойства: несмещённость , состоятельность , оптимальность , робастность .
• Интервальные оценки , понятия доверительного интервала и уровня доверия . Доверительные интервалы для среднего и медианы.
• Часто используемые распределения: нормальное, хи-квадрат, Фишера, Стьюдента, Бернулли, биномиальное, Пуассона.
• Проверка статистических гипотез , основные понятия: уровень значимости , достигаемый уровень значимости (p-value), ошибки I и II рода. Односторонние и двусторонние альтернативы.
• Свойства достигаемых уровней значимости. Статистическая и практическая значимость.
• Свойства критериев: несмещённость , состоятельность , мощность .

Параметрическая проверка гипотез

• Критерии нормальности: критерий хи-квадрат (Пирсона), критерий Шапиро-Уилка , критерии, основанные на различиях между эмпирической и теоретической функциями распределения, критерий Колмогорова-Смирнова (Лиллиефорса). Упрощённая проверка нормальности по асимметрии и эксцессу: критерий Харке-Бера.
• Нормальные параметрические критерии для проверки гипотез: гипотезы о положении , гипотезы о рассеивании .
• Гипотезы о средних: t- и z-критерии Стьюдента для одной и двух выборок, связанные выборки
• Гипотезы о дисперсиях: критерии хи-квадрат и Фишера .
• Гипотезы о значениях параметра распределения Бернулли: сравнение значения параметра с заданным, сравнение параметров распределений двух выборок (случаи связанных и независимых выборок).
• Доверительный интервал для параметра распределения Бернулли: Вальда, Уилсона. Доверительные интервалы Уилсона для разности параметров двух выборок.

Непараметрическая проверка гипотез

Множественная проверка гипотез

Дисперсионный анализ (ANOVA)

• Однофакторная модель. Независимые выборки: критерии Фишера, Краскела-Уоллиса , Джонкхиера . Связанные выборки: критерии Фишера, Фридмана и Пейджа . Предположение сферичности.
• Модель со случайным эффектом, разделение дисперсии.
• Модель с фиксированным эффектом, уточнение различий: методы LSD и HSD, критерии Неменьи и Даннета .
• Проверка гипотезы о равенстве дисперсий: критерии Бартлета и Флайнера-Киллиана .
• Двухфакторная модель. Взаимодействие факторов, его интерпретация. Двухфакторный нормальный анализ . Иерархический дизайн.

Анализ зависимостей

Линейный регрессионный анализ

Обобщения линейной регрессии

• Обобщённые линейные модели. Связующая функция. Оценка параметров методом максимального правдоподобия.
• Доверительные интервалы и оценка значимости коэффициентов, критерии Вальда и отношения правдоподобия.
• Меры качества обобщённых линейных моделей: аномальность, информационные критерии.
• Постановка задачи логистической регрессии . Логит, интерпретация коэффициентов логистической регрессии.
• Проверка линейности логита: сглаженные диаграммы рассеяния, дробные полиномы.
• Классификация на основе логистической регрессии: чувствительность, специфичность, выбор порога.
• Регрессия счётного признака. Пуассоновская модель.
• Предположение о равенстве матожидания и дисперсии и его проверка. Отрицательная биномиальная модель. Устойчивая оценка дисперсии коэффициентов.

Анализ временных рядов

Последовательный анализ

[Вальд, Mukhopadhyay]

• Применение в задачах проверки гипотез о значениях параметра биномиального распределения: сравнение значения с заданным, сравнение двух значений.
• Применение в задачах проверки гипотез о значениях параметров нормального распределения: сравнение значения среднего с заданными (симметричный и несимметричный варианты), сравнение значения дисперсии с заданным.
• Последовательные доверительные интервалы для среднего нормальной совокупности с неизвестной дисперсией (двухэтапная, последовательная процедуры). Процедуры для разности средних двух нормальных совокупностей, случаи равных и неравных дисперсий.
• Непараметрические последовательные доверительные интервалы для среднего и медианы.

Анализ причинно-следственных связей

• Неразрешимость парадокса Симпсона в рамках классической статистики.
• Причинные графы, цепочки, вилки, коллайдеры. D-разделимость.
• Интервенции. Оценка эффекта по обзервационным данным. Хирургия графа и формула корректировки (adjustment formula).
• Правило причинного эффекта. Варианты для отсутствия родителей: правило задней двери, правило передней двери.
• Propensity score, обратное вероятностное взвешивание.
• Графы в линейных моделях. Связь со структурными уравнениями.

Литература

1. Вальд, А. Последовательный анализ. - М.: Физматлит, 1960.
2. Лагутин, М.Б. Наглядная математическая статистика. В двух томах. - М.: П-центр, 2003.
3. Кобзарь, А.И. Прикладная математическая статистика. - М.: Физматлит, 2006.
4. Agresti, A. Categorical Data Analysis. - Hoboken: John Wiley & Sons, 2013.
5. Bonnini, S., Corain, L., Marozzi, M., Salmaso S. Nonparametric Hypothesis Testing: Rank and Permutation Methods with Applications in R. - Hoboken: John Wiley & Sons, 2014.
6. Bretz, F., Hothorn, T., Westfall, P. Multiple Comparisons Using R. - Boca Raton: Chapman and Hall/CRC, 2010.
7. Cameron, A.A., Trivedi, P.K. Regression Analysis of Count Data. - Cambridge: Cambridge University Press, 2013.
8. Dickhaus, T. Simultaneous Statistical Inference With Applications in the Life Sciences. - Heidelberg: Springer, 2014.
9. Good, P. Permutation, Parametric and Bootstrap Tests of Hypotheses: A Practical Guide to Resampling Methods for Testing Hypotheses. - New York: Springer, 2005.
10. Hastie, T. , Tibshirani, R. , Friedman, J. The Elements of Statistical Learning, 2nd edition . - Springer, 2009. - 533 p. ()
11. Hosmer, D.W., Lemeshow S., Sturdivant, R.X. Applied Logistic Regression. - Hoboken: John Wiley & Sons, 2013.
12. Hyndman, R.J., Athanasopoulos G. Forecasting: principles and practice. - OTexts, 2015. https://www.otexts.org/book/fpp
13. Kanji, G.K. 100 statistical tests. - London: SAGE Publications, 2006.
14. Mukhopadhyay, N., de Silva, B. M. Sequential methods and their applications. - Boca Raton: Chapman and Hall/CRC, 2009.
15. Olsson, U. Generalized Linear Models: An Applied Approach. - Lund: Studentlitteratur, 2004.
16. Pearl J., Glymour M., Jewell N.P. Causal Inference in Statistics: A Primer. - Chichester: John Wiley & Sons, 2016.
17. Tabachnick, B.G., Fidell, L.S. Using Multivariate Statistics. - Boston: Pearson Education, 2012.
18. Wooldridge, J. Introductory Econometrics: A Modern Approach. - Mason: South-Western Cengage Learning, 2013.

Статистические методы анализа данных принято делить на две большие группы: одномерные методы статистического анализа и многомерные методы.

Одномерные методы анализа - это методы, которые применяют в случаях, если существует единый измеритель для оценки каждого элемента выборки, либо если этих измерителей несколько, каждая переменная анализируется отдельно от всех остальных . В центре внимания данных методов находится анализ средних значений и показателей вариации переменных.

Классификация одномерных методов осуществляется по характеру исходных данных (метрические или неметрические), а также по количеству и типу выборок. Так, выборки делят на зависимые (парные) - это выборки, сформированные из одной генеральной совокупности и независимые выборки - это выборки, сформированные из различных генеральных совокупностей. На практике независимыми считают выборки, сформированные из различных страт (в случае использования стратифицированной или квотной выборки), например, мужчин и женщин или групп респондентов с различным уровнем дохода.

К одномерным методам анализа данных относят:

· Методы проверки гипотез (z-критерий, t-критерий, F-критерий, χ2-критерий и т.п.).

Более подробно проверку гипотез смотри: Гмурман В. Е. Теория вероятностей и математическая статистика.

· Методы анализа статистических рядов распределения.

· Однофакторный дисперсионный анализ.

· Другие методы.

Многомерные методы анализа - это методы, которые применяют в случаях, если для оценки каждого элемента выборки используется два или больше измерителя и эти переменные анализируются одновременно . В центре внимания данной группы методов уже находятся анализ взаимосвязей, связей и сходства между переменными.

Выделяют следующие многомерные методы:

1) Методы выявления зависимости между переменными – это методы, в которых одна или несколько переменных являются зависимыми, а другие независимыми. К этой группе относят:

· корреляционно-регрессионный анализ;

· дисперсионный и ковариационный анализ;

· дискриминантный анализ;

· совместный анализ.

2) Методы выявления взаимозависимости между переменными – это методы, позволяющие группировать данные на основе сходства. В данных методах нет деления переменных на зависимые и независимые. К этой группе относят:

· кластерный анализ;

· факторный анализ;

· многомерное шкалирование.

Выбор методов анализа данных осуществляется на основе:

· цели, задач, рабочих гипотез маркетингового исследования;

· типа маркетингового исследования (поисковое или итоговое; описательное или причинно-следственное);

· типа собранных данных - метрические и неметрические переменные;

· шкал, используемых в исследовании;

· объема и метода выборки;

· метода сбора данных;

· области применения и ограничений статистических методов анализа данных.

По сути все предшествующие этапы маркетингового исследования предопределяют выбор стратегии анализа данных. Немалую роль при этом играет опыт и квалификация самого исследователя. В заключении отметим, что сложные многомерные методы статистического анализа данных используются не всегда. Очень часто исследователь ограничивается лишь предварительным (базовым) анализом данных и его графической интерпретацией.

Конечно же, необходимо помнить, что анализ данных маркетингового исследования - это не последний его этап, за ним следует разработка практических рекомендаций и формирование отчета исследования.