Теория вероятностей и математическая статистика/Регрессионный анализ

Рассмотрим две случайные величины $X$ и $Y$. Регрессией $Y$ на $X$ называется математическое ожидание случайной величины $Y$ при условии, что $X=x$: $\mathbf {M} (Y|X=x)=\varphi (x)$.

График функции $\varphi (x)$ называется кривой регрессии.

Если $\varphi (x)=ax+b$, то говорят о линейной регрессии $Y$ на $X$.

По данным выборки можно найти выборочные средние $x$, $y$ и исправленные выборочные средние квадратические отклонения $s_{x}$, $s_{y}$.

Тогда оценки для коэффициентов $a$ и $b$ имеют вид ${\bar {a}}=r{\frac {s_{y}}{s_{x}}}$, ${\bar {b}}={\bar {y}}-{\bar {a}}{\bar {x}}$, где r — выборочный коэффициент корреляции, который вычисляется по формуле

$r={\frac {\displaystyle \sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sqrt {\displaystyle \sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}\displaystyle \sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}}}}$.

Выборочный коэффициент корреляции $-1\leq r\leq 1$. Он отражает степень линейной зависимости $Y$ от $X$.

Примеры

Пример 1

Десять раз при различных значениях признака $X$ было измерено значение признака $Y$. Получены следующие результаты:

$X$	2	2.8	3	3.1	3.5	3.9	4.1	4.4	4.6	5.1
$Y$	3.9	7.8	9.3	9.8	11.1	13.1	14	16.3	17.1	19.4

Найти уравнение регрессии $Y$ на $X$: $y=ax+b$.

Решение:

Все вычисления удобно производить в таблице.

Для нахождения коэффициентов ${\bar {a}}$ и ${\bar {b}}$ найдем все суммы (последняя строка таблицы).

${\bar {x}}={\frac {1}{n}}\displaystyle \sum _{i=1}^{n}x_{i}=36.5/10=3.65$, ${\bar {y}}={\frac {1}{n}}\displaystyle \sum _{i=1}^{n}y_{i}=121.8/10=12.18$.

Тогда $r={\frac {40.01}{\sqrt {8.025\cdot 200.336}}}=0.9978$;

$s_{x}={\sqrt {{\frac {1}{n}}\displaystyle \sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}-{\sqrt {0.8025}}=0.8958$;

$s_{y}={\sqrt {{\frac {1}{n}}\displaystyle \sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}}}-{\sqrt {20.0336}}=4.4758$.

Коэффициенты регрессии:

${\bar {a}}=r{\frac {s_{y}}{s_{x}}}=0.9978{\frac {4.4758}{0.8958}}=4.9856$;

${\bar {b}}={\bar {y}}-{\bar {a}}{\bar {x}}=12.18-4.9856\cdot 3.65=-6.0176$.

Таким образом, уравнение регрессии имеет вид $y=4.9856x-6.0176$

$i$	$x_{i}$	$y_{i}$	$x_{i}-{\bar {x}}$	$y_{i}-{\bar {y}}$	$(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})$	$(x_{i}-{\bar {x}})^{2}$	$(y_{i}-{\bar {y}})^{2}$
1	2	3.9	-1.65	-8.28	13.662	2.7225	68.5584
2	2.8	7.8	-0.85	-4.38	3.723	0.7225	19.1844
3	3	9.3	-0.65	-2.88	1.872	0.4225	8.2944
4	3.1	9.8	-0.55	-2.38	1.309	0.3025	5.6644
5	3.5	11.1	-0.15	-1.08	0.162	0.0225	1.1664
6	3.9	13.1	0.25	0.92	0.23	0.0625	0.8464
7	4.1	14	0.45	1.82	0.819	0.2025	3.3124
8	4.4	16.3	0.75	4.12	3.09	0.5625	16.9744
9	4.6	17.1	0.95	4.92	4.674	0.9025	24.2064
10	5.1	19.4	1.45	7.22	10.469	2.1025	52.1284
$\sum$	36.5	121.8			40.01	8.025	200.336

Упражнения

1 Если $\varphi (x)=ax+b$, то говорят о какой регрессии?

	линейной
	параболической
	гиперболической

2 По какой формуле вычисляется выборочный коэффициент корреляции?

	$r={\frac {\displaystyle \sum _{i=1}^{n}(x_{i}-x_{i+1})(y_{i}-y_{i+1})}{\sqrt {\displaystyle \sum _{i=1}^{n}(x_{i}-x_{i+1})^{2}\displaystyle \sum _{i=1}^{n}(y_{i}-y_{i+1})^{2}}}}$
	$r={\frac {\displaystyle \sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}(y_{i}-{\bar {y}})^{2}}{\sqrt {\displaystyle \sum _{i=1}^{n}(x_{i}-{\bar {x}})\displaystyle \sum _{i=1}^{n}(y_{i}-{\bar {y}})}}}$
	$r={\frac {\displaystyle \sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sqrt {\displaystyle \sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}\displaystyle \sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}}}}$