Построение регрессионных моделей в пакете MathCAD

221 Pages·1.808 MB·Russian

by  Воскобойников Ю.Е.

Ю.Е. ВОСКОБОЙНИКОВ

ПОСТРОЕНИЕ
РЕГРЕССИОННЫХ МОДЕЛЕЙ
В ПАКЕТЕ MATHCAD

НОВОСИБИРСК 2009
3
МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ

ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ

НОВОСИБИРСКИЙ ГОСУДАРСТВЕННЫЙ
АРХИТЕКТУРНО-СТРОИТЕЛЬНЫЙ УНИВЕРСИТЕТ (СИБСТРИН)

Ю.Е. Воскобойников

ПОСТРОЕНИЕ
РЕГРЕССИОННЫХ МОДЕЛЕЙ
В ПАКЕТЕ MATHCAD

Учебное пособие

НОВОСИБИРСК 2009

4
УДК 519.2:004.4(075)
ББК 22.1
В762

Воскобойников Ю. Е.
Построение регрессионных моделей в пакете MathCAD : учеб. по-
собие / Ю. Е. Воскобойников ; Новосиб. гос. архитектур.-строит. ун-т. –
Новосибирск : НГАСУ (Сибстрин), 2009. – 220 с.

ISBN-978-5-7795-0422-5

Учебное пособие содержит основные теоретические положения по сле-
дующим разделам регрессионного анализа экспериментальных данных: рег-
рессионные модели и регрессионное моделирование, парный и множествен-
ный регрессионный анализ. Приводятся необходимые расчетные соотношения.
Большое внимание уделяется реализации этих соотношений в математическом
пакете MathCAD. Учебное пособие содержит большое количество примеров и
копий фрагментов документов MathCAD, которые позволят студентам не
только лучше понять и усвоить учебный материал, но и эффективно использо-
вать пакет MathCAD при выполнении курсовых работ и дипломной работы.
Учебное пособие предназначено для магистрантов и аспирантов специ-
альностей 270102 «Промышленное и гражданское строительство», 270104
«Гидротехническое строительство», 270106 «Производство строительных ма-
териалов, изделий и конструкций», а также студентов, обучающихся по на-
правлению 270100 «Строительство».

Печатается по решению издательско-библиотечного совета
НГАСУ (Сибстрин)
Рецензенты:
М.С. Соппа, д-р физ.-мат. наук, профессор, декан
⎯
факультета экономики и менеджмента НГАСУ (Сибстрин);
В.И. Хабаров, д-р техн. наук, профессор, декан
⎯
факультета бизнес-информатики, завкафедрой
информационных технологий на транспорте СГУПС

ISBN-978-5-7795-0422-5 Воскобойников Ю.Е., 2009
Новосибирский государствен-
ный архитектурно-строительный
университет (Сибстрин), 2009

5
ОГЛАВЛЕНИЕ

ВВЕДЕНИЕ...............................................................................8

ТЕМА 1. ВЫБОРОЧНЫЕ ХАРАКТЕРИСТИКИ
РАСПРЕДЕЛЕНИЙ СЛУЧАЙНЫХ ВЕЛИЧИН
И ЗАДАЧИ РЕГРЕССИОННОГО
АНАЛИЗА ДАННЫХ............................................................10
1.1. Необходимые определения и понятия
теории вероятностей...............................................................10
1.2. Выборочные оценки числовых характеристик
случайных величин.................................................................23
1.3. Проверка статистических гипотез..................................30
1.4. Аномальные измерения и их исключение
из выборочной совокупности................................................34
1.5. Регрессионные модели
и задачи регрессионного анализа..........................................39

ТЕМА 2. ПАРНЫЙ РЕГРЕССИОННЫЙ АНАЛИЗ............44
2.1. Постановка задачи парной регрессии............................44
2.2. Выбор вида функции регрессии.....................................48
2.3. Линейная парная регрессия и вычисление
ее коэффициентов...................................................................52
2.4. Вычисление коэффициентов уравнения
регрессии и их характеристик в пакете MathCAD..............59
2.5. Интервальные оценки функции регрессии
и ее параметров.......................................................................62
2.6. Значимость уравнения регрессии и коэффициент
детерминации..........................................................................69
2.7. Нелинейная парная регрессия........................................77
2.8. Построение нелинейных парных регрессий
в пакете MathCAD..................................................................85
2.9. Точностная интерпретация коэффициентов
нелинейной парной регрессии.............................................101
2.10. Робастные методы оценивания
и метод наименьших модулей.............................................113
6
ТЕМА 3. МНОЖЕСТВЕННЫЙ РЕГРЕССИОННЫЙ
АНАЛИЗ................................................................................121
3.1. Классическая линейная модель
множественной регрессии....................................................121
3.2. Оценка коэффициентов линейной модели
методом наименьших квадратов.........................................124
3.3. Интервальные оценки для функции регрессии
и ее коэффициентов..............................................................137
3.4. Значимость множественной регрессии
и ее коэффициентов..............................................................144
3.5. Множественная нелинейная регрессия........................149
3.6. Точностная интерпретация коэффициентов
нелинейной множественной регрессии..............................155
3.7. Исследование остатков регрессионной модели..........159

ТЕМА 4. ПРАКТИЧЕСКИЕ АСПЕКТЫ
МНОЖЕСТВЕННОГО РЕГРЕССИОННОГО АНАЛИЗА.......174
4.1. Мультиколлинеарность модели
множественной регрессии....................................................174
4.2. Отбор объясняющих переменных
регрессионной модели..........................................................182
4.3. Неполнота и избыточность уравнения регрессии.......188
4.4. Фиктивные переменные в линейных
регрессионных моделях.......................................................194
4.5. Частная корреляция.......................................................199
4.6. Гетероскедастичность модели и метод взвешенных
наименьших квадратов.........................................................203

ЗАКЛЮЧЕНИЕ.....................................................................217

БИБЛИОГРАФИЧЕСКИЙ СПИСОК.................................218

ПРИЛОЖЕНИЕ.....................................................................219

7
ВВЕДЕНИЕ

Среди методов прикладной математической статистики
регрессионный анализ занимает важное положение. Это обу-
словлено не только тем, что регрессионный анализ является од-
ним из самых распространенных методов обработки результатов
наблюдений, но и тем, что он, по существу, является основой
целого ряда других разделов математической статистики (пла-
нирование эксперимента, дисперсионный анализ, многомерный
статистический анализ).
Объектом рассмотрения регрессионного анализа является
некоторый физический (технический, экономический, социаль-
ный) процесс, который характеризуется несколькими перемен-
ными. Одна из этих переменных (называемая зависимой) функ-
ционально связана с другими (независимыми переменными).
Под независимыми переменными понимаются переменные, для
которых можно устанавливать желаемые значения, либо те, ко-
торые можно наблюдать, но не управлять. В результате измене-
ния независимых переменных появляется некоторый эффект,
который приводит к изменению зависимой переменной (иногда
называемой переменной-откликом). В большинстве случаев
функциональная связь между этими переменными является не-
известной и необходимо построить некоторую аналитическую
зависимость – уравнение регрессии, которая с приемлемой точ-
ностью описывала бы взаимосвязь между зависимой и незави-
симыми переменными.

В данном учебном пособии рассматриваются следующие
основные задачи регрессионного анализа экспериментальных
данных:
• отбор значимых независимых переменных;
• выбор вида уравнения регрессии (линейная, полиноми-
альная, экспоненциальная и т.д.);
• вычисление оценок для неизвестных коэффициентов;
• построение доверительных интервалов для неизвестных
коэффициентов;
8
• проверка значимости вычисленных оценок и построен-
ного уравнения регрессии;
• регрессионные модели с фиктивными переменными.

В России и за рубежом издано большое количество литера-
туры, посвященной регрессионному анализу и обработке экспе-
риментальных данных. Основными недостатками этих изданий
являются сложность изложения материала и отсутствие алго-
ритмической реализации тех или иных расчетных соотношений
в среде определенного математического пакета (которые сего-
дня широко используются в научно-инженерных расчетах). По-
этому автор при написании учебного пособия преследовал сле-
дующие цели:
• изложить материал в максимально доступной и понят-
ной форме (оставляя в стороне сложные доказательства, кото-
рые можно найти в приводимом списке литературы);
• при изложении материала придерживаться рецептурной
формы, т.е. непосредственно для практического применения из-
лагаемых методов или алгоритмов;
• показать алгоритмическую и численную реализацию ос-
новных расчетных соотношений в математическом пакете
MathCAD;
• проанализировать основные трудности, возникающие
при решении задач регрессионного анализа на практике.

Изложение материала сопровождается большим числом
примеров, а также заданий, решение которых служит закрепле-
нию теоретических положений изучаемой дисциплины. Эту же
цель преследуют контрольные вопросы и учебные задания, при-
водимые в конце каждой темы пособия.
Предполагается, что читатель знаком с основами работы в
пакете MathCAD. При отсутствии таких знаний можно обра-
титься к учебному пособию [6] и изучить требуемые конструк-
ции пакета MathCAD. Необходимые сведения по теории веро-
ятностей и математической статистике кратко изложены в теме
1 данного пособия, а также в соответствующей учебной литера-
туре (например, [1–4]).

9
ТЕМА 1. ВЫБОРОЧНЫЕ ХАРАКТЕРИСТИКИ
РАСПРЕДЕЛЕНИЙ СЛУЧАЙНЫХ ВЕЛИЧИН И ЗАДАЧИ
РЕГРЕССИОННОГО АНАЛИЗА ДАННЫХ

В этой теме кратко излагаются основные понятия теории
вероятностей и математической статистики, необходимые для
изложения и понимания материала последующих тем. Вводится
понятие регрессионной модели и рассматриваются основные за-
дачи регрессионного анализа экспериментальных данных.

1.1. Необходимые определения и понятия
теории вероятностей

Случайной величиной X называется переменная, которая в
результате испытания принимает одно из возможного множест-
ва своих значений (какое именно – заранее неизвестно).
В дальнейшем случайные величины обозначаются больши-
ми буквами, а конкретные значения – маленькими буквами.
Для непрерывной случайной величины (с.в.) множество
возможных значений бесконечно и несчетно.
Законом распределения с.в. называется всякое соотноше-
ние, устанавливающее связь между возможными значениями
случайной величины и соответствующими им вероятностями.
Для непрерывной с.в. в качестве таких соотношений ис-
пользуются две характеристики: функция распределения F(x) и
плотность распределения p(x).
Функцией распределения случайной величины X называет-
ся функция F(x), определяющая для каждого значения x вероят-
ность того, что случайная величина X примет значение меньше
x, т.е.
F(x) = P(X < x). (1.1.1)
Запись X < x определяет случайное событие, заключающееся в
том, что значения случайной величины X меньше заданного зна-
чения x.
Некоторые свойства F(x):
• функция F(x) неотрицательна, и выполняется неравенство
10
0 ≤ F(x) ≤ 1;
• вероятность попадания случайной величины X в интервал
[x , x ) (значение x включается в интервал) равна приращению
1 2 1
ее функции распределения на этом интервале, т.е.
P(x ≤ X < x ) = F(x ) – F(x ).
1 2 2 1
Заметим, что для непрерывной с.в. имеет место
P(x ≤ X ≤ x ) = F(x ) – F(x ), (1.1.2)
1 2 2 1
так как вероятность любого отдельно взятого значения с.в. рав-
на нулю, т.е. P(X = x )=0и поэтому справедливо (1.1.2).
2
Плотностью распределения (или плотностью вероят-
ности) p(x) случайной величины X называется производная ее
функции распределения
d
p(x)= F(x). (1.1.3)
dx
Некоторые свойства p(x):
• плотность распределения – неотрицательная функция,
т.е. p(x) ≥ 0;
• вероятность попадания с.в. в интервал [a, b] равна ин-
тервалу
b
∫
P(a≤ X ≤b)= p(x)dx; (1.1.4)
a
∞
• ∫ p(x)dx=1, (1.1.5)
−∞
это равенство следует из (1.1.4) с заменой a = – ∞ ; b = ∞. Дейст-
вительно, событие, что случайная величина X примет значение
из интервала (–∞, ∞), является достоверным, и вероятность та-
кого события равна 1;
• функция распределения может быть определена через
плотность распределения по формуле:
x
F(x)= ∫ p(z)dz. (1.1.6)
−∞
11
Заметим, что соотношения (1.1.3) и (1.1.6) определяют од-
нозначное соответствие между F(x) и p(x).

Числовые характеристики случайных величин. Функция
распределения и плотность распределения случайной величины
дают исчерпывающую информацию о с.в., так как позволяют
вычислить вероятности любых событий, связанных с этой с.в.
Однако такая информация труднообозрима и не всегда удобна
для анализа.
Поэтому для анализа с.в. используются их числовые харак-
теристики – числа, отображающие наиболее существенные
черты распределения с.в., и эти числовые характеристики явля-
ются неслучайными. Приведем определения часто используе-
мых числовых характеристик.
Математическое ожидание или среднее значение (обо-
значаемое M(X)) случайной величины X определяется формулой
∞
M(X)= ∫ x⋅p(x)dx. (1.1.7)
−∞
Некоторые свойства математического ожидания:
• M(C) = C, где C – постоянная величина;
• M(CX) = C·M(X);
• M(X – M(X)) = 0;
• M(X ± Y) = M(X) ± M(Y), где X, Y – случайные величины.
Дисперсией D(X) (также обозначается σ2 или σ2) случай-
X
ной величины X называется величина
∞
D(X)= ∫ (x−M(X))2⋅p(x)dx. (1.1.8)
−∞
Дисперсия D(X) характеризует отклонение (разброс) случайной
величины относительно ее математического ожидания.
Некоторые свойства дисперсии:
• D(C) = 0, где C – постоянная величина;
• D(CX)=C2D(X);
12