Table Of ContentУДК3 30.47
ББК6 5.051.03
Ф79
ПереводАч.иС ко колова
РедактЛо.Мр а медова
ФорманДж.
Ф79 Многцои фрА:н алибзо льшидха нныпхр ип омощEи xc/eД жlа нФ орма;нП ер.
е ангАп..С ОКОЛОВОМЙ..: А льпиПнааб лише2р0,1 -6.4 61с .
-
ISBN9 78-5-9614-5032-3
Казалобсыть, е рми.нб ольшдиаен ныпео.н ятиед но ступтеонл ьскпое циалистам.
Ноа втоэрт окйн иги доказчытвоаа неатл,и з данныхо рганизоив а"втр ьо
МОЖНО
панятноочме,н эьф фективин зонма комом ExcПeрlи.че нме в ажно,
СТОМ, МНОГИМ
скольвкеол ивка шм ассидва нныТхе.х нипкрие,д ложенвнэ ытео кйн игбеу,д упто
лезниыв ладелньец6у0 ЛЬШиОнГтОе рнет-маиг аанзаилниат,ки ркууп нтоойр говой
компанВиыип .е рестанбеотяет ьбсоял ьшидха ннынха,у читвеисдье твнь и хн уж
нуюв ами нформациис юм ожетпер оанализирпорвеадтпьо чтвеаншииякх л иентов
и предложиимтн ьо выпер одукотпыт,и мизиродвеантеьж нпыоет окии с кладские
запасдыр,у гисмлио вампио,в ысиэтфеф ективнроасбтоьт выа шеойр ганизации.
Книгбау деитн теремсанрак етолобгиазмн,е с-аналиир туиккоавмо дитреалзям
ныху ровнекйо,т орывма жнвол адесттьа тистидклояпй р огнозироивп алнаиня и
рования буддеуящтеейл ьнкоосмтпиа ний.
УДК3 30.47
ББК6 5.051.03
Ва правзаа щищеННbIи.l( аl(ачяа стэьт ойI(H UZU нем ожет
бытьв оспроизввl(е адl(еОнбЙаblт он иб blllфорОм е иl( al(UМбUы
тон иб ьurсор едствавмкил,ю чрааяз мещевн сиеет Иин тер
нети кво рпоратисвентыяхах т ,a lOКe запивсп ьа мятЭьВ М
для частноиглоnи yt5A ичногиос пользобеэв аnниuяс ьменрнаозг.о
решенеиляа делaьeцmйo pcпl(рuxа Пво.fЮ npocy организдо-ации
ступ1(а э леl(тронбниобйл иотиезкдеа те.льс0т6ераа щайтесь
поа дреmсylуi b@a/pina.ru
ltJ /ohWni le&y S oл[sл,е I.л,d iaпаIрлоdliiаs2п,0а 1,4
AIRIi ghRtess ervТehidts.r anslation unpdueblrIi iesehnesde
witthh oer igipnuablI i/sohheWnri 1e&y S ons',п е.
ltJ Изданниаер усскяозмы кпее,р евоофд,о рмление.
000, ДЛьпинПаа блише2р0.1,6
ISB9N7 8-5-96\4(-р5у0с3.2)- 3 ltJ Фотографиняа о бложкJеa.s oTnr avIi s
ISB9N7 8·1-118-(6а6н1г4л6.-)8 CourtoefsJy о hWл. f oreman
6 Много цифр
. ". ......" . ...................... " .... ""." ..... "" .. ". . ". . "" .. 61
Начнем с четырех кластеров .......... ...
. 62
Евклидово расстояние: измерение рассrояний напрямик ........................................
65
Расстояния и принадлежность к кластеру для всех! ..................................................
. . .. . .. . . . . 6 7
Поиск решений для кластерных центров . .... ............ ..... ... . ..... ..... .................. ..
. 70
Смысл полученных результатов ................................................................................
. . .. .. . 71
Рейтинг сделок кластерным методом ..................... .............. ......... .......... ... .......
75
Силуэт: хороший способ позволить разным значениям k посостязаться ..................
. . 82
Как насчет пяти кластеров? ........................ ..............................................................
..... " .............................. "". ............................... 83
Поиск решения для пяти кластеров "
". ......." ". .... " ..... ". ................. " ............ 84
Рейтинг сделок для всех пяти кластеров ........
" ............... "". .... "" .... "" .... 87
Вычисление силуэта кластеризации по пяти средним .....
"". .. " 89
К-медианная кластеризация и асимметрическое измерение расстояний
..
89
Использование k-медианной кластеризации .............................................................
". ......." . .......................... 90
Переходим к соответствующему измерению расстояний ...
А теперь все то же самое, но в Excel ........" . ...." ... ". ... "". ........... " ........................ ". ... 92
". ............" . ................ ". ..... "" .... "" .. 94
Рейтинг сделок для 5-медианных кластеров ......
98
Подытожим
....................................................................................................................
3 Наивный байесовский классификатор
и неописуемая легкость бытия идиотом . ". ... ". . "." ..... " .... ". ..................." . ....... 1О1
..
". . ". ...... "". . "". .... 101
Называя продукт Maпdrill, ждите помех вместе с сигналами
..
". ............. ". .. ". .. ". .... 104
Самое быстрое в мире введение в теорию вероятности"
..
" .... ". . ". .... ". ... ". ...." "."."""". .........." ." ..... 104
Суммируем условную вероятность .......
". ......... " ..... " ............ 105
Совместная вероятность, цепное правило и независимость ..
" .. """. ........ " .. ". ..... "" ...................... ". ....... 106
Что же с зависимыми событиями?" ......
. 107
Правило Байеса ................................................................................................... ...
"". .." ". ... ".". 108
Использование правила Байеса для создания моделирования
.....
". .. ". ... ". ..... "." ... 11О
Высококлассные вероятности часто считаются равными"" .........
" ... ". ..." ... "" ....... ". . "" ........ " ..... ". .......... 111
Еще немного деталей классификатора .....
" .. ". ... ". ..... "" ........ " .... "." .. "". ...................... ". ..... 113
Да начнется Ехсеl-вечеринка! ." "
.. "." ..... " ... ". . "" ..... " ...." . ......" . ....." " ..... ". ... " ..... 113
Убираем лишнюю пунктуацию ......
. " .... " .... ". .. ". .... "" .. "". ... ". ... ".". . " ............. " .... 114
Разное о пробелах .... " ......•..........."
. ". ......... ". ..................................... 118
Подсчет жетонов и вычисление вероятностей ....
" .... """ ............ ". ........... ".". ............ " ...... " 121
У нас есть модель! Воспользуемся ею ...
". ............................................................................. 127
Подытожим
..................................
4 Оптимизационное моделирование:
этот «свежевыжатый апельсиновый сок• не смешает себя сам ". ........... 129
..
................ ". ..... 130
Зачем ученым, работающим с данными, нужна оптимизация?
"
"". ... ". ............................. ". .." . .." ". ... "". ... 131
Начнем с простого компромисса
...........
................ ". ..........." " .. ". ........" . .............. 132
Представим проблему в виде политопа ."
Содержание 7
. . ." .. "" .............. " ...... "" ....." 134
Решение путем сдвигания линии уровня функции ... ... .
. . . .... . . 135
Симплекс-метод: все по углам ........... ....... ......... ................. ........... ............. ....
. .. . . . . .. . . . . 137
Работа в Excel ...... ............ .... ...... ...... ......... ...... . .. .. .... ......................... ...........
. ... . .. . ... . . ... .. .... . . 14 7
Монстр в конце главы ..... ....... . .. ... ...... ..... . .. ..... .. .. .. . .. ............ ............
Свежий, из сада - прямо в стакан .. .
.. ..... .. .... ... ... . .. 148
с небольшой остановкой на модель смешивания
.. . . ..... ... . . . ... . .. ... ...
.... ... .. ..... . .. . 149
Вы используете модель для смешивания ... . .. .... . . . ...... ................ .......... ..
.. . .... ... ........ .. . . .. . .. .. . . 150
Начнем с характеристик . ... ..... . ... .. . .... . ... ....... ... .. .. ....... ... .. ..........
. ...... . ... . . .. .. .. 151
Возвращаемся к консистенции ......... .. ... ... .............. .. ....... .... . ..... ...........
Вводим данные в Excel ............................................................................................. 152
. . ...... .. . .. . . 155
Постановка задачи «Поиску решения• ... .. .... . ........ .. ......... . ................. .......
. . ... . ... .. ... . . . . . . . .. 158
Снижаем стандарты ... ...... ... .. .. . .. .. . ..... .... ........ ...... .... .. .......... ...... .......
. .... . .. .... .. .. . . ... .. 161
Удаление дохлых белок: правило минимакс . .... . ..... .. ... . .. .. ... ...... .. . .. ..
. . . . 164
«Если. .. то• и ограничение «Большого М• ................ ... ....... ... ...............................
Еще больше переменных: добьем до 11 .................................................................. 167
... . . ... .. 175
Моделируем риски
. . . .................. .. .............................................. ................. .....
. ... . .. .. . .... 17 6
Нормальное распределение данных .. ..... . ............ .... ... ............. ......... .........
184
Подытожим
..................................................................................................................
5 Кластерный анализ, часть 11: сетевые графы и определение сообществ 187
....
. . . . . 188
Что такое сетевой граф?
.............................. ............. ..................... .. .............. .......
. ... . .. . . . ... . . . 189
Визуализируем простой граф
.... . . .. ..... ..... ......... ... .... . ... ... .............. ............
. . . . . . . 192
Краткое введение в Gephi
...... .... .. ..................... ..... ......................... ....................
.. . .. .. .. .. . . 192
Установка Gephi и подготовка файлов ....... ...... ..... ....... .. ........ ........... ..........
. . .. . . . . . 194
Визуализация графа ..... ............ ....... ... ..... ...... .... ........................................ ......
.. . . ... ... .. . . 197
Степень вершины .. .. ...... ........ ................... ......................... ............... ..........
. "" ....................................................................................... 200
Приятная картинка .......
"." ................. ". .............................................. 200
Прикосновение к данным графа .......
" ............." .".". ......." "". .. " 202
Строим граф из данных об оптовой торговле вином
.
". ............................... " ............................. 204
Создание матрицы близости косинусов ..
. .. . ... . . . .. . ... . 207
Построение графа N-соседства .......... .... .. ....... . .. ...... ........ .. . ... ..... . ..........
212
Числовое значение ребра: очки и штрафные в модулярности графа
................
. . . ". ................... ". .............................. 212
Кто же такие «очки• и «штрафные•? .......... .. ..
" ..................." ". ......." .........." ""." ....." ... " ..." 216
Подготовка к итоговому подсчету .....
.. " .. ". . " . . 219
Переходим к кластеризации!" ...." "" .... ..... " "". " ......." ". .. .. ........................
Деление 1 ................................................................................................................. 219
Деление 2: электролатино! ....................................................................................... 225
и." деление 3: возмездие ..............................................................................." . ....... 227
. . .. ". ." ..... " ......... """. ............................. 228
Кодируем и анализируем группы""" . ... ... ..
. . .." ". .. " ............." " ................... """"" .. "" ....." ". . 233
Туда и обратно: история Gephi
.. ...
.... ...... ..... . . . ." ............... ". .......... " .............................. 238
Подытожим
.. . ... . . ... . .. ... ... .............
8 Много цифр
6 Бабушка контролируемого искусственного интеллекта - регрессия 241
.....
241
Погоди, ты что - беременна?
...................................................................................
242
Не обольщайтесь!
.......................................................................................................
Определение беременных покупателей РитейлМарта
243
с помощью линейной регрессии
..............................................................................
244
Набор отличительных признаков .............................................................................
245
Сборка обучающих данных ......................................................................................
247
Создание фиктивных переменных ............................................................................
250
Мы сделаем свою собственную линейную регрессию! ...........................................
259
Статистика линейной регрессии: R-квадрат, критерии Фишера и Стьюдента .........
270
Делаем прогнозы на основании новых данных и измеряем результат ....................
Предсказание беременных покупателей РитейлМарта
281
с помощью логистической регрессии
.....................................................................
281
Первое, что нам нужно -это функция связи ...........................................................
282
Присоединение логистической функции и реоптимизация .....................................
286
Создание настоящей логистической регрессии .......................................................
287
Выбор модели: сравнение работы линейной и логистической регрессий ...............
291
Дополнительная информация
..................................................................................
292
Подытожим
..................................................................................................................
7 Комплексные модели: огромная куча ужасной пиццы 293
.................................
6 294
Используем данные из главы
.................................................................................
296
Бэггинг: перемешать, обучить, повторить
...............................................................
Одноуровневое дерево решений -
296
неудачное название �неумного� определителя ........................................................
А мне не кажется, что это глупо! .............................................................................. 297
300
Нужно еще сильнее!
...................................................................................................
300
Обучим же ее! ..........................................................................................................
31О
Оценка бэггинговой модели .....................................................................................
Бустинг: если сразу не получилось,
315
бустингуйте и пробуйте снова
..................................................................................
315
Обучаем модель: каждому признаку -шанс ...........................................................
324
Оценка модели бустинга ..........................................................................................
327
Подытожим
..................................................................................................................
8 Прогнозирование: дышите ровно, выиграть невозможно 329
...........................
330
Торговля мечами начата
............................................................................................
331
Знакомство с временной последовательностью данных
.....................................
333
Медленный старт с простым экспоненциальным сглаживанием
........................
335
Настраиваем прогноз простого экспоненциального сглаживания ...........................
Содержание 9
"." .............. "" .. ". ......." ............ "."" ... "" ..... "" .. 341
Возможно, у вас есть тренд
............
344
Экспоненциальное сглаживание Холта с корректировкой тренда
.....................
346
Настройка холтовского сглаживания с коррекцией тренда в электронной таблице ...
360
Мулыипликативное экспоненциальное сглаживание Холта-Винтерса
.............
362
Установка исходных значений уровня, тренда и сезонности ...................................
367
Приступим к прогнозу ..............................................................................................
372
И наконец. .. оптимизация! ........................................................................................
373
Пожалуйста, скажите, что это все!!! .........................................................................
37 4
Создаем интервал прогнозирования вокруг прогноза .............................................
378
И диаграмма с областями для пущего эффекта .......................................................
381
Подытожим ..................................................................................................................
9 Определение выбросов: выделяющиеся не значит важные 383
.......................
384
Выбросы тоже (плохие?) люди!
................................................................................
384
Захватывающее дело Хадлум против Хадлум
........................................................
386
Границы Тьюки .........................................................................................................
386
Применение границ Тьюки в таблице ......................................................................
388
Ограничения этого нехитрого метода ......................................................................
390
Ни в чем не ужасен, плох во всем
............................................................................
391
Подготовка данных к отображению на графе ..........................................................
394
Создаем граф ...........................................................................................................
397
Вычисляем k ближайших соседей ............................................................................
Определение выбросов на графе, метод 1: полустепень захода .............................. 398
Определение выбросов на графе, метод 2: нюансы k-расстояния .......................... 401
Определение выбросов на графе, метод 3: факторы локальных выбросов -
403
ЭТО ТО,Ч ТО надо ........................................................................................................
409
Подытожим
..................................................................................................................
1 О Переходим от таблиц к программированию 411
.....................................................
R 412
Налаживаем контакт с
............................................................................................
413
Пошевелим пальцами ..............................................................................................
421
Чтение данных в R ....................................................................................................
423
Настоящая научная работа с данными
...................................................................
423
Сферическое k-среднее винных данных в нескольких линиях .................................
430
Построение моделей ИИ для данных о беременных ................................................
439
Прогнозирование в R ...............................................................................................
443
Определение выбросов ............................................................................................
448
Подытожим
..................................................................................................................
Заключение 451
.................................................................................................................................
Благодарности 459
............................................................................................................................
