Определение и исследование количества знаний Q для различных законов распределения случайных величин (СВ) и случайных процессов (СП)

80 Pages·2014·1.057 MB·Russian

by  Селиванов Е.П.

МИНОБРНАУКИ РОССИИ
Федеральное государственное бюджетное образовательное учреждение
высшего профессионального образования
«ПЕНЗЕНСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНОЛОГИЧЕСКИЙ УНИВЕРСИТЕТ»

СИСТЕМА
ОТКРЫТОГО
ОБРАЗОВАНИЯ

Е.П. Селиванов

ОПРЕДЕЛЕНИЕ И ИССЛЕДОВАНИЕ КОЛИЧЕСТВА
ЗНАНИЙ Q ДЛЯ РАЗЛИЧНЫХ ЗАКОНОВ
РАСПРЕДЕЛЕНИЯ СЛУЧАЙНЫХ ВЕЛИЧИН (СВ)
И СЛУЧАЙНЫХ ПРОЦЕССОВ (СП)

Монография

Пенза
ПензГТУ
2014
УДК 681.5:681.3
С29

Рецензенты:
д.т.н., профессор кафедры
«Информационно-вычислительные системы» ПГУ
Б.А. Савельев;
д.т.н., профессор кафедры
«Автоматизация и управление» ПензГТУ
Ю.Н. Слесарев

Селиванов, Е.П.
С29 Определение и исследование количества знаний Q для раз-
личных законов распределения случайных величин (СВ) и случай-
ных процессов (СП) : Монография. – Пенза : ПензГТУ, 2014. – 80 с.

Книга предназначена студентам, изучающим курсы «Теория систем
и системный анализ» и «Проектирование баз знаний». В ней рассмотрены
вопросы определения количества знаний Q для различных законов рас-
пределения СВ – дискретных и непрерывных. Показано, что максималь-
ные значения Q = 1 принимают в случаях, когда непрерывная СВ подчи-
няется закону Коши и закону Пуассона для дискретной СВ, а минималь-
ные значения Q = 0 принимают в случаях, когда непрерывная СВ подчи-
няется равномерному (прямоугольному) закону и дискретному равномер-
ному закону для дискретной СВ. Для остальных законов значения Q ле-
жат в пределах от 0 до 1. Также рассмотрены вопросы практического
применения информационных критериев для определения истинного вида
законов распределения СВ и СП. Показано, что для исследования различ-
ных типов баз знаний эффективно применять информационные меры
знаний Q и Q .
д н

УДК 681.5:681.3

© Пензенский государственный технологический университет, 2014
© Е.П. Селиванов, 2014

2
Содержание

Введение ……...…………………………………………………………..4
Раздел 1 Определение значений количества знаний Q
для законов распределения дискретных и непрерывных
случайных величин (ДСВ и ИСВ) .…………………..………………...8
Раздел 2 Применение полученных знаний Q (X) и Q (X)
д н
для идентификации законов распределения ДСВ и НСВ……………16
Раздел 3 Разработка математического аппарата
исследования баз знаний (БЗ) ………………………….……….……..59
Основные выводы.…………………………….………………………..77
Список литературы.……………………….……………………………78

3
Введение

Идея написания этой книги возникла достаточно давно, в 2000
году. Далее непредвиденные обстоятельства вынудили сделать пере-
рыв на 15 лет и, наконец-то, все идеи дозрели, поэтому и появилась
такая книга. К счастью, она не опоздала, т.е. исследуемые объекты не
устарели, математический аппарат (МА) также не является старым,
результаты, изложенные в этой книге, во многом являются пионер-
скими, т.е. идеи и методы достаточно новы и не имеют аналогов в
России и за рубежом. Автор книги всегда занимался внедрением и
разработкой методов статистической теории информации К.Э. Шен-
нона, применяемых к исследованию различных устройств и систем, а
также методов кодирования информации для передачи дискретных и
непрерывных сообщений, обеспечивающих высокую помехоустойчи-
вость в условиях действия помех различных типов и видов. Нужно
отметить, что обе диссертации автора – кандидатская и докторская –
были посвящены различным аспектам применения и разработки ин-
формационных критериев для грамотного решения поставленных
практикой и теорией задач.
Почему возникла проблема оценки знаний каким-либо матема-
тическим методом? Дело в том, что мера информации – мера неопре-
деленности (случайности) численно равно энтропии дискретной слу-
чайной величины (ДСВ). Но энтропия ДСВ обладает, кроме положи-
тельных свойств – неотрицательности, аддитивности, и отрицатель-
ными – однозначно не характеризует закон распределения ДСВ, мак-
симальное значение энтропии зависит от логарифма количества зна-
чений n ДСВ. Энтропия измеряет незнание (случайность) и она мо-
жет изменяться в пределах от 0 до log n, т.е. ее пределы изменения
2
достаточно широки. В связи с отмеченными положительными и от-
рицательными свойствами энтропию Н нельзя применять для оценки
знаний какого-либо объекта или процесса. Предлагается для этой це-
ли использовать меру знаний (определенности), которая обобщенно
имеет вид [13]
∞ ∞
Q(X) = log ∫ [dF(x)]2 − ∫ dF(x)⋅log [dF(x)], (В.1)
2 2
−∞ −∞
где Q(X) – количество знаний в математической модели (ММ) слу-
чайного процесса (СП);
F(x) – функция распределения СВ X;
4
∞
∫ dF(x) – интеграл Лебега – Стилтьеса.
−∞
В качестве математических моделей (ММ) различных процес-
сов можно использовать ДСВ и НСВ с различными законами распре-
деления, а также дискретные случайные процессы (ДСП) и непре-
рывные случайные процессы (НСП), которые также характеризуются
различными функциями распределения, плотностями распределения
и вероятностями появления значений. Формула В.1 легко раскрыва-
ется для значения количества знаний в дискретном случае Q (X)и
д
для значения количества знаний в непрерывном случае Q (X), кото-
н
рые имеют следующие виды:
n n
∑ ∑
Q (X) = log p2 − p log p , (В.2)
д 2 i i 2 i
i=1 i=1
∞ ∞
Q (X) = log ∫ f 2(x)dx − ∫ f (x)log f (x)dx, (В.3)
н 2 2
−∞ −∞
где n – количество знаний ДСВ X;
p – вероятность появления значений ДСВ X;
i
f (x) – плотность вероятности НСВ X.
Естественно, что должны выполняться условия нормировки, т.е.
n ∞
∑ p =1 и ∫ f (x)dx =1. Показано, что 0 ≤ Q (X),Q (X) ≤1, т.е. зна-
i д н
i=1 −∞
чения и Q (X)и Q (X) по этим свойствам аналогичны понятию веро-
д н
ятности ДСВ, т.е. p . Код состоит либо из кодовых комбинаций (КК)

i
с различной разрядностью, либо из кодовых слов (КС) с одинаковой
разрядностью.
Понятие количества знаний Q (X)и Q (X) может найти приме-
д н
нение при решении задач математической экономики (МЭ), в теории
скремблирования (шифрации) при решении задач теории систем и
системного анализа (ТС и СА).
В МЭ решаются задачи классификации инвестиций, понятия
финансовой инвестиционной среды; инвестиционного количества
ценных бумаг; создания инвестиционного портфеля; инвестиций,
осуществляемых в форме капитальных вложений; инвестиций в не-
движимость; классификации инвестиционных проектов; анализа эф-
фективности капитальных вложений как оценки инвестиционных
5
проектов; форм и методов финансирования инвестиционных проек-
тов и иностранных инвестиций.
В ТС и СА для решения задач скремблирования (шифрования)
дискретных и непрерывных сообщений также могут быть применимы
меры Q (X) и Q (X), так как каждому закону соответствует опреде-

д н
ленное значение меры знаний и, соответственно, меры незнаний, так
получилось, что мера знаний равна нулю, а это законы дискретный
равномерный и прямоугольный непрерывный – это значит, что они
обеспечивают максимальную секретность шифрования, или, по-
другому, максимальную степень шифрования посылаемых сообще-
ний. Существующие методы шифрования основаны, прежде всего, на
интуитивном понимании того, что применяемые для скремблирова-
ния законы должны обеспечивать максимальную степень защиты от
их раскрытия. При шифровании закон распределения СВ выбирается
произвольно, поскольку не существует строгого математического
обоснования выбора ММ. Чаще всего для шифрования используется
непрерывный равномерный (прямоугольный) закон распределения,
закон Гаусса и другие. Но почему используется тот или иной закон,
чем он хорош и чем он плох – эти вопросы решаются, как правило, из
практических соображений – достаточно малогабаритные устройства
шифрования, нетрудна реализация программных методов и т.п. По
какому закону должны распределяться шифрования и какой закон
распределения обеспечивает самую высокую стойкость криптографи-
ческих кодов – эти вопросы в теоретическом плане недостаточно ис-
следовались и поэтому не получили достаточно надежного математи-
ческого обоснования. В связи с этим и происходят «взломы» крипто-
графических кодов и нежелательное проникновение в банки и другие
организации, занимающиеся различными ответственными проблема-
ми жизнедеятельности организаций и людей. Как будет показано в
разделе 2, Q (X) изменяется от 0 до 1, значит для увеличения крип-
н
тостойкости используемых кодов необходимо, чтобы значения избы-
точности φ и корректирующей способности кода ψ, которые опреде-
ляются по формулам:
k
ψ = , (В.4)
n
где k – значение корректирующих (проверочных) символов, а абсо-
лютное значение избыточности есть
m
ϕ = , (В.5)
n
где m – значение информационных символов,
6
естественно, что
k m k + m
ψ +ϕ = + = =1, (В.6)
n n n
принимали значения k + m = n.
Нужно также выбирать те дискретные законы распределения, у
которых Q (X) ≈0, т.е. близкие по графическому изображению к дис-
д
кретному равномерному закону.
Кроме того, автор считает, что полученные значения Q (X) и
д
Q (X) вполне соответствуют различным законам распределения ДСВ
н
и НСВ, необходимо лишь увеличить точность представления значе-
ний ДСВ и НСВ до 3-4-го знаков после запятой, поэтому возможна
идентификация по Q (X) и Q (X) законов распределения ДСВ и
д н
НСВ. Значения k + m = n соответствуют максимальным значениям
Q (X) и Q (X), равным единицам.
д н
Автор выражает глубокую благодарность аспиранту Артему Ле-
онидовичу Козлову за компьютерные модели различных законов рас-
пределения СВ и Елене Геннадьевне Глуховой за большой труд по
набору материалов, вошедших в данную книгу.
7
Раздел 1 Определение значений количества знаний Q
для законов распределения дискретных и непрерывных
случайных величин (ДСВ и ИСВ)

Как уже отмечалось во введении, важным как для теории, так и
для практики разработки баз знаний (БЗ) различных типов явилось
введение мер знаний Q. Q является функционалом и его значение за-
висит от вида используемого закона распределения ДСВ и НСВ. И в
первом и во втором случаях Q и Q являются функционалами, зави-
д н
сящими от того, какой закон распределения – теоретический или
практический – мы используем для наших теоретических или практи-
ческих исследований. Нужно отметить, что минимальные значения,
равные нулю, имеют прямоугольный и дискретный равномерный за-
коны, т.е. их значения Q =0 и Q = 0. Это означает, что при их ис-
нп др
пользовании в качестве ММ мы не получаем никаких знаний об ин-
тересующем нас объекте или процессе. Максимальные значения, рав-
ные единицам, принимают при законе распределения Коши для рас-
пределения НСВ и для закона распределения Пуассона при ДСВ,
причем распределение Пуассона зависит от значения λ и при опреде-
ленном значении λ закон Пуассона обладает Q =1. При других за-
дп
конах распределения НСВ и ДСВ получаем значения Q и Q , лежа-
д н
щие в диапазоне от 0 до 1.
Полученные значения Q (X) обобщены в таблице 1.1 для се-
н
мейства с НСВ, а именно для значения Q (X ) = 0,22 (бита) мы полу-
н
чаем шесть законов [9].

Таблица 1.1
№ Наименование НСВ Значение Q (X)
н
п/п
1 Нормальный (Гаусса) Q =0,224997455086
НГ
2 Односторонний нормальный Q =0,219611093399
НОН
3 Распределение модуля нормаль- Q =0,224997455086
НМН
ной случайной величины
4 Усеченный нормальный Q =0,224997455086
НУН
5 Т-распределение Стьюдента Q = 0,116204341371
ТС
6 Бета-распределение Эйлера Q = 0,656980808141
βЭ
8
Значения Q (X) берутся округленно равными 0,22, но для иден-
н
тификации вида закона необходимо использовать более точные зна-
чения Q (X) – до четвертого, пятого знаков. В этом случае мы будем
н
точно идентифицировать вид закона распределения НСВ.
Для семейства экспоненциальных законов составим таблицу 1.2
с наименованиями семейства экспоненциальных законов и значения-
ми восьми законов Q (X) =0,44 (бита).
н

Таблица 1.2
№ Наименование закона Значения Q (X)
н
п/п
1 Экспоненциальный (показательный) Q =0,44
НЭ
2 Лапласа (экспоненциальный двусторонний) Q =0,44
НЛ
3 Гиперэкспоненциальный Q =0,44
НГЭ
4 Показательно-степенной Q =0,44
НПС
5 Эрланга Q =0,44
НЭР
6 Пирсона (χ2) Q =0,44
НП
7 Гамма-распределение (γ-распределение) Q =0,44
НГ
8 Вейбулла Q =0,44
Н
В

В таблице 1.3 помещены значения Q (X) в порядке возрастания
д
от нуля до единицы.

Таблица 1.3
№ Наименование закона Значения Q (X)
д
п/п
1 Равномерный дискретный Q = 0
ДР
2 Отрицательный геометрический Q =0,05
ДОТГ
3 Биноминальный (Бернулли) Q = 0,19
ДБ
4 Гипергеометрический Q = 0,21
ДГГ
5 Отрицательный биноминальный Q = 0,35
ДОБ
6 Паскаля Q = 0,40
ДПАС
7 Пойа Q =0,40
ДПОЙ
8 Геометрический Q =0,40
ДГ
9 Логарифмический Q =0,42
ДЛ
10 Пуассона Q =1,00
ДП

В таблице 1.4 содержатся виды закона распределения ДСВ и
НСВ и подсчитанные значения энтропий Н(X), Н (X) и значения
н
количества информации Q (X) и Q (X)для этих законов.
д н
9
X) kCm
(
д g
Q o
, kl
X) m−) rk−Nm−
( P C
Н − g
Н – )P (kP1 rk−loNm−
ий (1− kCm kCCm
троп )log m1−∑− k1= m∑k0= 1
вазнанийиэн Q QXи () нH(X)=log m Q= 0др (PPPlog1+−=PQ= 0,4 др ()()PP1log1−− Q= 0,19д6 1krkk−CCClog−mNmm−rCN QX= () 0,2дг k−λe() klog!k! QX= () 1дп
т ) − ∑0 λ
с x P k=
иче (H og 1 rCN ∞∑k1=
л l − +
ко P rCN egλ
е m g o
и − o lλ
н = l= =
е
ч ) ) )
а X X X
н ( ( (
З H H H

m, m
m
>
≤
≤
0 0 x≤i x>i xi
> ≤ 0 0 ≤
, 0
X) m, 1 x,i xi mk− , m 0,
начение H( 1x,1≤≤immx0,<<i k1−()PP1−0, ()kkCPP1− 0, krk−CCmNm−rCNx0,0>>i kλ−λex,≥ik!x0,0<i

З = = = =
=
) ) ) )
k k )k k k
= = = = =
xi xi xi xi xi
( ( ( ( (
P P P P P

4 е-
й й ч
. е
1 и и ы и
ца ана ый еск ьн етр
Табли Наименовзакон Равномернискретный) Геометрич Биноминалернулли) Гипергеомий Пуассона
. д . . Б . к .
1( 2 3( 4с 5