Problemlerin Markov Zincirleri ile Formülize Edilmesi

40 Pages·2014·0.67 MB·Turkish

SAKARYA UNIVERSİTESİ
ENDUSTRI MUHENDISLIĞI
YÖNEYLEM ARAŞTIRMASI – II
MARKOV ZİNCİRLERİ
DERS NOTLARI
STOKASTİK (RASSAL) SÜREÇLER
Bazen rassal değişkenlerin zamanla nasıl değiştiğiyle ilgileniriz. Örneğin borsada bir
hissenin fiyatının nasıl değiştiğiyle veya bir firmanın piyasa payının nasıl değiştiğiyle
ilgilenebiliriz. Rassal değişkenin zamanla nasıl değişeceği çalışmaları stokastik süreçleri
de içerir. Bu derste stokastik prosesler, özellikle bir stokastik proses örneği olan markov
zincirleri görülecektir.
Markov zincirleri eğitim, pazarlama, sağlık hizmetleri, muhasebe ve üretim alanları gibi
alanlara uygulanmaktadır.
Stokastik süreç kavramını tanımladıktan sonra Markov Zincirleri ile ilgili temel fikirleri
göreceğiz.
STOKASTİK (RASSAL) SÜREÇ NEDİR ?
Bir Sistemin 0,1,2,… diye etiketlenen kesikli zamanlarda bazı karakteristiğini
(özelliklerini) gözlemlediğimizi düşünelim.
Xt : Sistem özelliklerinin t zamanındaki değeri olsun.
Pek çok durumda Xt t zamanından önce kesin olarak bilinememektedir ve rassal bir
değişken olarak görülebilir.
Kesikli zamanlı stokastik süreç basitçe
X0, X1, X2,…. Rassal değişkenleri arasındaki ilişkilerin tarifidir.
Bazı kesikli zamanlı stokastik süreç örnekleri (İleride açıklanacak örnekler):
Kumarbazın iflası Problemi
Bir Firmanın borsadaki hisse fiyatı
Vazo örneği
KUMARBAZIN İFLASI PROBLEMİ (ÖRNEK 1)
0 Zamanında kumarbaz 2 TL’ye sahiptir. 1,2,… zamanlarında kumarbaz oyun oynar ve
1TL bahse girer. P olasılıkla oyunu kazanır ve (1-p) olasılıkla oyunu kaybeder. Burada
Amaç 4 TL sahibi olunca oyunu bitirmektir. Dikkat edilirse elde 0 TL kalınca da oyun
bitmektedir.
Xt eğer zaman t’deki oyundan sonra sermaye durumu olarak tanımlanırsa o zaman X0,
X1, …..,Xt kesikli zamanlı stokastik süreç olarak ortaya çıkar.
X0 = 2 bilinmektedir ve sabittir. Fakat X1 ve sonra Xt’ler rassaldır.
Örneğin p olasılıkla X1=3 ve (1-p) olasılıkla X1=1 olur
Bu mantıkla eğer Xt ≠ 0 veya 4 ise
p olasılıkla X =X +1 ve
t+1 t
1-p olasılıkla X =X -1 olur
t+1 t
Eğer Xt=0 ise X ve daha sonraki X değerleri 0’a eşittir
t+1 t
Eğer Xt=4 ise X ve daha sonraki X değerleri 4’e eşittir
t+1 t
VAZO PROBLEMİ (ÖRNEK 2)
Bir vazoda boyanmamış iki tane top bulunmaktadır. Topları rasgele seçmekteyiz ve
yazı-tura atmaktayız. Eğer seçilen top boyasız ve para tura gelmişse seçilen topu
kırmızıya boyarız. Eğer seçilen top boyasız ve para yazı gelmişse seçilen topu siyaha
boyarız. Eğer seçilen top zaten boyanmışsa yazıda gelse turada gelse topu diğer renge
boyarız.
Bu durumu stokastik süreç olarak modellemek için zaman t’yi para t kere atıldıktan ve
seçilen toplar boyandıktan sonraki zaman olarak tanımlarsak, Herhangi bir zamandaki
durum (b,k,s) vektörüyle tanımlanabilir. B boyanmamış top sayısı, k kırmızı top sayısı
ve s ‘de siyah top sayısını ifade eder.
0 zamanında durum X0= (2,0,0) dır. İlk para atıldığında top seçilip boyandığında
½ olasılıkla X1=(1,1,0) ve ½ olasılıkla X1=(1,0,1) olur.
Xt durumları arasında bazı ilişkiler vardır. Örneğin eğer
Xt=(0,2,0) ise X = (0,1,1) olur veya
t+1
Xt=(0,0,2) ise X = (0,1,1) olur
t+1
BORSA PROBLEMİ (ÖRNEK 3)
Eğer X0 Bir Firmanın Borsa hissessinin bugünkü değeri ise Xt ise hissenin t. Ticari günün
açılışındaki değeri olsun.
X0,X1,…,Xt değerlerini bilmek bize Xt+1 değerinin olasılık dağılımı hakkında birşeyler
söyler.
Buradaki soru t zamanına kadarki hisse fiyatları t+1 zamanındaki hisse fiyatı hakkında
ne söyler.
Bu sorunun cevabı finans alanında oldukça önemlidir.
SÜREKLİ ZAMANLI STOKASTİK SÜREÇLER
Bu süreçlerde sistemin durumu kesikli zaman yerine herhangi bir zamanda
gözlemlenebilir.
Örneğin herhangi bir zamanda marketteki müşteri sayısı sürekli zamanlı stokastik süreç
olarak düşünülebilir.
Burada market açıldıktan t zaman sonra Xt marketteki müşteri sayısını gözlemekteyiz
ve t real sayıdır ve sürekli değer alır.
Eğer borsada hisse fiyatlarını sadece ticari gün başlangıcında değilde sürekli olarak
herhangi bir zamandaki değeri olarak modellersek o zaman bu süreç sürekli zamanlı
stokasti süreç olur.
STOKASTİK SÜREÇLERLE İLGİLİ 4 DURUM
KESİKLİ ZAMANLI KESİKLİ DURUMLU STOKASTİK SÜREÇLER
Bu süreçlerde gözlem kesikli zamanlarda olur ve durum kesikli değerler alır. Bu
süreçlere örnekler:
 Kumarbazın iflası problemi
 Vazo örneği
 Nüfusta doğum ve ölüm,
STOKASTİK SÜREÇLERLE İLGİLİ 4 DURUM
KESİKLİ ZAMANLI SÜREKLİ DURUMLU STOKASTİK SÜREÇLER
Bu süreçlerde gözlem kesikli zamanlarda olur ve durum sürekli değerler alır. Bu
süreçlere örnekler:
 Her bir ticari gün başında gözlenen borsa hisse fiyatı
 Belirli zaman aralıklarında ölçülen rüzgarın hızı,
 Bir nehrin debisinin saatte bir ölçülmesi,
STOKASTİK SÜREÇLERLE İLGİLİ 4 DURUM
SÜREKLİ ZAMANLI KESİKLİ DURUMLU STOKASTİK SÜREÇLER
Bu süreçlerde gözlem sürekli zamanlarda olur ve durum kesikli değerler alır. Bu
süreçlere örnekler:
 Bir markette sürekli zamanlı gözlemlenen müşteri sayısı
 Bir otobüs durağında sürekli gözlemlenen yolcu sayısı
 Bir şehirdeki doğum ve ölüm