Teoria e Informacionit

202 Pages·2013·1.65 MB·English

TEORIA E INFORMACIONIT
Literature
1. ESSENTIALS OF ERROR-CONTROL CODING, Jorge Castiñeira
Moreira, Patrick Guy Farrell, 2006 John Wiley & Sons Ltd.

2. Telecommunications Demystified, Carl Nassar, by LLH Technology
Publishing, 2001.

3. Uvod u teoriju informacije i kodiranje, Alen Bažant ..., 2007 Zagreb.

4. DATA COMMUNICATIONS AND NETWORKING, FOURTH EDITION, Published by McGraw-
Hill, 2007
Gjeneza dhe nocioni i teorisë së informacionit

• Marrë në përgjithësi ekzistojnë tri tipare të informacionit:
Sintaksor që tregon ndërlidhjen ndërmjet simboleve që formojnë mesazhin
(lajmin),
Semantik që tregon domethënien e mesazhit,
Pragmatik që ndërlidhet me përdorimin e mesazhit.
• Tipari sintaksor kryesisht trajton formën e informacionit, ndërsa ai semantik
dhe pragmatik ndërlidhen me përmbajtjen që e mbartë vetë informacioni.
Shembulli 1:
Le ti marrim në shqyrtim fjalitë e mëposhtme: (1) Bujari ka ardhur me taksi në
teatër. (2) Bujarin në teatër e ka sjellë taksi. (3) Në rrugën Ferizaj – Prishtinë
u shkaktua bllokim trafiku. (4) Rruga Ferizaj – Prishtinë është rrugë me trafik
të lartë në Kosovë.
Shihet që fjalitë 1) dhe (2) në pikëpamje sintaksore janë të ndryshme, por në
pikëpamje semantike dhe pragmatike të njëjta: kanë rëndësi të njëjtë dhe të
dyja janë njësojë informative. Fjalitë (3) dhe (4) nuk dallohen vetëm në
pikëpamje sintaksore, por edhe për nga semantika e tyre. Fjalia (3) është
shumë më informative se fjalia (4). Tipari pragmatik i informacionit kryesisht
varet nga konteksti. Informacionet që ndodhen në fjalitë (3) dhe (4) janë
relevante për dikë në Kosovë por jo edhe për dikë p. sh. në Angli.
Gjeneza dhe nocioni i teorisë së informacionit
• Claude Shannon i pari e ka ndërlidh nocionin e informacionit me nocionin e
gjasës ose pasigurisë (ang. uncertainty).
• Lidhja e tillë në esencë nuk është jologjike. Nëse marrim në shqyrtim
bashkësinë e të gjitha ngjarjeve që paraqiten me gjasë të njëjtë, në atë rast
ekziston pasiguri e madhe se cila ngjarje do të ndodhë, kështu që kur
ndodh ndonjëra prej tyre ajo na sjellë shumë më tepër informacion në
krahasim me rastin kur hapësira e ngjarjeve strukturohet ashtu që ndonjë
ngjarje ka gjasë të madhe të probabilitetit. Pra, informacioni ndërlidhet me
nocionin e gjasës përmes pasigurisë ose shkallës së befasisë.
• Nga këndvështrimi i teorisë së informacionit, informacioni nuk është njohuri,
siç e konsiderojmë zakonisht, por ai ndërlidhet me gjasën ose probabilitetin
e simboleve të shfrytëzuar për dërgimin e mesazheve ndërmjet burimit dhe
destinacionit (cakut) përmes një kanali me zhurmë.
• Sasia kuantitative e informacionit të simboleve ndërlidhet me gjasën e
paraqitjes së tyre, qoftë duke buruar nga burimi ose kur ato mbërrijnë në
cakun e tyre.
• Me paraqitjen e simbolit të cilin si të tillë e shohim, pasiguria jonë
zvogëlohet, dhe themi se kemi pranuar ca informacione. Pra, siç shihet,
informacioni është zvogëlim i pasigurisë.
Gjeneza dhe nocioni i teorisë së informacionit
• Teoria e informacionit synon analizimin e komunikimit ndërmjet dhënësit
dhe marrësit përmes një kanali me zhurmë, dhe qasja e tillë, nga njëra
anë, merret me analizën e burimit, në veçanti me sasinë e informacionit të
gjeneruar nga ai burim, dhe, nga ana tjetër, vendos kushtet për kryerjen e
transmetimit të sigurt (me besnikëri sa më të madhe) nëpër një kanal me
zhurmë.
• Ekzistojnë tri koncepte kryesore të kësaj teorie:
1. I pari është përkufizimi i sasisë që mund të jetë masë valide e
informacionit, dhe që do të ishte konsistente me kuptimin fizik të vetive të tij.
2. I dyti ka të bëjë me ndërlidhjen e informacionit dhe burimit që e gjeneron
atë informacion, dhe konceptit të tillë do t’i referohemi si burimit i
informacion. Teknikat e njohura të teorisë së informacionit si komprimimi
(compression) dhe shifrimi (encryption) ndërlidhen me këtë koncept.
3. Koncepti i tretë ka të bëjë me ndërlidhjen ndërmjet informacionit dhe
kanalit me zhurmë nëpër të cili transmetohet informacioni. Koncepti i tillë na
shpie deri te përkufizimi i një parametri shumë të rëndësishëm të quajtur
kapacitet i kanalit. Një teknikë e njohur e teorisë së informacionit e quajtur
kodim për korrigjim ose kontrollim të gabimeve është ngushtë e lidhur me
konceptin e tillë.
• Kodimi është njëra prej teknikave më të shfrytëzuara në teorinë e
informacionit, dhe si i tillë synon optimizimin e transmetimit dhe shfrytëzimin
në mënyrë efikase të kapacitetit të një kanali të dhënë.
Gjeneza dhe nocioni i teorisë së informacionit
Teoria e informacionit jep përgjigje në tri pyetjet e më poshtme:

• Sa bita janë të nevojshëm për paraqitjen e burimit të informacionit?

• Cila është shpejtësia më e madhe e transmetimit me të cilën kanali
transmetues mund të transmetojë me besnikëri të dhënat digjitale?

• Me çfarë sigurie ose besnikërie mund të transmetojmë informacionin
nëpër kanalin komunikues me zhurmë?
Çka është në të vërtetë informacioni?
• Informacioni është madhësi fondamentale që nuk është as materie as
energji, dhe për të do të japim dy përkufizime:
• Në kuptimin më të përgjithshëm:
– informacioni paraqet lajm që e japin gazetat, radiot dhe televizionet, si dhe
mesazhet e ndryshme në telekomunikime.
• Në lëmin e kibernetikësis (shkencë për studim interdisiplinar të strukturës së
sistemit rregullues):
– informacioni është faktor kualitativ i cili përcakton gjendjen e ndonjë
sistemi dhe ndikimin që sistemi i tillë ka në ndonjë sistem tjetër.
• Informacioni është bazë për shumë shkenca si: kibernetika, linguistika,
biologjia, historia etj.
• Teorema themelore e Shannon-it vendos një ndërlidhje të ngushtë me
gjasën e paraqitjes së simboleve me të cilat paraqiten mesazhet.
• Kur kemi parasysh se informacioni mund të memorizohet në procese
materiale, p.sh. në CD, DVD, disqe magnetike etj., edhe pse me origjinë
jometariale, ai kalon në botën materiale në formë të të dhënave dhe të
komunikimit.
Burimet pa memorie dhe të Markovit

Burimet mund të ndahen në dy grupe:
• (1) Burimet pa memorie, te të cilët nuk ka varshmëri ndërmjet simboleve, që
dmth. se çdo simbol i njëpasnjëshëm është një zgjidhje e rastit nga alfabeti
– p.sh. “bpdign cusvgm”
• (2) Burime të Markovit – simbolet janë të korreluar ose të bashkëlidhur–
p.sh.“na prift e mbara”. Çështja nuk konsiston në atë se vargu i tillë i
kompozuar i simboleve ka kuptim, por në atë se mund të parashikojmë deri
në një masë çdo simbol duke u bazuar në njohuritë paraprake dhe duke
shfrytëzuar rregullat e shqipes (në shembullin konkret). I njëjti informacion
përmbahet edhe në “n prft e mbra”, përderisa marrësi merr parasysh se
burimi ka shprehinë e heqjes së zanoreve.
• Burimet e Markovit i hasim më shpesh në praktikë se sa ato pa memorie.
Matja e sasisë së informacionit
• Duke pas parasysh se, siç u tha, informacioni është zvogëlim i pasigurisë,
shtrohet pyetja se si do të matet kjo pasiguri. Mënyra më e thjeshtë është
që, p. sh., për burimin që gjeneron tre simbole (A, B, dhe C) të themi se
kemi një “pasiguri prej tre simbolesh”. Kjo do të vlente për këtë rast, por
nëse një burim tjetër në të njëjtën kohë gjeneron dy simbole, p.sh. 1 dhe 2,
burimi i tillë na jep një “pasiguri prej dy simbolesh”. Nëse i kombinojmë
burimet e tilla në një burim, në atë rast fitojmë gjashtë kombinime, A1, A2,
B1, B2, C1, C2, dhe burim i tillë ka një “pasiguri prej 6 simbolesh”. Kjo nuk
përputhet me atë që ne zakonisht mendojmë për informacion, sepse nëse
marrim dy libra, do të preferonim të themi se kemi marrë dy herë më tepër
informacione se sa nga një libër. Pra do të dëshironim që matja jonë të jetë
aditive.
• Kjo është lehtë të bëhet nëse marrim së pari logaritmin e numrit të
simboleve sepse në atë rast në vend të shumëzimit të numrit të simboleve
do të kemi mbledhjen e tyre. Në shembullin tonë, burimi i parë na bënë të
pasigurt për log3, i dyti për log2 dhe ai i kombinuar për log3 + log2 = log6.
Baza e logaritmit përcakton njësinë. Kur e përdorim bazën 2 njësia është bit
(baza 10 jep njësinë digit (ose hartley ose dit nga decimal unit ose ban)
dhe baza e logaritmit natyror, e, jep njësinë nat ose nit.
• Prandaj nëse një burim gjeneron një simbol, kemi pasigurinë prej log 1 = 0
2
bit, dhe nuk jemi të pasigurt për atë se çka do të gjenerojë burimi në
vazhdim. Nëse burimi gjeneron dy simbole me gjasë të barabartë, pasiguria
do të jetë log 2 = 1 bit, ndërsa për katër simbole me gjasë të barabartë,
2
pasiguria është 2 bite.
Matja e sasisë së informacionit
• Shndërrimi prej njërës në njësinë tjetër bëhet thjeshtë duke shfrytëzuar
shprehjen: ln a log a
log a
 
2 ln 2 log 2
• Nga se u tha më lartë, del se shprehja për pasiguria është log M, ku M
2
paraqet numrin e simboleve. Hapi i ardhshëm është që të zgjerojmë
shprehjen në mënyrë që të përfshijmë edhe rastet kur simbolet nuk kanë
gjasë të barabartë të paraqitjes. Për shembull, nëse kemi 3 simbole të
mundshme, dhe nëse njëri prej tyre paraqitet shumë më rrallë në
krahasim me dy të tjerët, pasiguria jonë do të jetë më e madhe se 1 bit,
por jo edhe aq e lartë sa log 3 bite. Të fillojmë me shtruarjen e shprehjes
2
në formë tjetër, pra:
1
 
log M  log M 1 log log p
       
2 2 2 2
M
 
• Ku p =1/M është gjasa e paraqitjes së cilit do simbol. Nëse e përgjithësojmë
këtë për gjasa të ndryshme të simboleve, p të tilla që shuma e tyre të jetë:
i,
M
p 1
 
i
i1