Diplomová práce SharePoint Add-In pro vytěžování dat z dokumentů

114 Pages·2017·7.06 MB·Czech

Západočeská univerzita v Plzni
Fakulta aplikovaných věd
Katedra informatiky a výpočetní techniky
Diplomová práce
SharePoint Add-In pro
vytěžování dat z dokumentů
Plzeň 2017 Veronika Kutková
Místo této strany bude
zadání práce.
Prohlášení
Prohlašuji, že jsem diplomovou práci vypracovala samostatně a výhradně
s použitím citovaných pramenů.
V Plzni dne 16. května 2017
Veronika Kutková
Abstract
Data Mining SharePoint Add-in
This thesis is focused on design and implementation of invoice data min-
ingadd-inforSharePoint. AcoupleofOCRtoolsweretestedandcompared,
as well as several invoice data mining methods. Experiments proved that
OnliceOCR.net is the most precise free OCR tool. As for invoice data min-
ing, Locality-Sensitive Hashing based method turned out to be the most
suitable. Observed results were used to design and implement the add-in.
The complete solution is hosted on Microsoft Azure cloud platform. Few
Azure components (storage queue, webjob) were used to process the data
mining requests asynchonously. The outcome of this thesis is the add-in for
SharePoint Online, partially automating the invoice transcription process
and reducing data entry errors.
Abstrakt
Tato práce je zaměřena na návrh a vytvoření SharePoint add-inu zajišťují-
cího vytěžování dat z naskenovaných faktur. V rámci experimentu byl vy-
zkoušenaporovnánvzorekOCRnástrojů.Nejlepšíchvýsledkůzbezplatných
řešení dosáhl nástroj OnlineOCR.net. Vyzkoušeno bylo také několik metod
vytěžování dat z faktur. Jako nejvhodnější se ukázala metoda založená na
Locality-Sensitive Hashing. Tyto poznatky byly využity při návrhu a im-
plementaci výsledného add-inu. Kompletní řešení je hostováno na cloudové
platformě Microsoft Azure. Pro asynchronní zpracovávání požadavků na vy-
těžování dat bylo použito několik Azure komponent (fronta, webová úloha).
Výsledkem je funkční add-in do SharePoint Online, jehož použití částečně
automatizuje ruční přepis faktur do systému a minimalizuje vzniklé chyby.
Poděkování
Ráda bych poděkovala vedoucímu diplomové práce panu Ing. Davidu
Wegschmiedovi za jeho ochotu, cenné rady a připomínky při vedení práce.
Díky patří také panu Ing. Lukáši Burešovi za pomoc s provedenými expe-
rimenty a paní doc. Dr. Ing. Janě Klečkové za vstřícnost a čas, který mi
během konzultací věnovala.
Dále děkuji svým nejbližším za podporu během celého studia.
Obsah
1 Úvod 1
2 Vytěžování dat z účetních dokumentů 2
2.1 Účetní dokumenty . . . . . . . . . . . . . . . . . . . . . . . 2
2.2 Optické rozpoznávání znaků . . . . . . . . . . . . . . . . . . 3
2.3 Vytěžování dat . . . . . . . . . . . . . . . . . . . . . . . . . 4
2.3.1 Vytěžování účetních dokumentů . . . . . . . . . . . . 4
3 Cloudová platforma Office 365 5
3.1 Cloud computing . . . . . . . . . . . . . . . . . . . . . . . . 5
3.1.1 Výhody . . . . . . . . . . . . . . . . . . . . . . . . . 5
3.1.2 Nevýhody . . . . . . . . . . . . . . . . . . . . . . . . 5
3.1.3 Typy cloudových služeb . . . . . . . . . . . . . . . . 6
3.2 Office 365 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
3.2.1 Předplatné Office 365 . . . . . . . . . . . . . . . . . . 8
4 SharePoint 11
4.1 Úložiště . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
4.2 Kolekce webů . . . . . . . . . . . . . . . . . . . . . . . . . . 12
4.3 Možnosti přizpůsobení a rozšíření . . . . . . . . . . . . . . . 14
4.3.1 SharePoint Add-in . . . . . . . . . . . . . . . . . . . 15
5 Nástroje pro rozpoznávání a vytěžování dat 18
5.1 Nástroje pro rozpoznávání znaků . . . . . . . . . . . . . . . 18
5.1.1 Přehled existujících OCR . . . . . . . . . . . . . . . . 18
5.1.2 Srovnání přesnosti existujících OCR . . . . . . . . . . 19
5.2 Nástroje pro vytěžování dat z dokumentů . . . . . . . . . . . 26
5.2.1 Kofax . . . . . . . . . . . . . . . . . . . . . . . . . . 26
5.2.2 ABBYY . . . . . . . . . . . . . . . . . . . . . . . . . 26
5.2.3 SOCOS IT . . . . . . . . . . . . . . . . . . . . . . . . 26
5.2.4 Zhodnocení použitelnosti . . . . . . . . . . . . . . . . 27
6 Návrh vlastního jednoduchého vytěžování 28
6.1 Metody vytěžování dodavatelů . . . . . . . . . . . . . . . . . 28
6.1.1 Levenshtein . . . . . . . . . . . . . . . . . . . . . . . 30
1
6.1.2 Levenshtein . . . . . . . . . . . . . . . . . . . . . . . 30
2
6.1.3 FuzzyWuzzy . . . . . . . . . . . . . . . . . . . . . . 31
1
6.1.4 FuzzyWuzzy . . . . . . . . . . . . . . . . . . . . . . 31
2
6.1.5 CTPH . . . . . . . . . . . . . . . . . . . . . . . . . . 31
6.1.6 LSH . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
1
6.1.7 LSH . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2
6.1.8 LSH . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3
6.2 Zhodnocení metod vytěžování dodavatelů . . . . . . . . . . . 34
6.3 Metody vytěžování čísel . . . . . . . . . . . . . . . . . . . . 34
6.3.1 Čárový kód . . . . . . . . . . . . . . . . . . . . . . . 35
6.3.2 IČO dodavatele . . . . . . . . . . . . . . . . . . . . . 35
6.3.3 DIČ dodavatele . . . . . . . . . . . . . . . . . . . . . 36
6.3.4 Variabilní symbol . . . . . . . . . . . . . . . . . . . . 36
6.3.5 Číslo objednávky . . . . . . . . . . . . . . . . . . . . 37
6.3.6 Datum vystavení a datum splatnosti . . . . . . . . . 37
6.3.7 Částky . . . . . . . . . . . . . . . . . . . . . . . . . . 38
6.4 Zhodnocení metod vytěžování čísel . . . . . . . . . . . . . . 39
7 Vlastní SharePoint Add-In 41
7.1 Požadavky . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
7.1.1 Business požadavky . . . . . . . . . . . . . . . . . . . 41
7.1.2 Funkční požadavky . . . . . . . . . . . . . . . . . . . 41
7.2 Analýza problému . . . . . . . . . . . . . . . . . . . . . . . . 42
7.2.1 Identifikace událostí . . . . . . . . . . . . . . . . . . 42
7.3 Architektura . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
7.3.1 Diagram případů užití . . . . . . . . . . . . . . . . . 45
7.3.2 Popis komponent . . . . . . . . . . . . . . . . . . . . 45
7.3.3 Model nasazení . . . . . . . . . . . . . . . . . . . . . 48
7.3.4 Interakce komponent . . . . . . . . . . . . . . . . . . 49
7.3.5 Návrh databáze . . . . . . . . . . . . . . . . . . . . . 57
7.4 Popis implementace . . . . . . . . . . . . . . . . . . . . . . . 58
7.4.1 SharePoint add-in . . . . . . . . . . . . . . . . . . . . 58
7.4.2 SQL databáze . . . . . . . . . . . . . . . . . . . . . . 60
7.4.3 Webhook endpoint . . . . . . . . . . . . . . . . . . . 60
7.4.4 Fronta a webová úloha . . . . . . . . . . . . . . . . . 60
7.4.5 Vytěžovací API . . . . . . . . . . . . . . . . . . . . . 61
8 Zhodnocení výsledků 64
8.1 Výsledný add-in . . . . . . . . . . . . . . . . . . . . . . . . . 64
8.2 Možnosti rozšíření . . . . . . . . . . . . . . . . . . . . . . . . 65
9 Závěr 66
Přehled zkratek 67
Literatura 68
Přílohy 75
1 Úvod
Na světě je každoročně vyprodukováno obrovské množství papíru (více než
300 milionů tun), z nichž nezanedbatelný podíl tvoří firemní dokumenty [2].
Přestože současný rozvoj digitálních technologií s sebou přináší možnosti,
jak používání dokumentů v papírové formě alespoň omezit či úplně nahradit,
velké množství firem na ně stále nedá dopustit. Dle průzkumů se v papírové
podobě vyskytuje až 85 % firemních dokumentů [1].
Kromě ekologického dopadu této skutečnosti lze ale pozorovat i dopad fi-
nanční, zahrnující kromě vlastních nákladů na tisk dokumentů také náklady
spojené s jejich správou a archivací – podle odhadů stráví zaměstnanci hle-
dánímpotřebnýchdokumentůi30–40%svéhočasu[1].Důsledkemvčasného
nenalezení požadovaného dokumentu pak může být pokuta za pozdní zapla-
cení faktury a potažmo i ztráta obchodního partnera.
Cílem této diplomové práce je navrhnout a vytvořit SharePoint add-
in sloužící k jednoduchému vytěžování dat z účetních dokumentů tak, aby
jeho použití přineslo částečnou automatizaci procesu ručního přepisování
dokumentůdosystémuaminimalizacichybvzniklýchběhemtohotoprocesu.
Vzhledem k tomu, že je vyžadováno bezchybné vytěžení dat, je nutné aby
uživatel vytěžená data následně zvalidoval.
V teoretické části se čtenář nejprve seznámí s procesem rozpoznávání
znaků, vytěžování dat a jejich aplikací na účetní dokumenty (konkrétně fak-
tury). Následující dvě kapitoly pojednávají o cloudové platformě Office 365
a produktu SharePoint.
Vrámciněkolikaexperimentůjeporovnánvzorekexistujícíchprostředků
pro rozpoznávání a vytěžování dat a čtenáři je nastíněn také návrh vlast-
ního vytěžovacího nástroje. Zjištěné poznatky jsou aplikovány při návrhu
a implementaci výsledného SharePoint add-inu.
1
2 Vytěžování dat z účetních
dokumentů
S účetními dokumenty přicházejí firmy do styku každý den. Podkladem pro
nákupzbožíčislužebjsouproněobjednávky,kdodávanémuzbožímohoudo-
stávat, resp. vydávat dodací listy, a vyjádření pohledávek vůči odběratelům,
resp. závazků vůči dodavatelům představují faktury.
Přestože je v současnosti na trhu nepřeberné množství účetních softwarů
(např. Pohoda, ABRA FlexiBee), většina firem stále dává přednost účetním
dokumentům v papírové podobě [19].
2.1 Účetní dokumenty
Rozsah a způsob vedení účetnictví upravuje zákon č. 563/1991 Sb., o účet-
nictví. Tento zákon sice neobsahuje taxativní výčet účetních dokumentů,
ale stanovuje náležitosti, které musí doklad mít, abychom jej mohli označit
za účetní doklad a použít jej pro zaúčtování účetního případu s ním spoje-
ným [64].
Podle § 11 zákona o účetnictví jako účetní doklad označujeme průkazný
účetní záznam s těmito náležitostmi:
a) označení účetního dokladu,
b) obsah účetního případu a jeho účastníci,
c) peněžní částka nebo informace o ceně za měrnou jednotku a vyjádření
množství,
d) okamžik vyhotovení účetního dokladu,
e) okamžik uskutečnění účetního případu (není-li shodný s okamžikem
vyhotovení),
f) podpisový záznam (vlastnoruční podpis nebo uznávaný elektronický
podpis) osoby odpovědné za účetní případ a osoby odpovědné za jeho
zaúčtování.
2