| Business Intelligence informacinės technologijos | |
| Autorius: Raimundas Bentkus [2008-09-01] | Spausdinti » |
|
Business Intelligence informacinių technologijų (aktualios informacijos rengimas ir teikimas, toliau – BI technologijos) poreikis ir atsiradimo istorija. Duomenų, informacijos ir žinių sąvokos. Trys pagrindinės BI technologijų dalys: duomenų surinkimas ir parengimas, duomenų saugykla ir galutinio naudotojo sąsaja. Patyrimas diegiant ir naudojant BI technologijas Lietuvoje ir užsienyje, jų naudojimo problemos ir perspektyvos. Informacijos šaltiniai Internete. Kas yra Business Intelligence
Tikriausiai visi yra pastebėję, kad didėjant kaupiamų duomenų kiekiui, augant jų įvairovei ir naudotojų skaičiui darosi vis sudėtingiau tvarkyti duomenis, rengti pagal juos reikalingą informaciją ir ja naudotis.
Veikla => Duomenys => Informacija => Žinios => Sprendimai => Veikla
Duomenys, bent jau pradiniai, yra kaupiami duomenų registravimui skirtose duomenų bazėse. Informacija yra apdoroti duomenys – lentelės, grafikai, analitinių tyrimų rezultatai, perspėjimai apie susidariusias kondicijas, tekstai. Informacijos sąvoka yra platesnė, nei duomenų – pradinius duomenis taip pat galima vadinti informacija ir teikti juos naudotojams, tik kažin ar tai bus kokybiška informacija. Žinios yra apdorota informacija – tai, kas nusėdo sprendimus priimančių darbuotojų galvose.
Kam ir kodėl BI technologijos yra svarbu
BI technologijos yra svarbios toms institucijoms, kurios nori, kad jų darbuotojai, partneriai ir klientai priimdami sprendimus vadovautųsi ne tiktai savo intuicija ir patyrimu, bet ir aktualia bei išsamia informacija apie viską, kas yra susiję su priimamais sprendimais.
Trys pagrindinės BI technologijų dalys
Visas BI procesas vykusiai pailiustruotas kompanijos MicroStrategy, vienos iš BI technologijų kūrimo ir taikymų lyderės pasaulyje, schemoje:
Pateiktoje schemoje akcentuojami trys svarbūs BI proceso momentai: A – Duomenys, B – Tyrimas ir C – Veikla. Tačiau joje ryškai matosi ir trys BI proceso technologijos (kompiuterinės ir programinės įrangos) pagrindinės dalys: 1. Duomenų surinkimas ir parengimasTai reikalingų informacijai parengti pradinių duomenų (jokiu būdu ne visų galimų!) surinkimas iš pradinių duomenų šaltinių, surinktų duomenų kokybės patikrinimas, išvalymas nuo įvairiausių "šiukšlių", nekokybiškų ir įtartinų teisingumo požiūriu duomenų patikslinimas duomenų šaltiniuose. Informacijos naudotojams skirtos aktualios informacijos parengimas apjungiant (integruojant) surinktus duomenis, reikiamai juos transformuojant ir grupuojant, papildant skaičiavimų būdu gautais išvestiniais rodikliais bei pateikiant informacijos ir jos parengimo algoritmų paaiškinimus. Parengtos informacijos sukėlimas į analitinėms duomenų užklausoms vykdyti skirtą specialią duomenų bazę, kuri ir vadinama Duomenų saugykla (toliau - DS).Ši BI proceso dalis dažnai vadinama ETL procedūra (Extraction, Transformation, Loading). Paprastai ETL procedūra atliekama atskiroje tarnybinėje stotyje instaliuotoje specialioje duomenų bazėje specialiai tokio tipo procedūroms atlikti skirtos programinės įrangos pagalba. Duomenų bazė dažniausiai vadinama Staging Area (Parengimo sritis) arba tiesiog Stage. Stengiamasi, kad pradiniai duomenys būtų imami iš specialiai tam sukurtų, aiškių ir patogių lentų operacijų registravimui skirtose duomenų bazėse. Skiriami pradinis duomenų sukėlimas į DS ir tolimesnis reguliarus jos duomenų atnaujinimas, kada DS yra tiktai papildoma naujais duomenimis, o anksčiau sukelti į DS duomenys esant reikalui ištrinami arba koreguojami. Kaip taisyklė, DS eksponuojama tiktai paskutinio aktualaus laikotarpio informacija. Pavyzdžiui, Danijos mokesčių ministerijos DS eksponuojama tiktai paskutinius 5 metus nusakanti informacija. ETL procedūroms atlikti skirtą specialią programinę įrangą siūlo visa eilė šios programinės įrangos gamintojų, žr., pavyzdžiui, Informatica PowerCenter, BusinessObjects Data Integrator. 2. Duomenų saugyklaLabai svarbi sudėtinė BI technologijų dalis yra duomenų saugykla (DS), kurioje eksponuojami sutvarkyti duomenys (informacijos naudotojams parengta informacija) taip, kad jų naudotojai galėtų juos greitai ir patogiai nusiskaityti. Ši BI technologijų dalis dažnai vadinama Select Area (Išrinkimo sritis).Pavadinimas "Duomenų saugykla" prasmės požiūriu yra ne visai tikslus vertimas iš anglų kalbos "Data Warehouse": Data - duomenys, Ware - prekė, House - namas. Kaip nagrinėjamo objekto pavadinimas, jis yra tikrai netikęs. Duomenų saugyklą kai kas gali įsivaizduoti kaip sandėlį su kabančia didele spyna, kuriame duomenys sukrauti taip, kad prie sandėlio gilumoje esančių praktiškai neprieisi. O tai bus neteisybė. Daug tikslesnis būtų pavadinimas "Duomenų paroda", kurioje duomenys išdėlioti vitrinose, juos gali iš įvairiausių pusių apžiūrinėti, fotografuoti, tik prisiliesti negali. Dar kartą atkreipsiu skaitytojų dėmesį į tai, kad DS yra specialiai suprojektuota ir sukurta taip, kad joje sukauptus duomenis būtų galima greitai ir patogiai pasikelti. DS duomenys reguliariai atnaujinami ETL procedūrų metu. Galutinis DS naudotojas negali keisti arba kaip nors taisyti DS duomenų. Jis gali juos tiktai peržiūrinėti ir analizuoti tomis BI priemonėmis, kuriomis jam leidžiama naudotis. Praktikoje labai dažnai visas BI kompleksas sutapatinamas su DS. Taip yra ir TDS atveju, kalbėdami apie TDS mes turime galvoje visą susijusį su TDS BI kompleksą. 3. Galutinio naudotojo sąsaja
Tai kompiuterinė ir programinė įranga, kuria naudodamiesi galutiniai informacijos naudotojai iš savo darbo vietų prisijungia prie DS, nusiskaito iš jos duomenis ir informaciją, juos analizuoja, formatuoja, rengia savo ataskaitas ir dokumentus bei keičiasi jais su kitais informacijos naudotojais. Ši BI technologijų dalis dažnai vadinama User Area (Naudotojo sritis).
Naudotojo sričiai priskiriamos ir duomenų bei informacijos saugos užtikrinimo priemonės, duomenų ir informacijos gavėjų teisių administravimo priemonės. Apie BusinessObjects programinę įrangą
Galutinio naudotojo sąsaja TDS yra realizuota BusinessObjects programinės įrangos pagalba. Galutiniai TDS naudotojai, dirbdami jiems skirtose TDS darbo vietose, naudojasi šia programine įranga. Ji taip pat naudojama rengiant TDS naudotojams skirtą informaciją bei administruojant jų teises.
BusinessObjects programinės įrangos atveju duomenys Duomenų saugykloje yra sudėti į taip vadinamas duomenų vitrinas (toliau – DV). Anglų kalboje Universe arba Data Mart (Duomenų turgus). DV stengiamasi realizuoti, kaip vieną duomenų – faktų lentą su keliomis ją lydinčiomis palyginti nedidelėmis dimensijų lentomis. Tokia schema vadinama Star (Žvaigždės) schema. DV yra "vieta", kur sudedami pagal temą susiję, informacijos naudotojui suprantama kalba pavadinti ir lengvai jam prieinami duomenys. Jos sudaromos tiek iš tiesiogiai teikiamų į DS duomenų, tiek ir pagal juos apskaičiuotų išvestinių rodiklių. Jas kuria, tobulina ir jų duomenis reguliariai atnaujina aptarnaujantys DS darbuotojai. Jie turėtų tai daryti operatyviai reaguodami į pagrįstus informacijos naudotojų poreikius ir maksimaliai atsižvelgdami į jų pageidavimus. DV eksponavimas yra pagrindinis ir informacijos naudotojui plačiausias pasirinkimo galimybes suteikiantis pastovaus informacijos teikimo būdas šiuolaikinėse BI technologijose. Dirbdamas su DS galutinis informacijos naudotojas pirmiausia pasirenka DV. Pasirinkęs ją jis savo kompiuterio ekrane mato suskirstytus į klases objektus – jam leidžiamų naudotis duomenų pavadinimus ir keliamas duomenims sąlygas. Pasirinkdamas tuos objektus jis suformuoja duomenų užklausą, paspausdamas kompiuterio klavišą ją pateikia ir, DS programinei įrangai surinkus arba apskaičiavus reikalingus duomenis, juos gauna. Po to, naudodamasis DS programinės įrangos galimybėmis, jis gali gautus duomenis analizuoti, rengti savo ataskaitas, jas formatuoti, išsaugoti, eksportuoti į kitus formatus bei kitas informacines sistemas, ir siuntinėti kitiems informacijos bei duomenų naudotojams. BusinessObjects programinės įrangos konkurentai yra analogiškos SAS, Oracle, MicroStrategy, Cognos ir visos eilės kitų firmų priemonės. Daugiau apie Duomenų saugyklas ir Business Intelligence
Pagal savo apimtį gigabaitais arba netgi terabaitais DS būna nuo 2 iki 20 kartų didesnės už operacijų registravimui skirtas duomenų bazes, iš kurių imami duomenys į DS. Projektuojant DS nesistengiama minimizuoti atmintį, kurioje laikomi duomenys. Duomenų serverių atmintis dabar palyginti pigi, pagrindinis tikslas yra užtikrinti greitą ir patogų duomenų pasikėlimą.
Pati viena DS niekam nereikalinga. Ji naudojama tiktai kaip fundamentas BI technologijoms. Todėl, kalbėdami apie bet kurios DS projektavimą, kūrimą ir diegimą, visur kartu turime galvoje ir BI technologijas. Dar ne taip seniai, kuriant duomenų saugyklas, virš 70% laiko ir materialių sąnaudų tekdavo ETL procedūrų sukūrimui. Šiandien taip jau nebėra. Pradinius duomenis stengiamasi imti iš tinkamai paruoštų tarpinių lentų operacijų registravimo duomenų bazėse, o šias lentas sukuria ir kokybiškus duomenis į jas sukelia operacijų registravimo bazes kuriantys arba aptarnaujantys darbuotojai. Šiandien ETL procedūroms sukurti ir jas reguliariai atlikinėti bei kontroliuoti naudojama moderni šiuolaikinė programinė įranga. Kyla natūralus klausimas, ar didelei daliai įstaigos darbuotojų paprastai tiekiama “reikalinga” informacija. Gal būt tokia tokią informacija yra teikiama tiktai keliems institucijos vadovams. Atsakymas į šį klausimą yra toks: paskutiniu metu gaunančių “reikalingą” informaciją darbuotojų skaičius labai greitai didėja. Žurnalo DM Review, January 2003, straipsnyje “Business Objects” rašoma, kad France Telecom, viena didžiausių telekomunikacijos kompanijų pasaulyje, naudoja BI technologijoms skirtą firmos Business Objects programinę įrangą ir turi apie 70,000 BO naudotojų. JAV Gynybos ministerijos Karinė sveikatos apsaugos sistema, kurioje dirba 125 tūkstančiai darbuotojų, turi apie 50,000 BO naudotojų. Firma Business Objects turi visą eilę kitų klientų, įsigijusių apie 20,000 galutinio BO naudotojo darbo vietos licencijų. Išvada būtų tokia – šiandien, norint dirbti efektyviau, reikia tiekti reikalingą informaciją ne tiktai vadovams, bet ir daugeliui darbuotojų. Norint pabrėžti tai kartais sakoma: BI technologijų pagalba tiekiama strateginė, taktinė ir operatyvinė informacija. Tiekiant aktualią informaciją didesniam kiekiui jos naudotojų paprastai naudojamos Internetinės technologijos, kartu apribojant konkrečių informacijos gavėjų galimybes tiesiogiai dirbti su DS. Tokiu atveju jiems paprastai teikiama informacija tipinių dokumentų pavidale, sudarant galimybes juos prenumeruoti ir patiems atsinaujinti jų duomenis. Kaip BI technologijos naudojamos Danijos mokesčių ministerijoje
Apžvalgos autoriui teko lankytis Danijos mokesčių ministerijoje 2002 metų gruodžio mėnesį. Po apsilankymo jam liko tokie įspūdžiai.
Danijos mokesčių ministerijoje sukurta ir naudojama didelė mokestinių duomenų saugykla, jos dydis netoli 1 TB. Įdiegta ir naudojama įvairi Business Objects (BO) programinė įranga, kurios pagalba efektyviai sprendžiami BI uždaviniai. Suprojektuota ir įdiegta labai vykusi DS palaikymo, galutinių BO naudotojų konsultavimo ir mokymo, tipinių BO dokumentų kūrimo, platinimo ir naudojimo sistema. Visas analitines aplikacijas ir visas galimas ataskaitas stengiamasi kurti tiktai BO programinės įrangos pagalba. DS ir BO programinė įranga pradėtos naudoti 1996 metais. Pradiniai mokestiniai duomenys į operacijoms registruoti skirtas duomenų bazes suvedami ir saugomi privačiose kompanijose “Computer Sciences Corporation Denmark”, IBM ir dar dviejose. Tokiu būdu operacijų registravimo, pradinių duomenų aptarnavimo ir saugojimo paslaugas ministerija perka iš privačių kompanijų. Reikalingi sukėlimui į DS pradiniai duomenys sukaupiami specialiose tarpinėse lentose, kurias ministerijos atstovai užsako paslaugų teikėjams. Galutinių informacijos naudotojų užklausų vykdymui skirta DS randasi centrinėje ministerijos būstinėje – Centrinėje muitų ir mokesčių administracijoje (CCTA - Central Customs and Tax Administration). Tam naudojama Sybase IQ duomenų bazių valdymo sistema (DBVS), kuri yra specialiai suprojektuota būtent duomenų saugykloms. Pastebėsime, kad TDS šiam tikslui naudojama Oracle Enterprise Edition DBVS, kurios užklausų vykdymo greitis yra pastebimai mažesnis ir optimizacija bei lentelių indeksavimas yra nepalyginamai sudėtingesni. 2002 metų pabaigoje visą DS aptarnavimą atliko specialus CCTA padalinys, taip vadinama IMITS grupė, kurioje dirbo 9 žmonės: vadovas, duomenų bazių administratorius, Interneto ir duomenų integravimo specialistas, 2 duomenų integravimo ir 4 duomenų vitrinų specialistai. IMITS grupė parenka pradinių duomenų šaltinius, kuria, diegia ir kontroliuoja ETL procedūras, duomenų kokybės kontrolės ir pagerinimo sistemas, duomenų vitrinas ir matomus galutiniams naudotojams objektus. ETL procedūroms sukurti, joms atlikti ir kontroliuoti naudojama moderni Informatica PowerCenter programinė įranga. Esant reikalui IMITS grupė užsako operacijų registracijos duomenis aptarnaujančiose firmose specialias tarpines duomenų lentas, kuriose sudedami DS reikalingi duomenys ir iš kurių jie imami ETL procedūrų metu. IMITS grupė taip pat kuria ir palaiko tipinius dokumentus, skirtus galutiniams DS naudotojams, organizuoja ir atlieka jų konsultacijas bei mokymus. Įrengta virš 1000 DS darbo vietų CCTA, 8 regioniniuose centruose, 26 teritoriniuose centruose ir 275 savivaldybėse. 2002 metų pabaigoje buvo naudojama apie 170 tipinių dokumentų. Kiekvieno iš jų pirmojoje ataskaitoje pateikiama informacija apie dokumento kūrėjus, dokumento versijas, paskirtį, palaikymą ir kitas dokumente esančias ataskaitas. Virš 90% galutinių DS naudotojų savo darbe naudoja tiktai tipinius BO dokumentus, nors norėdami jie visada gali susikurti ir savo dokumentus. Galutinių DS naudotojų konsultavimas, mokymai ir poreikių tyrimas organizuoti panaudojant BO supernaudotojų (BO superusers) tinklą. 2002 metų pabaigoje tokių BO supernaudotojų buvo apie 50, maždaug po 2 kiekviename teritoriniame centre. IMITS grupė tiesiogiai kontaktuoja su BO supernaudotojais, o šie – su jiems priskirtais galutiniais DS naudotojais. Dirbant su DS naudotojais labai plačiai ir efektyviai panaudojamas Danijos mokesčių ministerijos Intranetas. BO supernaudotojai yra mokesčių specialistai, o ne informatikai. Jie gerai žino mokestinių duomenų specifiką ir tipinius BO dokumentus, konsultuoja galutinius DS naudotojus ir tiria jų poreikius. Danijos mokesčių ministerijos DS laikomi tiktai paskutinių 5 metų duomenys. Visose DS darbo vietose, kurios yra įrengtos Danijos mokesčių ministerijoje ir jos padaliniuose, galutiniai naudotojai mato visų Danijos mokesčių mokėtojų duomenis. Manoma, kad mokesčių administratoriams tai būtina norint tiksliau įvertinti konkretų mokesčių mokėtoją. Įdomu yra tai, kad Danijos mokesčių ministerijos vadovybė informatikų paslaugas stengiasi pirkti ir negausinti informatikos padalinių ministerijos viduje. Manoma, kad informatikų darbus yra sunku kontroliuoti, sudėtinga ir brangu palaikyti reikiamą informatikos specialistų kvalifikaciją ir todėl informatikų veikla viduje Danijos mokesčių ministerijos nėra efektyvi. Pigiau ir patikimiau yra pirkti informatikų paslaugas iš išorinių firmų. Tačiau tuo pačiu metu pabrėžiama IMITS grupės svarba ministerijoje ir nuostatos ją stiprinti. Aiškinama, kad IMITS grupės darbuotojų veikloje pagrindinai reikia žinoti mokestinių duomenų specifiką, jų tvarkymo ir naudojimo tradicijas, galutinių informacijos naudotojų poreikius. Naudojantis šiuolaikinėmis duomenų integravimo ir kaupimo, užklausų ir ataskaitų formavimo, analizės atlikimo, informacijos platinimo ir informacijos gavėjų administravimo programinėmis priemonėmis informatikos specialistų paslaugų poreikis Danijos mokesčių ministerijoje suvedamas iki minimumo. Gilesnės ir kompleksinės mokestinių duomenų analizės uždaviniai (savalaikis tendencijų mokesčių mokėjimo procese išryškinimas, ypač tendencijų, kurios pavojingos biudžetų ir fondų formavimui, atsakymai į klausimus “kas bus, jeigu mokesčio tarifas bus pakeistas taip ir taip, o sąlygos bus tokios ir tokios”) Danijos mokesčių ministerijoje sprendžiami kitame, daug didesniame CCTA padalinyje. Sprendimui naudojamos tiek BO programinės priemonės, tiek ir kita specifinė programinė įranga. Patyrimas ir perspektyvos diegiant BI technologijas Lietuvoje
Apžvalgos autoriui laikotarpyje nuo 2000 metų iki 2004 metų teko aktyviai dalyvauti diegiant BI technologijas Valstybinės mokesčių inspekcijos (VMI) sistemoje. Savo įspūdžius norėčiau reziumuoti taip.
BI technologijų problemos ir perspektyvos
Augant naudojamų duomenų ir informacijos kiekiams bei reikalavimams jų apdorojimo operatyvumui BI technologijos darosi vis labiau reikalingos. Tačiau pačios vienos jos greitai pradeda gaminti nenaudojamą ir niekam nereikalingą nekokybiškų duomenų, informacijos ir žinių silosą. Išryškėja visiems žinoma tiesa – informacijos negalima rengti daug ir „į dangų”. Ji rengiama konkrečiam darbuotojui, konkrečiai institucijai ar įmonei konkrečiu tikslu. Informacija reikalinga tiktai tiek, kiek ji virsta žiniomis, o žinios – kiek yra naudojamos.
Informacijos šaltiniai apie BI ir susijusias technologijas
[1] Wayne W. Eckerson. Performance Dashboards: Measuring, Monitoring, and Managing Your Business. John Wiley & Sons, 2005, 320 p.
Straipsnio šaltinis: Tarpžinybinės mokestinių duomenų saugyklos svetainė, http://tds.ivpk.lt/ |
![]() |
Atgal | Į viršų | ![]() |







