Datawarehouse & Business intelligence

Pokud hledáte firmu, která se zaměřuje na praktické efektivní využití BI/DHW pro pokrytí business potřeb firmy, pak jste na těchto stránkách správně. Pokud hledáte teorii a obecné informace o problematice BI&DWH, najdete ji mimojiné na Kimball Group nebo Corporate Information Company pana Inmona. Další informace lze nalézt na TDWI.

Naši konzultanti realizovali velké i malé datové sklady pro různé business vertikály - telco, pojišťovny, banky, splátkové firmy a retail. Nabyté zkušenosti jsme schopni aplikovat i do dalších vertikál - industry a public.

Na základě zkušeností z realizovaných projektů jsme vytvořili následující soubor doporučení, které dle našeho názoru vedou k úspěšnému projektu v oblasti BI/DWH:

• Bez business sponzora bude i důležitý a klíčový projekt vždy na okraji zájmu zainteresovaných pracovníků.
• Znalost businessu zákazníka nebo schopnost jeho rychlého vstřebání ze strany dodavatele je nutným předpokladem úspěchu projektu
• Řešení musí směřovat k usnadnění práce uživatelů. I zde platí že v jednoduchosti je síla. Vytvořit složité, komplikované a nepřehledné řešení není problém, ale nikdy nebude dobře přijato uživateli, i když se za něj postaví důležitý business sponzor a jeho použití je nařízeno.
• Navázání úzké spolupráce týmu dodavatele s klíčovými pracovníky zákazníka představuje prevenci proti rozčarování na konci projektu, stejně jako možnost řízeného předání našeho know-how těmto klíčovým uživatelům
• Předpokladem úspěchu projektu je jeho dobrá příprava a zacílení resp. definice scope - je lepší nadefinovat a kvalitně připravit menší část a poté ji s podporou uživatelů dále rozšiřovat, než vytvořit široce zaměřené, ale plytké řešení
• Řešení je vhodné budouvat postupně po krocích. První krok je nutné připravit tak, aby následující navazájící kroky neznamenaly nutnost předělávání čím dál větších částí již existujícího řešení
• Často dochází k tomu, že se výběr technologie pro realizaci stává hlavním předmětem diskuzí o projektu a business část ustupuje do pozadí.Vyvarujte se toho, nezapomínejte, že projekt má za primární cíl vytvoření řešení pro zlepšení práce businessu!
• Použitá technologie resp. jejich kombinace má zpravidla zásadní vliv na investiční náročnost projektu - a to jak na úrovni investic do HW a SW, tak i v oblasti realizace (produktivita práce vývojářů atd.)
• Nechce si pro zvolenou kombinaci technologií vytvořit od dodavatele Proof Of Concept nebo malý pilotní projekt, který ověří, že Vám daná technologie bude vyhovovat jak z pohledu výkonu, objemu dat tak i podporou vysoké produktivity vývoje, verzování a automatizace. Uchráníte Vaši investici před velkým rizikem

Našim zákazníkům přinášíme řadu zkušeností s vytvářením s různými kombinacemi technologií pro budování řešení typu BI/DWH, stejně jako znalost HW infrastruktury, což nám umožňuje připravit řešení, které bude splňovat požadavky zákazníka a současně bude nákladově efektivní. Nabízíme Vám služby v oblasti:

• Příprava a vytvoření Proof of Conceptu (PoC)
• Quick-Win řešení pro operativní a analytický reporting
• Analýzy a realizaci nově připravovaných řešení BI/DWH
• Převzetí stávajícího řešení do správy
• Redesign stávajícího řešení

Sluzby: - quick win reporting - operativni a analyticky reporting (ODS) - analyza a realizace datovych skladu - redesign stavajici reseni - prevzeti provozu datoveho skladu a jeho dalsi rozvoj (odkaz do architektury na prevzeti reseni) Případová case study:

Pro demonstraci možných přínosů zde opět máme fiktivní příklad založený na praktických zkušenostech. Pro tento případ je pro jednotlivé služby prezentován přístup k řešení a dosažitelné výsledky. Firma provozující několik řešení, které byly nasazovány v čase dle požadavků businessu.

Datová podpora business uživatelů a propojení systémů bylo řešeno separátně vždy v rámci konkrétního projektu (a rozpočtu) a v čase realizace konkrétního řešení, takže vzniklo několik míst, kde jsou systémy propojené.

Kvůli silnému zatížení systémů byla vytvořena datová báze pro reporting, aby nedocházelo k zatížení produkčních systémů kvůli reportingu.

Společné rysy jednotlivých řešení:

• Každý systém má svoji infrastrukturu (server, databázi, aplikační servery, systémy sdílí centrální diskové pole
• Každý systém má vlastní subsystém reportingu, založený na předdefinovaných reportech a analýzách
• Analytické reporty jsou zpracovávány dávkově v průběhu noci, tj. reporty jsou aktuální k D-1
• Operativní reporty jsou spouštěny ad-hoc dle potřeb uživatelů
• Firma pracuje v režimu 5x10

Typické provozní problémy u tohoto fiktivního zákazníka:

• Rozvoj firemního businessu generuje čím dál větší objem dat v databázích, dávkové úlohy a generované reporty nejsou dostupné v požadovaném čase a kvalitě;
• Prodlužuje se odezva systému i za běžného provozu díky nárůstu dat, business žádá okamžitou nápravu, např. formou upgrade HW;
• Operativní reporty spouštěné ad-hoc generují špičkové zatížení systému a mají silný dopad na reálnou odezvu systému
  Velice rychle rostou požadavky na úložný prostor diskového pole;
• Business požaduje zvýšení dostupnosti řešení díky závislosti jejich business na provozu daného systému (zmenšení servisních oken, vyššíí nároky na monitoring atd);
• Business požaduje real-time propojení systémů z důvodu lepší podpory businessu a zachování konkurenceschopnosti;
• Reporty ze systému ukazují pro stejné oblasti rozdílná data, pracně se dohledávají a zdůvodňují rozdíly (např. rozdílný čas denních uzávěrek systému);

Příprava a vytvoření Proof of Conceptu (PoC)

Jak již bylo zmíněno, použitá technologie by neměla být hlavní náplní diskuzí daného záměru. Investice do infrastruktury a náklup licencí však představuje nezanedbatelnou část rozpočtu každého projektu. Je proto důležité ověřit, že je daná kombinace technologií vhodná pro řešení konkrétního zadání. Co může platit jako velmi výhodné pro telco segment zpravidla není nejvhodnější pro finančí sektor. Stejně tak může být konkrétní kombinace vhodná pro rozsáhlé řešení, ale nevhodná pro malé nebo střední řešení.

Proto Vám doporučujeme nechat si zpracovat Proof of Concept dané kombinace technologií a otestovat na něm reálné chování pro konkrétní úlohy. Investice do Proof of Conpcetu nemusí být vysoká a hlavně představuje ochranu výrazně vyšší následné investice proti jejímu zmaru. Když v polovině projektu zjistíte, že jste vybrali špatně, není to dobrá zpráva. V některých případech je dobré spojit Proof of Concept s pilotní fází projektu. Velmi důležité je používat objemy dat, jaké jsou očekávány v reálném provozu, protože každá technologie se chová jinak při zpracování tisíců záznamů a několika milionů. Stejně důležité a ze stejného důvodu je vhodné v rámci PoC provést i několik aktualizací

Průběh: Jedná se o kombinaci technických konzultací, analýzy dle definovaného scope a následné technické realizace v níže uvedených krocích

1. Konzultace s business vlastníkem, definice scope PoC
2. Výběr resp. doporučení kombinace technologií pokud již není definována
3. Zajištění HW a SW pro PoC - lze zajistit ze zdrojl zákazníka, nebo vyjednat zápůjčku
4. Analýza dle definovaného scope PoC, vytvoření katalogu reportů dle zadání, identifikace potřebných datových zdrojů, zadání pro poskytovatele dat, schválení analýzy
5. Instalace a počáteční konfigurace prostředí pro Proof of Concept
6. Vývoj řešení dle analýzy, příprava business oblastí pro reporting, příprava a testování reportů
7. Inicializace PoC, provedení aktualizací dat, měření časů a zátěže
8. Testování reportů, jejich odezvy, možností modifikace uživateli, security atd
9. Vyhodnocení PoC 

Quick-Win řešení pro operativní a analytický reporting

Služba vytvoření Quick-Win řešení představuje odpověď na akutní potřebu zákazníka. Tuto službu lze využít i ve formě PoC. V rámci této služby je u zákazníka nasazena reportingová platforma, která může být napojena přímo na provozní systémy zákazníka. S ohledem na datový model transakčních aplikací doporučujeme předřadit datovou bázi, která představuje dočasné úložiště kopií dat ze zdrojových systémů a vrtsvu datamartů, při jejímž plnění jsou uplatňovány stejné principy jako u klasických datových skladů (konzistence, propojení dat z více systémů atd.). Mezi hlavní priority této služby patří zajištění požadovaného výstupu a rychlost realizace. Hlavní prioritou není "čistota a systémovost" řešení. Pro úspěšné dodání požadovaných výstupů je nutná intenzivní spolupráce klíčových pracovníků zákazníka.

Realizací této služby může zákazník pokrýt akutní potřebu reportingu s tím, že je předpokládána následná realizace standardního BI/DWH řešení ve formě operativní datové báze (ODS) pro operativní reporting a/nebo datového skladu pro krytí potřeb analytického reportingu.

Průběh: Jedná se o kombinaci technických konzultací, analýzy dle definovaného scope a následné technické realizace řešení v níže uvedených krocích

1. Konzultace s business vlastníkem, definice scope řešení a požadavků na výstupy řešení
2. Zajištění HW a SW pro řešení - lze zajistit ze zdrojů zákazníka, nebo vyjednat dlouhodobou zápůjčku
3. Analýza dle definovaného scope, vytvoření katalogu reportů dle zadání, identifikace potřebných datových zdrojů, zadání pro poskytovatele dat, schválení analýzy
4. Instalace a počáteční konfigurace prostředí pro Proof of Concept
5. Vývoj řešení dle analýzy, příprava business oblastí pro reporting, příprava a testování reportů
6. Inicializace PoC, pravidelná aktualizací dat
7, Finalní testování reportů a rollout do produkce
8. Zahájení jednání o standardním BI/DWH řešení

Příklad pro Case Study:

• Validace zdrojových systémů z pohledu možnosti využití mechanismů distribuce dat
• Zvolena reportingová platforma Oracle BI Enterprise Edition s ohledem na její snadnost a univerzálnost z pohledu typu datových zdrojů
• Nadefinována a vygenerována datová báze jako samostatná DB instance databáze Oracle
• Pro distribuci dat ze zdrojových systémů využita technologie Oracle Streams ve variantě downstrem capture pomocí redologů - opět s ohledem na prostředí zákazníka, rychlost nasazení, a eliminaci strojového času zdrojových systémů spotřebovaných na distribuci změn)
• V datové bázi jsou vytvořeny kopie datových schémat ve zdrojových systémech a naplněna pomocí počátečního importu (datapumpa)
• V datové bázi je vytvořena vrstva "datamartů" a nadefinovány transformace pro její plnění v nástroji Oracle Warehouse Builder
• Vytvoření business metadata vrstvy na úrovni reportingové platformy, vytvoření zadaných reportů
• Spuštění distribuce dat z ostatních systémů do reportingové datové báze prostřednictvím Oracle Streams, zajištění plnění datamartů
• Testování a následné překlopení do produkce

Analýzy a realizaci nově připravovaných řešení BI/DWH

V rámci služby je provedena analýza a následná implementace řešení typu Operatovní datové báze (ODS) nebo datového skladu (DWH).

Průběh: Jedná se o kombinaci technických konzultací, analýzy dle definovaného scope a následné technické realizace řešení v níže uvedených krocích

1. Konzultace s business vlastníkem a klíčovými uživateli, návrh etapizace řešení, definice scope pilotní fáze řešení a požadavků na výstupy řešení
2. Výběr HW a SW platformy a optimální kombinace technologií dle potřeb řešení, zajištění HW a SW
3. Analýza dle definovaného scope, vytvoření katalogu reportů nebo jiných výstupů dle zadání, vytvoření transformačních rules, definice design paternů transformací, identifikace potřebných datových zdrojů, zadání pro poskytovatele dat, schválení analýzy
4. Instalace a počáteční konfigurace prostředí
5. Vývoj řešení dle analýzy, příprava business oblastí pro reporting, příprava a testování reportů
6. Datová inicializace řešení, pravidelná aktualizace dat
7. UAT testování reportů a rollout do produkce
8. Další etapa řešení

Převzetí stávajícího řešení do správy

V tomto případě nabízíme takto nespokojenému zákazníkovi možnost jednorázové Optimalizace IT řešení a následné převzetí řešení do naší správy, současně se zajištěním dalšího rozvoje. V některých případech může existovat problém se stávajícím dodavatelem řešení.

Průběh: Tuto službu neposkytujeme pouze pro BI/DWH řešení, detailní popis služby je uveden v sekci Služby/Převzetí IT řešení do správy

Redesign stávajícího řešení

Mnoho zákazníků již provozuje datový sklad nebo jeho obdobu. Řešení mohou být v provozu již několik let a náklady na jejich údržbu a další rozvoj rostou. Možnosti technologií a přístupu k řešení se za dobu provozu výrazně změnili. Řešení mohlo být v čase svého vzniku špičkovým řešením, které ale věkem i možnostmi oproti novým technologiím generčně zastaralo a už neumožňuje naplnit aktuální potřeby business vlastníka. Asi nejčastějším případem je realizace řešení, které se následným postupným ad-hoc nesystematickým rozšiřováním jeho funkcionality s minimální impact analýzou v rámci jednotlivých RFC dostalo do stavu, kdy je již celkově nestabilní, datově nekonzistentní a má nepostačující výkon. Jednoduchý upgrade HW tyto problémy pouze krátce posune v čase.

Služba spočívá v provedení jednorázové Optimalizace IT řešení , analýzu úzkých míst na úrovni architektonického návrhu, doporučení a roadmapa k nápravě aktuálního stavu.

Průběh: Jedná se o kombinaci technických konzultací,technické analýzy, audit stávajího řešení, audit dokumentace a následného převzetí:

1. Úvodní konzultace s IT a business vlastníkem, zjištění technických informací
2. Podpora provozního oddělení formou konzultací k řešení akutních problémů s provozem stávajícího řešení
3. Sběr požadavků na úroveň služeb, sběr požadavků na základní parametry řešení typu dostupnost, průchodnost atd
4. Pokud je to možné, tak i konzultace se stávajícím dodavatelem nebo zodpovědným pracovníkem
5. Získání přístupů do systémů na úrovni systémových administrátorů pro read-only přístup
6. Provedení jednorázové Optimalizace IT řešení
7. Vyhodnocení optimalizace a rozhodnutí a příprava roadmapy změn (v případě potřeby kompletního redesignu pak postup dle  Analýzy a realizaci nově připravovaných řešení BI/DWH )

Po dobu redesignu doporučujeme zajistit alespoň dočasný freeze řešení.