Samen meer Cognos kennis

Datawarehousing: een praktische toepassing

Datawarehouse. Je hoort er regelmatig over. Meestal wordt het ingezet bij grote organisaties met ontzettend veel data. Maar de gemeente Heerlen laat zien dat je als gemeente hier ook veel voordeel van kan hebben. Tenminste als je het op een praktische manier toepast.

Wat is een datawarehouse?

Je hebt bij de gemeente veel verschillende functies. Stedenbouwkundige, deurwaarder, consulent WMO, griffier, stadswacht, jurist, marktmeester, helpdesk medewerker etc etc. Dat maakt het werken bij de gemeente ook zo leuk. Veel verschillende functies betekent ook dat er veel applicaties zijn, en we hebben er bij de gemeente dan ook erg veel. Al die applicaties verzamelen gegevens. Hoopjes gegevens. Kijk bijvoorbeeld naar de Gemma Architectuur. De gegevens in deze applicaties kun je delen met anderen. Dat kan op twee manieren. Je verspreidt het per bron applicatie of je kiest voor een universeel hulpmiddel (zoals Cognos).

Zijn er dan genoeg gegevens? Vaak niet en dan komt de vraag kan dit ook nog? Dit los je dan op door databasevelden oneigenlijk te gebruiken. Bijvoorbeeld door het veld faxnummer te gebruiken om de haarkleur van iemand in te zetten. Het nadeel is dat dit veld in de database faxnummer blijft heten. Sommige applicaties hebben wel vrije velden maar dit is weer erg beperkt. Bovendien zijn deze velden niet gevalideerd, de invoer wordt niet afgedwongen.

Een datawarehouse kan een oplossing zijn: een relationele database met thematisch opgeslagen gegevens, op geautomatiseerde wijze gevuld door bronapplicaties. Eenmaal opgeslagen, kunnen gegevens in het datawarehouse onafhankelijk van bronapplicaties worden gebruikt.

Hoe krijg je dat voor elkaar? Met een ETL-programma:

  • Extract (ophalen)
  • Transform (omzetten)
  • Load (beschikbaar maken)

Met een ETL werk je toe naar een gegeven wat je kant en klaar kan gebruiken. Bijvoorbeeld de adressering. Als je dit veld gebruikt uit de datawarehouse dan krijg je:

Dhr. Jan van Kampen
Pieter Baanstraat 24, 3 hoog achter
1154 XY  Amsterdam

Deze gegevens zijn uit de bronapplicatie opgehaald (Extract) uit verschillende vakjes. Bijvoorbeeld Dhr. leiden we af van het geslacht van de persoon, de voornaam, tussenvoegsel, achternaam, adres, huisnummer, huisnummer toevoeging, postcode nummeriek, postcode alfanummeriek, plaatsnaam. Allemaal losse velden in de bronapplicatie, nu 1 veld adressering. Voortaan kun je in je rapporten (of brieven in dit voorbeeld) met het veld adressering volstaan.

Waarom doen we dat?

Een aantal opsommingen vanuit het oogpunt van Cognos. Er zijn meer redenen waarom je een datawarehouse kan inzetten (denk aan datamining en security) maar dat blijft buiten het Cognos blikveld.

Verrijken

Eerder is genoemd het voorbeeld van de haarkleur. Een tool wat daarbij interessant zou kunnen zijn is Apparo Fast Edit. Je krijgt dan op je rapportregel de mogelijkheid om deze aan te vullen met een eigen aantekening.

Historie

Gegevens in een database zijn vaak vluchtig. Het geeft dan alleen de actuele data. Soms wil je een beginsaldo per 1 januari weten. Door een datawarehouse kun je terug kijken in de data. Ook als er iets fout gaat kun je informatie terughalen.

Combineren

Het combineren van gegevens van twee applicaties. Bijvoorbeeld de klachten openbare ruimte combineren met een Geo-kaart. Of financiële gegevens combineren met personeelsgegevens.

Continuïteit

Als gemeente gebruiken we veel applicaties en die wisselen uiteraard. In een ideale situatie blijft bij het vervangen van bijvoorbeeld een financiële applicatie je managementinformatie gelijk. Op die manier ben je met een datawarehouse applicatieonafhankelijk worden.

Verwerkingssnelheid

De algemene 'irritatiewens' is 7 seconden. Als een dagelijks rapport niet binnen 7 seconden op het scherm staat moet er wat gebeuren. Een datawarehouse zorgt voor een snellere verwerkingssnelheid door de ETL techniek waarin de gegevens worden opgehaald, omgezet en geladen. Je voorkomt daarmee ook dat je bij een complex rapport, die verschillende bronnen benaderd, de databases flink belast.

Externe databronnen

Steeds meer zie je dat databronnen niet meer in huis staan maar alleen via de cloud benaderbaar zijn. Om voor dit soort gegevens een Cognos rapport te maken is al lastig genoeg laat staan als je ze wilt combineren met andere applicaties. Met een datawarehouse kun je deze gegevens toch prima ontsluiten en combineren.

Bewaak de kwaliteit

Neem maatregelen om de kwaliteit van gegevens te borgen. Je kunt nog zulke mooie applicaties hebben, ook een datawarehouse. Maar als je de kwaliteit van de gegevens niet bewaakt dan heb je er nog niets aan. Als je bijvoorbeeld afgesproken hebt om de kleur van het haar van het personeel te registreren, draai dan regelmatig controle lijstjes met mensen die wel in dienst zijn maar waarvan de haarkleur nog niet is ingevuld. Hier is ook speciale programmatuur voor om de kwaliteit van gegevens te verankeren. Bijvoorbeeld Data Quality van het bedrijf Informatica.

Hoe komt een datawarehouse rapport tot stand?

Niet alle rapporten zijn geschikt voor een datawarehouse. Bijvoorbeeld transactierapporten (bijvoorbeeld mutatieverslagen) kunnen prima live op de bron worden gedraaid. Voor andere rapporten kun je een datawarehouse prima inzetten.

Dit gebeurt vaak iteratief. Bijvoorbeeld er wordt begonnen met een rapport dat uit meerdere bronnen gegevens haalt, deze wordt vervolgens verrijkt met extra comptabele gegevens. Heel vaak blijft dan zo'n vraag niet op zichzelf staan. Andere gebruikers binnen de organisatie hebben weer een variant op die vraag, die je als Cognos specialist graag wil beantwoorden. Je voegt dan nog meer logica aan het rapport toe en zo krijg je als je niet uitkijkt een ingewikkeld stelsel. Vaak zie je dat de verwerkingssnelheid dan niet meer aan de irritatiewens voldoet. Uiteindelijk kom je dan uit bij een datawarehouse.

 

Log in om een reactie te plaatsen.