De Lifecycle van het data platform

Bij Powerdobs werken we dagelijks aan Data Platformen. Van groot tot klein en met allerlei verschillende technologieën hebben ze toch tenminste één ding gemeen: het is voor onze klanten een belangrijke en kostbare investering. Daarom nemen we onze klanten altijd aan de hand in de te maken keuzes als het gaat om de afweging ‘snel resultaat‘ versus ‘duurzaam dataplatform‘. Beiden zijn namelijk belangrijk! Het is cruciaal om voor een nieuw data analytics initiatief snel waarde te leveren. Maar na een aantal van die snelle successen moet er ook actief worden gestuurd op de duurzaamheid van het data platform en de geleverde inzichten, want wie wil nou niet dat de gedane investeringen vele jaren renderen? Wat als er een nieuwe service wordt gelanceerd, zoals Microsoft Fabric, moet je daar meteen mee aan de slag of is het verstandig om te wachten? In deze blog vertel ik hoe Powerdobs bovenstaande uitdagingen aangaat.

 

Data Platform Lifecycle

De levenscyclus van een succesvol data platform kan vele paden volgen. Om een rode draad te bepalen, beschrijf ik enkele mijlpalen die elke organisatie doorloopt, mogelijk wel in een andere volgorde:

•  Opstart:
  • Een goed gemanaged selectietraject en implementatieplanning: Op basis van een heldere ambitie van alle managementlagen wordt een passende oplossing bepaald, inclusief een implementatieplan voor de eerste jaren.
  • Een goed team: Er worden intern medewerkers vrijgemaakt voor het initiatief, eventueel aangevuld met consulting kennis. In dat laatste geval moet er ook een plan zijn om de nog missende kennis intern te gaan opbouwen.
  • Technology Proof of Concept is succesvol: Een Minimum Viable Product data platform komt vlotjes van de grond, de samenwerking in het team is goed, de Proof Points kunnen veelal succesvol worden afgevinkt.
• Eerste successen:
  • Een eerste succesvolle use case: Bijvoorbeeld een Sales Dashboard waar underperforming producten en klanten worden geïdentificeerd en die gelijk bottom line impact heeft. Gelukkig is ook de kwaliteit van de aangeleverde data voldoende en sluiten de cijfers in de rapportages mooi aan op de verwachtingen van de eindgebruikers. Mooi werk!
  • De dienst wordt goed ondersteund: De uitrol van de insights en ondersteuning voor eindgebruikers is op orde. Ook wordt er proactief gemonitord op data kwaliteit (actualiteit, integriteit, volledigheid, en juistheid).
  • Een eerste basis voor portfolio management: Wordt uitgerold om nieuwe projecten, changes en beheer te besturen.
• Sturen op langdurig succes:
  • Business partnering: Duidelijk portfolio proces, Bekostiging, Definitie van de dienst.
  • Data architectuur: Overleg met Business applicatie architecten (ERP), Integratie patronen, Enterprise laag, Modelling reviews, Edge cases.
  • Gedeelde kennis: Alle data professionals moeten op een toegankelijke manier de hele oplossing kennen en kunnen modelleren. Dat is geen hocus pocus. Maar er is wel training voor nodig.
  • Technical debt / Runway: Onder druk van deadlines en budgetten worden shortcuts genomen, dat is een fact of business life. Bereid je voor en plan periodiek onderhoud. 1 maand per jaar voor het hele team is een goed startpunt.

 

Een natuurlijk einde?

Alle (IT) systemen kennen een houdbaarheidsdatum. Misschien verandert de organisatie zodanig dat de Business – Technology fit niet meer voldoende is. Of zijn er nieuwe technologische oplossingen die veel aantrekkelijker zijn, bijvoorbeeld door meer en innovatieve features te bieden voor hetzelfde budget. Er zijn evenwel veel voorbeelden van data platformen die wellicht niet meer cutting edge zijn qua technologie, maar die wel enorm waardevolle business insights leveren en daardoor erg lang in stand blijven. Een vrij recente ontwikkeling is dat met name de cloud providers zoals Microsoft Azure hun data platformen niet meer als één monolithische service aanbieden, maar bijvoorbeeld storage en compute scheiden. Dit heeft als effect dat, mits die scheiding ook in de verdere implementatie goed is bewaakt, het makkelijker is om één enkele functie of technology service te upgraden zonder dat gelijk het hele data platform op de schop moet.

Alle oplossingen die langer dan 10 jaar op deze manier waarde leveren zijn dan ook succesvol te noemen! Maar wat als er al (lang) voor die 10-jaars drempel barsten ontstaan in het fundament van de IT-oplossing? Welke mechanismen liggen daaraan ten grondslag en kan je dan nog ingrijpen? En hoe? Enkele symptomen van een beginnend falen van een data platform oplossing zijn:

• Er is een groeiende stroom vragen over de juistheid van de geleverde insights en het wordt steeds lastiger uit te leggen.
• Er blijft minder en minder tijd over voor development activiteiten, en als er tijd voor gevonden is, blijft de snelheid van opleveren achter ten opzichte van enkele jaren terug.
• De kosten lopen daardoor op, evenals de levertijd. De interne klanten worden ontevreden en vallen terug op decentrale (shadow IT) oplossingen. Als gevolg daarvan is er minder overeenstemming over ‘de waarheid’: er zijn gedeelde inzichten en KPI’s voor de besturing van de organisatie. Daardoor ontstaat er ruimte voor politiek en (mis-)management.

 

 

Hoe kan Powerdobs helpen? Bijsturing op duurzaamheid

Het doorbreken van een negatieve spiraal rondom een centraal data platform en de geleverde insights kan, het begint echter bij een juiste diagnose. Het besef dat er een grote hoeveelheid organisatorische en technical debt is opgebouwd moet leiden tot een ‘Foundation’ project. Nadruk van dit project ligt dan onder meer op het weg consolideren van redundante objecten, de overige data te modelleren volgens de geldende data architectuur richtlijnen, en klanten mee te nemen in deze verbeteringen.

 

De succesfactoren voor een gezond data platform gelden natuurlijk ook voor het foundation project. Het foundation project kan bijvoorbeeld ingrijpen op:

• Business partnering: Is er voldoende aandacht geweest voor de interne klanten? Is de manier van bekostigen van de data platform dienst voldoende gedragen? Zijn er aan business kant goede stakeholders gevonden om mee vooruit te gaan, bijvoorbeeld Data Analytics Product Owners per business domein? Zijn de interne klanten tevreden met het niveau van de dienstverlening? Zo niet dan verdienen deze punten aandacht!
• Data architectuur: Data architectuur is key voor alle IT-dienstverlening, beginnend bij data creatie (bijvoorbeeld business apps en externe datastromen) en eindigend bij KPI-definities op analytische datasets. Alle data professionals moeten voldoende kennis hebben van de data architectuur van de organisatie, en van het data platform in het bijzonder. Hoort een bepaalde data transformatie in stap X, of toch beter in data laag Y? Aanvullende kennis over theorie, best practices en kostbare valkuilen kan worden geborgd bij data owners en architecten. Als dit domein al langer onderbelicht is kan grondig rework van de belangrijkste informatie objecten (klant, product en dienst, sales, en meer) nodig zijn…
  Moet je mee op de golf van de laatste ontwikkelingen zoals Microsoft Fabric of gebruik je liever proven technology zoals Azure Data Factory of Synapse? Je kunt ook een middenweg kiezen en nu gaan voor proven technology, terwijl je tijdens de ontwikkelingen wel rekening houdt met een eventuele migratie en onderdelen en services gebruikt die goed aansluiten bij een eventueel migratietraject.
• Technical debt / Runway: Is er in het verleden geen onderhoud gepleegd? Een complex data platform is niet anders dan ‘complexe systemen’. Een auto. Een grote generator. Een ERP systeem. Net als voor die systemen is ook voor een data platform een onderhoudsplan nodig. Dat kost tijd en geld, maar dat is altijd nog goedkoper dan geen onderhoud uitvoeren!

 

Maak jij je zorgen over hoe lang jouw data platform nog in goede gezondheid verkeert? We kijken graag met je mee naar kwaliteit en duurzaamheid van jouw data platform. Van een scan en advies tot en met support bij gerichte versterkingen van jullie data fundament.