Powerdobs Approved Architectures

Introductie

Regelmatig worden onze consultants gevraagd om een optimale Data & Analytics oplossing te ontwerpen voor een klant. Soms heeft zo’n vraag als doel om een greenfield implementatie design op te leveren, andere keren gaat het om een assessment van een bestaande Data & Analytics implementatie, of om een kosten- of performance optimalisatie. Daarbij zijn de klanten nogal divers: van middelgroot MKB tot wereldwijde Enterprises. Om deze verscheidenheid van vragen en klanten te bedienen, hebben we een Powerdobs Data Analytics Design aanpak ontwikkeld. In dit blog nemen we je mee in deze aanpak.

Analytische diensten

Analytics, Data Sciences, AI / ML, Business Intelligence, Reporting, Self-Service. Wat is wat? Wat hebben we nodig? Deze vragen pakken we als eerst bij de kop. We bepalen welke analytische diensten een klant wil realiseren met een Data & Analytics oplossing. Als de bestaande oplossing niet meer voldoet nemen we dat als startpunt voor dit gesprek, en in het bijzonder de pijnpunten van die oplossing.

Na deze eerste verkennende gesprekken hebben we, naast de behoeften, ook een goed beeld hebben van de ‘BI-maturity’ van een organisatie. Daarmee hebben we een goede basis voor de vervolgstappen, waarmee we op zoek naar de meest waardevolle analytische inzichten voor de klantorganisatie, en welke analytische dienst daar het best bij past:

• Exploratieve analyse via SQL of PowerBI
• Managed reporting via Power BI (paginated)
• Self-service reporting via Power BI of Excel op AS
• Streaming data analytics via SQL, Python, of Power BI streaming
• Big data analytics (incl. statistiek) via SQL, Python, of Power BI i.c.m. R
• Machine Learning en AI via Databricks Data Science of Azure ML Studio

Om deze diensten concreet te maken werken we met voorbeelden aan de hand van de Plan-Do-Check-Act cyclus. Datagedreven inzichten maken de ‘Check’ mogelijk, helpen bij de ‘Act’ fase, en de klantmedewerkers en business processen maken de cylcus rond naar ‘Plan’ & ‘Do’. Ook zoomen we langs deze weg in op de meest waardevolle inzichten en analytics use cases binnen de klantorganisatie.

Design drivers, opties en de non-functional checklist

Duidelijkheid over de gewenste Analytische diensten en belangrijkste toepassingen geven veel richting aan de technology & data architectuur van de benodigde oplossing. Als volgende stap om tot een architectuur te komen kijken we naar de design drivers. Tenslotte hebben we een checklist voor met name non-functionele punten, die zeker van belang zijn en soms valkuilen kunnen worden als ze niet vooraf worden besproken. We nemen onze klanten mee in deze analyse aan de hand van onderstaande keuzes:

Data & Analytics design drivers

• Noodzaak tot Time Travel / Opbouw data historie? Vaak toch wel vereist voor diverse analysevragen.
• Datastroom realtime (bron pusht data) of batch (data platform pulls data) of hybride (Lambda)?
• Dynamiek bronsysteem laag simpel (elke business functie en business entiteit gevat in één bronsysteem) of complex? In dat laatste geval kan een ‘business’ informatie laag nodig zijn t.b.v. ontkoppeling brondata en analysedata.
• Behoefte aan complexe transformatielogica? Om bijvoorbeeld data kwaliteit issues op te lossen, masterdata op te bouwen of bulk bedrijfskosten toe te rekenen aan diensten en producten.
• Sizing: wat is de verwachte datastromen over het platform en verwachte gebruiksintensiteit van tools (bv ook 24/7 organisaties)?

Data & Analytics design opties

• Meta-data gedreven DWH automation van bron tot en met historische laag?
• CI/CD alleen voor deployments, of ook infrastructuur?
• Logging op service health, of ook op analytics en content?
• Welke network security & topology heeft de voorkeur? Smaken zijn o.a. werken met Vnets of Private Endpoints.
• Data entry t.b.v. harmonisation & forecasting benodigd?

Non-functionele checklist

• Als je Powerdobs belt gaan we ervan uit dat de voorkeur ligt op Microsoft (Cloud) producten voor de Data & Analytics oplossing. Toch goed om dit even te verifiëren 😉
• Welke data typen gaan we verwerken? Relational / Non-relational documents / unstructured?
• Hoeveel data gaat er per refresh door dit systeem stromen? Hoe actueel moet de data zijn?
• Welke concurrency en load verwachten we tijdens dal- en piekuren op deze oplossing? Welke SLA wil je bieden qua data freshness en interactieve performance? Moet dit systeem 24/7/365 beschikbaar zijn? Welke High-availability en disaster recovery requirements zijn er?
• Wat zijn de vaardigheden van het klantteam die deze Data & Analytics oplossing gaat adopteren (Dev, Ops, Sec, Governance, End-users)?
• Welke Data Security wensen zijn er? Gevoelige data? Gereguleerde data? Networking? IAM? Threat Management?

Powerdobs approved architectures

Aan de hand van deze informatie kunnen we één of meer voorstellen doen voor de Data & Analytics oplossing. Dit doen we door transparant te maken hoe de klantvraag zich laat vertalen naar een data & technology architectuur, ondersteund door deze methode. Ook doen we voorstellen voor de best passende development tools en technieken om de oplossing te implementeren, beheren en op termijn door te ontwikkelen en uit te bouwen met nieuwe features.

In deze fase komen ook wereldse zaken als tijdslijnen, budget, business mijlpalen en afhankelijkheden met andere klantprojecten aan bod. Ook is het altijd een optie dat we vanuit Powerdobs helpen met het opzetten van de klantteam(s) die de oplossing adopteren, zowel qua sourcing als qua opleiding. Om een voorproefje te geven zie je hieronder een aantal ‘Powerdobs Approved Architectures’ die de tand des tijds mooi hebben doorstaan.