Introductie
Afgelopen maand heeft Microsoft een grote nieuwe Power BI feature geïntroduceerd: Power BI Datamarts. Voor Business Intelligence professionals is een ‘datamart’ een bekende term: het staat voor een dataset gebaseerd op een (klein) deel van het data warehouse, geoptimaliseerd voor analyses met een specifiek gebruiksdoel (bijvoorbeeld een logistieke analyse), of voor een afdeling (bijvoorbeeld sales).
Hierbij de highlights van de Power BI Datamart:
- Speciale dataflows laden data in een door Power BI beheerde, relationele Azure SQL Database
- Die data is vervolgens te verkennen met SQL en/of te modelleren met Power Query of een visuele (no-code) ETL UI
- Het eindresultaat wordt aangeboden als een automatisch gegenereerde, DirectQuery dataset op de Azure SQL Database
- Dit hele proces is (alleen) via je browser te configureren en beheren
- Er is een Premium capaciteit of Premium Per User licentie nodig
- Datamarts zijn alleen ondersteund in Premium Gen 2 workspaces
Daarnaast zijn de volgende features ook ondersteund in datamarts:
Voor een eerste release zijn de Datamarts erg compleet en is het duidelijk welke visie Microsoft hiermee nastreeft: Data Democratization, ofwel het meer bereikbaar maken van rapportages en insights voor alle mensen in een organisatie. In dit blog leggen we uit wat dat voor onze klanten betekent.
Overzicht afkomstig van docs.microsoft.com
De automatisch gegenereerde dataset is anders dan traditionele datasets, omdat:
- de dataset niet direct bewerkt kan worden, hiervoor moet je de datamart aanpassen
- deze dataset heeft geen datasource settings: er wordt Single Sign-On naar de datamart gebruikt
Aandachtspunten
In de documentatie staat een volledig overzicht van alle huidige overwegingen en beperkingen van Power BI datamarts.
Wanneer de datamart een Premium capaciteit gebruikt, dan verdient performance monitoring extra aandacht. Een grote datamart kan ervoor zorgen dat de Premium capaciteit overbelast wordt en zodoende andere rapporten niet meer (goed) gebruikt kunnen worden. Tijdens de public preview van datamarts is het daarom aan te raden een Premium Per User (trial) workspace te gebruiken voor datamarts.
Datamarts maken self-service voor de eindgebruiker nog toegankelijker, echter kan het ook extra aandacht vragen ten aanzien van governance van de Power BI omgeving. Wildgroei van datamarts kan ervoor zorgen dat het beheer lastiger wordt. Zodra een datamart door een breed publiek gebruikt gaat worden is het verstandig te kijken of het mogelijk is de datamart onder te brengen bij de (andere) centraal beheerde datasets. Administrators kunnen in de Admin portal en de Activity log het gebruik van datamarts monitoren.
Positionering datamarts
De Power BI datamart is qua ‘laag’ in een BI stack niets nieuws: het is een verbijzondering van een subset uit het data warehouse met een specifiek analytisch doel, bijvoorbeeld Sales of Finance analyse. Maar de gereedschappen die voor handen zijn om deze datalaag vorm te geven zijn anders. Afhankelijk van de technologische architectuur van een BI stack zijn dat bijvoorbeeld:
- Back-end
- Mapping Dataflows
- SQL Stored Procedures
- Front-end
- Analysis Services
- Power BI Datasets
Voor verduidelijking van de positionering hebben we de gereedschappen aangeduid als meer back-end, of juist meer front-end. Waarbij back-end synoniem staat voor meer features, meer data, duurder, specialistischer. Front-end staat voor minder features en data, maar ook goedkoper en makkelijker in gebruik. Power BI Datamarts valt precies tussen de Back- & Front-end opties in dit lijstje.
Wat betekenen datamarts voor onze klanten
Ten eerste is het belangrijk om te vermelden wat het niet is: Datamarts zullen niet gebruikt gaan worden door data engineers die werken aan Enterprise BI stacks voor grote organisaties (>500 medewerkers). In dat soort grotere en meer complexe omgevingen zijn enkele aspecten van de datamart feature suboptimaal. Denk bijvoorbeeld aan:
- Het SQL-endpoint en de dataset zijn read-only.
- Wil je naast de web UI met meer specialistische tools (bv Tabular Editor) je datamodel beheren? Dat kan niet. Een read-only connectie met het SQL-endpoint is wel mogelijk met externe tools.
Door deze beperkingen is de Datamart feature niet altijd 1:1 zo in te richten dat het een volledig verlengstuk is van een Enterprise BI stack. Ook is het doorgroeien van een Datamart stack naar een full Azure Data Platform niet naadloos, maar het helpt dat de logica centraal in een Datamart is georganiseerd.
Wanneer datamarts gebruiken
Wat is het dan wel?? Datamarts maken allerlei scenario’s mogelijk om Power BI beter op de klantorganisaties aan te laten sluiten. Bij Powerdobs denken we niet generiek aan ‘Power BI’, maar in termen van analytische diensten die Power BI mogelijk maakt. In deze context kan de Datamarts feature bijdragen aan:
- Departmental self-service insights: Eigenaarschap van de departmental datasets (bijvoorbeeld Sales) kan door de toegankelijke centrale web UI worden belegd bij hybride business & analytics power users. Daarnaast biedt de toegankelijke dataset web UI ook opties om met SQL of de visuele ETL tool verkennende analyses of ad-hoc rapport verzoeken te verzorgen.
- Bottom-up PoC service: Business rapportage teams hebben haast: de maand- / kwartaal- / jaar afsluiting komt eraan! Of een productintroductie! Of een nieuwe marketingcampagne! Waar Enterprise data warehouses juistheid, volledigheid en quality of service als top prio hebben. Datamarts kunnen business reporting teams een middel bieden om nieuwe insights te testen, en bij succes over te dragen aan een DWH team.
- Powerdobs micro cloud: In combinatie met de Powerdobs eigen technologie om met dataflows historie op te slaan (slowly changing dimensions) biedt de Datamarts optie een enorm kosteneffectief rapportage platform.
Ook wanneer gebruikers geen toegang hebben tot Power BI Desktop kan de Datamart een oplossing zijn, bijvoorbeeld voor Mac-gebruikers.
Daarnaast kunnen externe gebruikers ook erg eenvoudig toegang krijgen.
Wil je zelf aan de slag met datamarts? De Microsoft documentatie is al erg uitgebreid:
Heb je toch nog vragen of wil je met de Power BI datamarts aan de gang? Laat het ons dan even weten!
