Al ruim 35 jaar ontwikkelt en produceert Vencomatic Group innovatieve systemen voor de pluimveehouderij. Van eierverzameling en klimaatbeheersing tot complete stalinrichtingen: wereldwijd vertrouwen klanten op de oplossingen van Vencomatic. Die internationale groei brengt ook een groeiende hoeveelheid data met zich mee. En juist daarom ontstond de behoefte aan één centraal dataplatform waarop iedereen kan vertrouwen.

De uitdaging

“Voor ons was het belangrijk om een dataplatform neer te zetten dat niet alleen schaalbaar is, maar ook beheersbaar en overzichtelijk blijft,” vertelt Willem Lepelaars, BI Lead bij Vencomatic. “We wilden absoluut voorkomen dat het een black box zou worden. Iedereen, van data engineer tot business user, moet kunnen begrijpen waar data vandaan komt en erop kunnen vertrouwen.”

Vencomatic schakelde Powerdobs in om mee te denken over de juiste architectuur en platformkeuze. Daarbij stond één uitgangspunt centraal: bouwen volgens bewezen best practices, met moderne technologie en een toekomstbestendige inrichting. Het platform moest klaar zijn voor de ontsluiting van uiteenlopende bronsystemen én ruimte bieden voor toekomstige data science-toepassingen.

“Powerdobs dacht niet alleen mee over de techniek, maar ook over de keuzes die we op de lange termijn maken. Dat gaf veel vertrouwen.”

De oplossing

De keuze viel op Databricks. Vooral de governance-mogelijkheden van Unity Catalog maakten het verschil. Daarmee is de volledige lineage inzichtelijk: van brondata tot de goudlaag binnen de medallion-architectuur. Ook is eenvoudig te zien wanneer datasets voor het laatst zijn ververst.

Daarnaast wordt gebruikgemaakt van Databricks Declarative Pipelines met standaard ondersteuning voor Change Data Feed (CDF), waardoor incrementele laadprocessen efficiënt verlopen. Dankzij Slowly Changing Dimensions Type 2 blijft historische informatie behouden en wordt time travel mogelijk. Voor rapportages maakt Vencomatic gebruik van Power BI.

Het resultaat

Inmiddels draait er een robuuste Databricks-omgeving waarin SAP succesvol is geïntegreerd volgens de medallion-architectuur. De ontwikkelde aanpak is opgezet als template en daardoor eenvoudig herbruikbaar voor nieuwe databronnen. De volgende integraties, waaronder Tacton en Infor, worden inmiddels door de engineers van Vencomatic zelf gerealiseerd. Powerdobs blijft daarbij betrokken als sparringpartner voor architectuurvraagstukken en technische ondersteuning.

“De samenwerking met Powerdobs voelde vanaf het begin als een partnership. Met de kennis die ze hebben, is ons eerste doel bereikt en hebben ze meegedacht over nieuwe doelen en hoe we die zelf kunnen bereiken.”

Volgens Willem is dat misschien wel het grootste succes van het project: “We hebben nu een toekomstbestendig platform waarop we kunnen blijven bouwen. De basis staat stevig en we hebben tegelijkertijd de kennis in huis om zelfstandig door te ontwikkelen.”