Aegon - Solution Architect Data Lake

Aegon - Solution Architect Data Lake

Project Overview

In navolging op de data cache oplossing zijn we gestart met het ontwerpen en bouwen van een Data Lake platform als permanente oplossing voor een betere data voorziening voor de online portalen. Hiermee wilden we ook nieuwe advanced analytics initiatieven zoals Machine Learning en real time analytics beter ondersteunen.

In plaats van de legacy administratie systemen via integratie oplossingen overal vandaan te koppelen (waar die systemen helemaal niet op ontworpen zijn) halen we de data uit die systemen en brengen het bij elkaar in een Data Lake. Hiervandaan kan het veel efficienter beschikbaar gesteld worden voor allerlei data use cases, of het nu gaat om traditionele Data Warehousing en BI vraagstukken, of om realtime verwerkingsprocessen en mijn-portalen.

Op het moment dat er een wijziging werd doorgevoerd in het administratie systeem, werd dit direct opgepakt en (near) real time beschikbaar gesteld via het datalake voor de online omgeving. BI Processen hoeven niet meer te wachten op langdurige en omslachtige bulk export processen, maar kunnen de laatste stand van zaken direct uit het Data Lake ophalen.

Hiervoor maakten we gebruik van technologie als change data capture en streaming oplossingen van AWS. Het gehele platform is ontwikkeld op cloud technologie. AWS en Apigee (GCP)

API Management Platform - Requirements & Selectie

Tijdens dit proces heb ik een requirements analyse en product selectie uitgevoerd voor een nieuw API Management Platform voor Aegon. Het nieuwe API platform zou beter moeten aansluiten bij het beoogde datalake en zou de legacy IBM ESB implementatie van destijds moeten gaan vervangen.

Samen met de betreffende leveranciers heb ik proof-of-concepts uitgevoerd met IBM API Management, Apigee en Mulesoft ESB. Uiteindelijk is Apigee gekozen omdat deze het beste aansloot bij de requirements. Apigee is tijdens dit project uitgerold en hierop zijn de eerste API producten ontwikkeld om data uit het Datalake te ontsluiten naar de online self-service portalen.

Technologie stack

Python, Apigee, Attunity Replicate, Aurora, AWS EC2, Lambda, S3, DynamoDB, Kinesis, SNS, SQS, Bamboo