29
mrt

Open-source alternatief voor BI in Excel

Nog niet al te lang geleden vonden de meeste data analyses plaats in Excel. Het is makkelijk in gebruik, flexibel, relatief goedkoop en op bijna elke werkplek beschikbaar. Daarbij was er meestal maar één relatief kleine dataset waarop analyses werden gedaan.

Tegenwoordig wil men meerdere (grote) datasets combineren om zo aan de hand van nieuwe, vaak geavanceerde technieken, tot relevante inzichten te komen. Excel is hiervoor niet geschikt, het kan de hoeveelheid data niet meer aan, het bewerken en combineren van de data wordt al snel problematisch en de geavanceerde analyses technieken kunnen niet worden toegepast.

Er zijn meerdere omgevingen beschikbaar waarbinnen dit type data analyses kunnen worden gedaan, variërend van dure alles omvattende systemen tot open-source alternatieven. Ik zelf ben erg enthousiast over de laatste. Het is goedkoop, flexibel en de nieuwste analyse technieken zijn vaak als eerst beschikbaar via de open-source community.

Terugkijkend op de projecten waarbij ik betrokken ben geweest, dan zie ik keer op keer het volgende ontstaan;

Data wordt vanuit verschillende bronnen ontsloten; databases, documenten, webpagina’s etc. Python heeft verschillende packages die het mogelijk maken om data te ontsluiten. De data moet worden opgeslagen om later gebruikt te worden, dit gebeurt vaak in een postgres database.

Postgres in één van de grootste open-source databases. Het is stabiel, snel en uit te breiden met allerlei plug-ins. Waaronder postgris, een geografisch bibliotheek welk het mogelijk maakt om efficiënt geografisch georiënteerde data op te slaan.

Nat het verkrijgen ontstaan er verschillende scripts om data te schonen, te transformeren te combineren en te analyseren. Hier wordt gebruik gemaakt van pure Python scripts, verrijkt met packages als matplotlib, numpy, scipy, bokeh etc. Zo kan data makkelijker worden verwerkt en is er direct toegang geavanceerde anlyse technieken, zoals machine learning etc.

De ontstane scripts worden opgeslagen in packages, of een vorm van bibliotheek, zodat deze makkelijk hergebruikt kunnen worden.

Waar de behoefte is om gezamenlijk aan analyses te werken, daar kan een Jupyter notebook server worden neergezet. Hierdoor wordt er een interactieve omgeving aan meerdere gebruikers tegelijk beschikbaar gesteld.

Vanuit deze omgeving kunnen verschillende rapportages worden gegenereerd, of verkregen inzichten worden teruggestuurd naar andere databases.
Wanneer de vraag ontstaat naar een interactief platform om inzichten te ontsluiten of data te kunnen bewerken wordt er vaak een webapp opgetuigd. Deze wordt via internet of intranet beschikbaar gesteld aan de beoogde gebruikers.

Ook hier biedt Python oplossingen. De bekendste zijn Flask en Django, twee webframeworks die je instaat stellen om snel een opening naar de buitenwereld te creëren.
Flask en Django worden in het algemeen allen gebruikt als API endpoints, zodat de webpagina volledig los staat van de webserver. Dit maakt het geheel flexibel en makkelijk uitwisselbaar, wanneer je wilt wijzigen van webframework of frontend.

Ikzelf gebruik het liefst VUEjs om de frontend in te richten, het is ligt, goed gedocumenteerd en heeft een actieve community.
Om hier sterke, interactieve visuals aan toe te voegen, om de analyses meer kracht bij de zetten wordt D3js gebruikt. In sterke javascript plugin, speciaal ontwikkeld voor het make van interactieve visuals.

Uiteindelijk is de bovenstaande architectuur ontstaan. Het is volledig open-source en ondersteund het analyse proces volledig. De architectuur kan aan alle kanten worden uitgebreid, of aanpast. Dit kan variëren van wijzigingen in het type webframework tot toevoeging van componenten zoals; Elasticsearch en verschillende graph databases.

DataVibes en open-sourceDatavibes logo

De DataVibes collega’s staan voor u klaar om u te helpen met de implementatie en advies rondom het toepassen van open-source technologie op uw Data platform. Uiteraard kunnen wij u eerst adviseren en een plan opstellen voordat uw project start. Ook leveren wij vanuit de DataVibes Academy training en opleiding van (eind) gebruikers om uw collega’s snel op weg te helpen.

Voor meer informatie neem contact met ons op.

Geen reacties

Leave a Comment

Your email address will not be published. Required fields are marked *

Contact