Open source data mining tools

Open source data mining tools bieden verschillende manieren om gegevens te verkennen, te bewerken en te modelleren. Sommige werken vooral met visuele stappen, andere worden vanuit programmeercode gebruikt. Een bruikbare keuze begint daarom niet bij een ranglijst met de meeste functies. Kijk eerst naar het soort gegevens, de ervaring van het team en de manier waarop een analyse later herhaald moet worden.

Maak de gewenste werkwijze concreet

Beschrijf een kleine taak die representatief is voor je project. Bijvoorbeeld: een tabel inlezen, ontbrekende waarden onderzoeken, een selectie maken en een overzicht exporteren. Voeg één lastig geval toe, zoals een afwijkend datumformaat. Met zo’n proef kun je beoordelen hoe een hulpmiddel omgaat met het dagelijkse werk, in plaats van alleen de ideale voorbeelden uit een demonstratie te volgen.

Noteer ook wie de analyse gaat uitvoeren en wie haar moet kunnen begrijpen. Een ontwikkelaar kan zich prettig voelen bij code, terwijl een inhoudelijke collega liever een visuele volgorde ziet. Dat maakt de ene aanpak niet automatisch beter. De vraag is welke vorm binnen het team voldoende inzicht geeft en tegelijk ruimte biedt voor de benodigde bewerkingen.

Visueel onderzoeken met Orange

Orange is een open source omgeving voor machine learning en datavisualisatie. Met verbonden onderdelen bouw je een visuele analyse op. Dat kan prettig zijn wanneer je gegevens interactief wilt verkennen en de stappen zichtbaar wilt houden. De officiële projectinformatie beschrijft onder meer hulpmiddelen voor visualisatie en uitbreidingen voor verschillende soorten analyses.

Gebruik een eerste proef om te beoordelen of de beschikbare onderdelen bij jouw gegevens passen. Kijk niet alleen naar een fraaie grafiek, maar ook naar de manier waarop selecties doorwerken naar vervolgstappen. Laat een collega de opgeslagen analyse openen en verklaren wat er gebeurt. Daarmee test je meteen of de gekozen opbouw duidelijk genoeg is om samen te gebruiken.

Workflows opbouwen met KNIME

KNIME Analytics Platform biedt een visuele omgeving waarin gegevensbewerkingen als verbonden stappen worden opgebouwd. Bij een vergelijking kun je onderzoeken hoe goed de benodigde invoer, verwerking en uitvoer op elkaar aansluiten. Maak daarbij onderscheid tussen het platform zelf en eventuele aanvullende diensten of uitbreidingen die je voor een specifieke werkwijze nodig hebt.

Een overzichtelijke workflow vraagt nog steeds om bewuste keuzes. Geef stappen herkenbare namen en groepeer bewerkingen die bij elkaar horen. Een groot canvas zonder toelichting kan net zo onduidelijk worden als een lang script. Test daarom hoe iemand een fout terugvindt en welke informatie beschikbaar is wanneer een invoerbestand verandert of een verbinding ontbreekt.

Werken vanuit Python

Wanneer een analyse onderdeel moet worden van bestaande software, kan een aanpak met Python passend zijn. Daarmee leg je bewerkingen vast in code die je kunt bewaren en vergelijken. Voor machine learning biedt scikit-learn bijvoorbeeld hulpmiddelen voor verschillende modeltaken. De keuze voor een bibliotheek vraagt wel dat iemand de code begrijpt en de bijbehorende omgeving kan onderhouden.

Begin ook hier met een klein voorbeeld. Controleer of de invoer correct wordt gelezen en of de uitkomst zonder handmatige reparaties kan worden gemaakt. Bewaar de gebruikte pakketversies en beschrijf hoe het project start. Een analyse die alleen op de laptop van één persoon werkt, is lastig over te dragen, ongeacht hoe krachtig de gekozen bibliotheek is.

Kijk verder dan aanschafkosten

Bij open source software blijven tijd, beheer en ondersteuning belangrijke onderdelen van de afweging. Hoe makkelijk vindt het team documentatie? Is duidelijk waar problemen gemeld kunnen worden? Welke kennis is nodig om updates te beoordelen? Maak die vragen concreet tijdens de proef, zodat de keuze niet alleen gebaseerd is op het ontbreken van een aanschafbedrag.

Controleer daarnaast de voorwaarden van het project en van afzonderlijke uitbreidingen voordat je ze in een organisatie opneemt. Ga niet uit van één uniforme situatie voor alle onderdelen. Leg vast welke componenten daadwerkelijk worden gebruikt. Zo kan een toekomstige beheerder gericht informatie terugvinden wanneer een pakket wordt vervangen of een nieuwe versie beschikbaar komt.

Vergelijk op een herhaalbare taak

Laat de kanshebbers dezelfde kleine analyse uitvoeren en beoordeel de hele route van invoer tot overdracht. Vergelijk begrijpelijkheid, benodigde handelingen en herstel bij fouten. Een goede keuze past bij de mensen en het werk dat voorligt. De beste proef levert daarom niet alleen een resultaat op, maar ook voldoende inzicht om dat resultaat later betrouwbaar opnieuw te maken.

Sergej Dergatsjev, eigenaar van Online Solutions Group, heeft CompanyGids nieuw leven ingeblazen en het platform verder uitgebouwd tot een moderne bedrijvengids voor België. Bezoek Company Gids en Online Solutions Group.