Text Classification

In de eerste fase wordt gelabelde, of geannoteerde, tekstdata opgeladen in Trendskout. Er kan ook gewerkt worden met annotatie via een tekst clustering stap, dat dan op basis van verbanden en gelijkaardigheid van teksten, zelf labels – of klasses – toekent aan trainingdata. Het opladen van de trainingdata kan gebeuren via eenvoudige file upload, via API, plugin, database-koppeling… in de connect-stap. De tekstdata mag in een ruw formaat worden opgeladen en er is praktisch geen limiet op de grootte of andere eigenschappen van de tekst. Trendskout gaat immers in de trainingstap – als onderdeel van de algoritme selectie & hypertuningfase- verschillende bewerkingen toepassen op de ruwe tekst data. Deze bewerkingen zijn vooral NLP technieken, met als doel om deze ruwe tekstdata op te schonen, semantisch te ontleden en leesbaar te maken voor het algoritme – een neuraal netwerk – dat het predictieve classificatiemodel zal genereren. Er zijn verschillende opties wat betreft databewerkingen, algoritme-selectie, en parameters die leiden tot een virtueel oneindig aantal mogelijke combinaties. Trendskout gaat door middel van intelligente Auto ML & Solution Space exploration de meest optimale combinatie gebruiken om het performantste model te genereren. De evaluatie van de accuraatheid van dit model gebeurt door middel van testen op een deel van de trainingdata die het algoritme niet eerder verwerkt heeft. Op deze manier wordt oa. Overfitting vermeden. Het hele trainingproces wordt – zoals bij de andere analyses – gestart door het aanklikken van de “Train/Deploy” knop in de AI Flow interface.

Het winnende classificatiemodel uit de trainingstap wordt nadien gebruikt om nieuwe teksten te classificeren of te labelen. Het in productie brengen van het classificatiemodel gebeurt – zoals bij de andere analyses- via het aanklikken van de “deploy”-functie. Er zijn verschillende input-mogelijkheden voor deze teksten, API, Plugin, Database, FTP enz. De teksten kunnen dus in batch of real-time worden opgeladen. Door de hoge verwerkingsnelheid van de teksten, NLP en classificatie, volgt het antwoord steeds in real-time. Dit antwoord is een label, of classificatie, conform de annotaties uit de trainingsdata.