bridging the gap in artificial intelligence

In deze rubriek wordt een initiatief, start-up of bedrijf uitgelicht binnen Nederland dat iets doet met artificial intelligence. Dit kan een toepassing zijn van bepaalde algoritmes in producten, juist het ontwikkelen van algoritmes of iets anders wat verbonden is met het vakgebied. Vandaag MindAffect, een spin-off van de Radboud Universiteit Nijmegen. Naar aanleiding van een interessant gesprek met Jason Farquhar, system architect en onderzoeker bij MindAffect, is deze blogpost tot stand gekomen.

MindAffect richt zich op toepassingen van een Brain Computer Interface (BCI), een verbinding tussen de hersenen en een machine. Hierbij wordt hersensignaal gebruikt om een apparaat aan te kunnen sturen, bijvoorbeeld door het meten van kleine elektrische potentialen in het brein met elektroden kan een rolstoel aangestuurd worden, een tekstbericht “getypt” worden of een spel gespeeld worden. De meest toegankelijke manier is om dit met elektro-encefalografie (EEG) te meten. Dit is een non-invasieve methode, wat het voordeel heeft dat het relatief eenvoudig op te zetten is en daardoor vrijwel geen risico met zich meebrengt.

Ook functional magnetic resonance imaging (fMRI) is een methode om in beeld te brengen waar in het brein activiteit optreedt. De resolutie is een stuk beter dan met EEG, maar om potentiaalverschillen te meten over de tijd heen is EEG weer geschikter. Er zijn ook invasieve manieren om een koppeling te maken tussen een brein en een machine, we hebben het dan over elektroden die in de hersenen geplaatst worden om directe metingen te kunnen doen, zoals electrocorticography (ECoG). Dit is risicovol, maar hierdoor zit je direct bij de bron, de hersenen, en kunnen er erg accurate metingen verricht worden. De risico’s zijn echter zo groot en het onderzoek hiernaar is moeilijk, laat staan de toepassingen, dat een non-invasieve methode meer potentie heeft om breder ingezet te worden.

Met de tijd worden alle technieken natuurlijk verbeterd en toegankelijker. EEG is populair omdat het betaalbaar is en er steeds meer kant-en-klare sets zijn gekomen met elektroden om goede metingen te doen. Voorheen moesten alle elektroden perfect op je hoofdhuid geplakt worden om enigszins goede metingen te kunnen doen. Om een taak te kunnen verrichten is vaak wel training nodig. Er wordt een template van een patroon gezocht van jouw hersenactiviteit bij een bepaalde handeling of gedachte. Als deze template gemaakt is nadat er genoeg voorbeelden bekend zijn, kan deze gebruikt worden om te kijken of je hersenen dezelfde hersenactiviteit vertoont en kan er iets mee gedaan worden. Maar ook hier: de tijden veranderen en training is volgens MindAffect met hun algoritmes niet meer noodzakelijk.

Jason Farquhar en Peter Desain van MindAffect hebben jarenlang onderzoek gedaan binnen dit vakgebied, specifiek door middel van EEG. Zij maken zich hard voor toepassingen van BCIs voor mensen met het locked-in syndroom. Het enige dat deze mensen na verloop van tijd kunnen controleren, is hun hersenactiviteit. Hierdoor is het belang van een goede BCI groot voor deze doelgroep, het is de enige manier om nog te communiceren met de buitenwereld. Het belang van een BCI voor mensen die nog andere spieren kunnen bewegen, lijkt minder groot. Als je bijvoorbeeld de spieren in je wang nog kunt samentrekken, is het veel makkelijker om door middel van deze spieractiviteit iets te besturen, zoals ook Stephen Hawking lang heeft gedaan. Ook is het gebruiken van eye-trackers veel gemakkelijker dan een BCI-systeem op te zetten en te gebruiken. Echter boort MindAffect toch een markt aan om ook voor meer mensen BCIs beschikbaar te maken. Wat doen zij precies? Wat voor toepassingen zijn er te verzinnen voor dit soort systemen? Hoe werken de algoritmes achter deze BCIs? Jason Farquhar vertelde ons meer over MindAffect.

MindAffect heeft een development kit gebouwd, waarmee developers op een relatief eenvoudige manier BCI-applicaties kunnen ontwikkelen in combinatie met de hardware van OpenBCI. Door MindAffect worden methoden en technieken die voorheen alleen toegankelijk waren voor onderzoekers, ook toegankelijk voor anderen, zodat er geen kennis nodig is van neurowetenschappen om een toepassing te maken. De zogenaamde decoding algoritmes die het hersensignaal omzetten naar iets zinnigs zijn deel van de development kit. Op dit moment is dat stukje een blackbox, maar de rest is open source. Er worden een aantal voorbeeldprojecten meegeleverd (ook hier te vinden), op verschillende platformen kun je aan de slag zoals Python, Unity/C# en Swift. Hier kun je ook mee spelen zonder dat je de hele kit hebt, om eens te kijken hoe je een project opzet en hoe het werkt in simulatie. Daarnaast is er natuurlijk een headstrap nodig om het hersensignaal te maken. Deze heeft MindAffect ontwikkeld in samenwerking met een aantal onderzoekspartners. In totaal heeft de band maar vier elektroden nodig om goede metingen te doen. Dit is een enorme vooruitgang met de 32 of 64 elektroden die vaak gebruikt werden bij laboratoriumexperimenten met de P300-spellers.

MindAffect lijkt op dit moment nog in de kinderschoenen te staan, want de projecten in de showcasepagina zijn eigen projecten en de kickstartercampagne is begin dit jaar gestart. Eén van de eigen projecten is de BCI Smart Home. Hierbij is het idee van de P300-speller uit het eerder getoonde filmpje, verbetert en toegepast voor de bediening van de smarthome. Ook zijn er een aantal projecten gemaakt om spellen te kunnen spelen, zoals pong (tegen elkaar!) en space invaders. Op dit moment is MindAffect juist op zoek naar andere partijen die toepassingen kunnen maken met hun development kit. MindAffect richt zich op de ontwikkeling van de algoritmes en consultancy binnen de neurotechnologie.

De manier waarop het algoritme van de P300-speller is verbeterd, is onder andere door reconvolution. Hierdoor is het mogelijk om de BCI vrijwel direct te gebruiken, zonder eerst gericht te moeten trainen voordat het werkt. Dit betekent dat het generiek te gebruiken is. Voorheen werkte het getrainde model alleen op één persoon. Als iemand anders hetzelfde model zou gebruiken, zou dit niet werken. Het kon zelfs zo zijn dat je een dag later opnieuw het algoritme moest trainen, omdat het te specifiek getraind was op jouw hersenactiviteit van het vorige trainingsmoment. Het elimineren van lange trainingssessies is een groot voordeel van de algoritmes van MindAffect.

Een andere belangrijke vooruitgang zit in het signaal wat uitgelokt wordt bij de hersenen door de stimuli. Voorheen werd dit gedaan met een P300 response. Dit is een response die het brein laat zien, na een teken van herkenning of aandacht. In het geval van de visual speller: als de letter waar je op focust oplicht (je krijgt een “Ja, dat is mijn letter!”-gevoel), wordt de P300 na 300 milliseconden zichtbaar, vandaar de naam. Later is er overgestapt op een ander paradigma: Steady State Visually Evoked Potentials (SSVEP). Hierbij flikkeren de letters (of vakjes, of plaatjes, of iets heel anders) met een verschillende frequentie, waardoor je kunt differentiëren tussen de letters door te kijken naar de hersenactiviteit, daar zul je een correlatie kunnen vinden tussen de activiteit en de frequentie van het flikkeren. Inmiddels is er door de onderzoekers achter MindAffect weer een nieuwe stap gezet, namelijk Broad-Band Visually Evoked Potentials (BBVEP). Hier flikkeren de letters met een zogenaamde Gold code, een bit sequence die slim opgebouwd is tussen de stimuli, waardoor de tijd om te ontdekken op welke letter de aandacht wordt gevestigd naar beneden gaat. Door deze manier van werken is er verstoring in het signaal minder erg, er kan namelijk op meerdere frequenties geclassificeerd worden. Hierdoor is het mogelijk om in 2 seconden een goede voorspelling te doen met zo een 85% zekerheid. Dit is wel afhankelijk van het aantal stimuli en de persoon, niet bij iedereen werkt het even snel en goed en dat is niet van tevoren te voorspellen. Een tekortkoming is wel dat er (visuele) aandacht móet zijn op de stimulus, wat bij een P300 niet perse het geval hoeft te zijn.

Genoeg technische vooruitgang dus binnen de non-invasieve BCI-methoden, waardoor het betrouwbaarder en makkelijker te gebruiken is. Echter is de markt waar deze specifieke applicatie kan landen erg klein, daarom zoekt MindAffect naar andere manieren om BCI in te zetten, bijvoorbeeld in virtual en augmented reality. Dit is één van de pijlers die ze op hun roadmap hebben staan. In de tussentijd zijn de eerste tientallen development kits verstuurd en helpt MindAffect deze developers om toepassingen te realiseren met hun platform. De development kit zal in de loop van de tijd doorontwikkeld worden, zo komen er nieuwe algoritmes beschikbaar, waardoor het zou kunnen dat er binnenkort ook uit het hersensignaal gehaald kan worden of je gestrest bent tijdens het spelen van een first-person shooter en dit je richtcapaciteiten negatief beïnvloed. De mogelijkheden worden steeds groter en ook BCI-systemen worden toegankelijker en breder inzetbaar!