Een Californische startup, Kintsugi, is na zeven jaar ontwikkeling gestopt en heeft zijn op AI gebaseerde software voor het detecteren van depressie en angst als open source uitgebracht. Het bedrijf slaagde er niet in goedkeuring van de FDA te verkrijgen, wat de uitdagingen benadrukt die gepaard gaan met het navigeren door de medische regelgeving voor snel evoluerende AI-technologieën. Dit markeert een tegenslag voor vroege AI in de geestelijke gezondheidszorg, maar opent ook de weg voor voortgezet onderzoek en mogelijk misbruik buiten de klinische omgeving.
De belofte en hindernissen van AI-gestuurde screening op geestelijke gezondheid
De technologie van Kintsugi analyseerde spraakpatronen – pauzes, zinsstructuur en snelheid – om subtiele verschuivingen te identificeren die wijzen op psychische problemen. In tegenstelling tot traditionele beoordelingen van de geestelijke gezondheid op basis van vragenlijsten, wilde de AI een objectiever signaal afgeven, waardoor de screeningmogelijkheden voor gezondheidszorgstelsels, verzekeraars en werkgevers werden uitgebreid. Het ‘De Novo’-goedkeuringstraject van de FDA voor nieuwe medische hulpmiddelen bleek echter traag en inflexibel.
Het regelgevingskader, ontworpen voor traditionele apparaten zoals implantaten en pacemakers, heeft moeite om het voortdurende leren en optimaliseren van AI mogelijk te maken. Terwijl de regering-Trump de goedkeuringen van AI probeerde te stroomlijnen, zei de oprichter van Kintsugi, Grace Chang, dat de inertie van de regelgeving en de sluiting van de overheid de vooruitgang tegenhielden. Het bedrijf had geen financiering meer in afwachting van de definitieve indiening.
Open source-release roept ethische zorgen op
In plaats van ongunstige financieringsaanbiedingen te accepteren, koos Kintsugi ervoor om zijn kerntechnologie open source te maken. Deze beslissing brengt risico’s met zich mee: de software zou zonder passende waarborgen buiten de gezondheidszorg kunnen worden ingezet, bijvoorbeeld door werkgevers of verzekeraars. Hoewel misbruik onwaarschijnlijk is vanwege logistieke barrières, blijft het potentieel bestaan.
Nicholas Cummins, een expert op het gebied van spraakanalyse aan King’s College London, waarschuwt dat open-source releases vaak niet over de documentatie beschikken die toezichthouders nodig hebben voor goedkeuring, waardoor toekomstige FDA-goedkeuring moeilijk wordt. Bedrijven kunnen het model als uitgangspunt gebruiken, maar hebben hun eigen validatieprocessen nodig.
Van geestelijke gezondheid tot deepfake-detectie: een zilveren randje
Kintsugi’s onderzoek bracht onverwacht een andere mogelijkheid aan het licht: het detecteren van synthetische of gemanipuleerde stemmen. Bij het verfijnen van de modellen voor de geestelijke gezondheidszorg maakte de AI onderscheid tussen menselijke en door AI gegenereerde spraak. Deze technologie vereist, in tegenstelling tot screening op de geestelijke gezondheidszorg, geen toezicht van de FDA en biedt potentieel lucratieve kansen voor beveiligingstoepassingen.
Het falen van Kintsugi onderstreept een bredere spanning tussen startup-tijdlijnen en medische regelgeving. Zonder systemische veranderingen kunnen soortgelijke gevallen volgen. Desondanks hoopt het bedrijf dat anderen op zijn werk zullen voortbouwen, ook al ontmoedigt de huidige realiteit oprichters om soortgelijke paden te bewandelen.
