Het doel was nobel - een chatbot die het MKB in New York moest bijstaan in het navigeren van complexe wet- en regelgeving. De MyCity chatbot werd in oktober 2023 gelanceerd. Het was een taalmodel (LLM) gebaseerd op Microsoft Azure AI, en getraind op meer dan 2.000 pagina's met informatie over zakendoen in New York. Al vanaf het begin werd het platform geplaagd door tegenstrijdige of foutieve antwoorden. Nu, ruim twee jaar later, trekt burgemeester Mamdani de stekker eruit.
Wie zaken wil doen in New York, heeft te maken met verschillende administratieve lagen - het district, de stad New York, de staat New York en de federale overheid. De complexiteit van de bureaucratie en hoeveelheid regels waarmee bedrijven in New York te maken krijgen is al langer een probleem. De begin dit jaar ingezworen burgemeester Mamdani ondertekende daarom op 14 januari een bevel om de regeldruk op MKB'ers in kaart te brengen, met als doel om te zien waar in de regels gesneden kan worden om het zakendoen makkelijker te maken.
Juist voor Mkb’ers leek de MyCity chatbot een ideaal hulpmiddel bij het navigeren van het bureaucratisch doolhof. Ze hoefden hun vragen niet langer te stellen aan dure experts, of overbelaste helpdeskmedewerkers bij de stad. De investering van ongeveer $600.000 (ruim €500.000) zou zich snel moeten terugbetalen. In de praktijk bleek MyCity weinig bruikbaar. Gebruikers klaagden over antwoorden die tegenstrijdig, onduidelijk of simpelweg foutief waren. Na twee jaar frustratie komt er nu een einde aan het chatbot-experiment.
Verantwoordelijkheid
De landingspagina van de chatbot geeft aan dat het om een bèta-test gaat, en dat het mogelijk is dat foutieve antwoorden worden gegeven. Ook wordt gesteld dat de antwoorden van de bot niet moeten worden gezien als wettelijk advies zoals dat van een menselijke advocaat, en dat gebruikers geen vertrouwelijke informatie aan de chatbot moesten geven. Gebruikers moeten aanvinken dat ze instemmen met de voorwaarden voordat ze toegang kunnen krijgen tot de bot, in een popup die vergelijkbaar is met een cookie-waarschuwing. De stad New York neemt geen verantwoordelijkheid voor de gevolgen van foutief advies van de chatbot.
Voor zover bekend zijn er geen rechtszaken geweest naar aanleiding van door de chatbot gegeven advies. Het is niet duidelijk of de door de stad gebruikte disclaimers sluitend zouden zijn in het geval van een rechtszaak. Zo bepaalde een rechter in Canada in 2024 dat de luchtvaartmaatschappij Air Canada verantwoordelijk was voor de fianciële schade die een consument geleden had door het volgen van advies van hun chatbot. De rechter redeneerde dat de chatbot niet gezien kon worden als een wettelijk onafhankelijke entiteit, maar dat deze gezien moest worden als onderdeel van de informatievoorziening van Air Canada. De luchtvaartmaatschappij werd daarom gezien als verantwoordelijk voor wat de chatbot adviseerde.
Maar zelfs als de MyCity chatbot niet verantwoordelijk kan worden gehouden voor tegenstrijdig advies zoals de chatbot van Air Canada, dan is deze op de lange termijn nog steeds schadelijk. Wanneer men schade leidt door foutief advies van een door de stad zelf opgezette chatbot, dan zal dat weinig goeds doen voor het vertrouwen in toekomstig advies van de stad, of dit nu door een chatbot of door een mens geschreven is.
Stekker eruit
Het toont aan dat de praktijk van de AI-chatbot nog niet aansluit bij de behoeftes van gebruikers en aanbieders. Voor zowel commerciële als overheidsorganisaties is het belangrijk dat gebruikers deze chatbots kunnen vertrouwen en dat de informatie die door chatbots gegeven wordt accuraat en compleet is. Dat was bij de MyCity chatbot zeker niet het geval, en dat is zeker voor een chatbot die gepresenteerd werd als de officiële chatbot van de stedelijke overheid een probleem.
Vertrouwen in het vermogen van chatbots om dit soort taken uit te vallen is relatief laag, blijkt uit de AI Barometer. In deze peiling werd respondenten meerdere keren gevraagd naar hun attitudes over het gebruik van chatbots door organisaties. Minder dan de helft van de respondenten gaf aan dat ze vertrouwden in het vermogen van chatbots om complexe vragen correct te kunnen beantwoorden.
Op papier zijn AI-chatbots een veelbelovende oplossing voor bedrijven en overheden. Ze zijn 24 uur per dag beschikbaar, vrijwel onbeperkt op te schalen en kunnen snel nieuwe informatie in zichzelf opnemen. In de praktijk blijkt de technologie echter nog lang niet betrouwbaar, iets dat zowel vertrouwensschade kan veroorzaken als problemen met wettelijke aansprakelijkheid. Het is dan ook niet vreemd dat de burgemeester van New York na twee jaar strubbelingen de stekker uit de MyCity chatbot trekt.