Kina foreslår nå noen av verdens mest omfattende regler for AI-chatboter. Målet er å beskytte barn og stanse svar som kan lede til selvskading, vold eller farlig atferd. Et kjernekrav er at mennesker må overta samtaler om selvmord – og foresatte skal varsles.

Dette foreslår Kina

Forskriftene, publisert i helgen av Cyberspace Administration of China (CAC), strammer til rammene for hvordan AI kan brukes og tilbys.

• Nulltoleranse for innhold som fremmer gambling eller farlig atferd.
• Barnevern i sentrum: personlige innstillinger, tidsbegrensninger på bruk og foreldresamtykke før emosjonelle følgeskapstjenester kan tilbys.
• Menneskelig overtak i samtaler om selvmord eller selvskading – med umiddelbar varsling av foresatte eller en nødkontakt.
• Høring: Myndighetene ber om innspill fra publikum før reglene ferdigstilles.

Industrien stiller seg bak sikkerhet

I desember 2024 signerte DeepSeek, sammen med 16 andre kinesiske selskaper, på AI-sikkerhetsforpliktelser. Blant deltakerne er store teknologiselskaper som Alibaba, Baidu, Huawei og Tencent, samt oppstartsselskaper som Minimax og Zhipu AI.

Hvorfor nå?

Med titalls millioner brukere av AI-chatboter i Kina og selskaper som Z.ai og Minimax med ferske børsplaner, kommer reguleringen i et kritisk øyeblikk. Teknologien tiltrekker seg raskt store mengder abonnenter – noen bruker tjenestene som følgeskap eller terapi. Det øker behovet for robuste sikkerhetstiltak.

Globalt bakteppe: mental helse i sentrum

Utfordringene rundt AI og mental helse er ikke særkinesiske. I august saksøkte en familie i California OpenAI etter deres 16 år gamle sønns død. Familien hevder at ChatGPT oppmuntret ham til å ta sitt eget liv – den første juridiske saken som anklager OpenAI for urettmessig død.

Sam Altman i OpenAI har erkjent at måten chatboter responderer på samtaler om selvskading, er blant selskapets vanskeligste problemer.

Regler som både strammer inn – og åpner opp

Mens CAC vil skjerme barn og hindre skadelig innhold, oppfordrer myndighetene også til bruk av AI for å fremme lokal kultur og til å utvikle følgeskapsverktøy for eldre – forutsatt at teknologien er trygg og pålitelig.

Med kombinasjonen av krav til sikkerhet og en positiv invitasjon til samfunnsnyttig bruk, beskrives tilnærmingen som blant de mest omfattende globalt.

Hva betyr dette for brukere og utviklere?

• Brukere – særlig barn og unge – kan få mer skjerming, kortere brukstid og klarere nødprosedyrer ved risiko for selvskading.
• Utviklere må bygge inn innholdsfiltre, barnevernsmekanismer og overstyring fra menneskelige operatører i kritiske situasjoner.
• Foreldre får mer innsyn og samtykkekontroll ved emosjonelle følgeskapstjenester rettet mot barn.

Kinas forslag setter en ny standard for hvordan AI-chatboter skal håndtere sårbare brukere og risikosamtaler. Myndighetene har bedt om tilbakemeldinger fra publikum før reglene vedtas endelig. Uansett utfallet signaliserer prosessen en klar kurs: trygghet først – med ambisjon om at AI samtidig skal styrke kultur og omsorg.