OpenAI resserre les règles de ChatGPT pour les ados : limites de jeu de rôle plus strictes, protections sur l’image corporelle et prédiction d’âge automatisée alors que les législateurs débattent de normes IA pour les mineurs

OpenAI a mis à jour la façon dont ChatGPT doit se comporter avec les utilisateurs de moins de 18 ans. Elle a ajouté des règles spécifiques aux adolescents à son Model Spec public. Elle a aussi publié des supports de littératie IA pour les ados et les parents. Cela compte au Maroc, car les ados sont de gros utilisateurs d’internet et des adopteurs rapides de l’IA. Beaucoup utilisent des chatbots pour l’aide aux devoirs, la pratique des langues et des questions personnelles. Des startups et agences marocaines déploient aussi des expériences de chat, souvent pour des publics larges incluant des mineurs. ## Points clés - Il est demandé à ChatGPT de refuser davantage de jeux de rôle avec des ados, surtout les scénarios à la première personne romantiques, intimes, sexuels ou violents. - Le modèle doit appliquer une prudence renforcée autour de l’image corporelle, des troubles alimentaires et des idéaux de beauté extrêmes. - OpenAI prévoit de faire appliquer le mode ado via une prédiction d’âge automatisée, plus une vérification pour les adultes signalés à tort. - La communication de sécurité doit primer lorsqu’un préjudice est en jeu, y compris un risque d’automutilation. - La grande question est l’exécution : des experts doutent qu’un texte de politique garantisse un comportement réel. ## Ce qui a changé dans les règles pour les ados TechCrunch rapporte qu’OpenAI a durci les consignes pour les interactions qu’elle estime impliquer un adolescent. Les interdictions existantes restent en place, y compris tout contenu sexuel impliquant des mineurs. La mise à jour ajoute des attentes U18 plus strictes sur le jeu de rôle et les sujets sensibles. Les nouvelles consignes ciblent aussi des formulations courantes de jailbreak. Les limites devraient continuer de s’appliquer quand les prompts sont présentés comme fictifs, hypothétiques, historiques ou éducatifs. Ces cadrages sont souvent utilisés pour pousser les modèles vers des sorties interdites. ### Jeu de rôle : moins d’immersion et moins d’intimité Pour les ados, la spec demande au modèle d’éviter le jeu de rôle romantique immersif. Elle évite aussi l’intimité à la première personne. Elle restreint davantage le jeu de rôle sexuel ou violent à la première personne, même s’il n’est pas graphique. En pratique, cela signifie des refus plus fermes à des demandes du type : joue le rôle de ma copine ou de mon copain. Cela signifie aussi moins de boucles émotionnelles « collantes » pouvant donner l’impression d’une relation. Ce schéma a été une préoccupation centrale en matière de sécurité des enfants. ### Image corporelle et alimentation : davantage de garde-fous La mise à jour demande une prudence renforcée sur les thèmes d’image corporelle et de troubles alimentaires. Elle limite aussi le contenu qui promeut des idéaux de beauté extrêmes. Elle doit éviter des conseils qui facilitent des régimes malsains. C’est pertinent au Maroc, où les ados sont exposés à des flux sociaux mondiaux en français et en arabe. Les chatbots peuvent amplifier des comparaisons nuisibles s’ils reflètent trop étroitement l’utilisateur. Des valeurs par défaut plus robustes peuvent réduire ce risque. ### Préjudice et dissimulation : la sécurité avant l’autonomie Les consignes d’OpenAI demandent au modèle de prioriser la communication de sécurité sur l’autonomie quand un préjudice est en jeu. Il doit encourager un soutien dans le monde réel quand un risque apparaît. Il ne doit pas non plus aider les ados à dissimuler des comportements dangereux aux personnes qui s’occupent d’eux. Ce dernier point compte dans des scénarios du quotidien. Un ado peut demander comment cacher de l’automutilation, une perte de poids risquée ou des défis dangereux. La spec mise à jour pousse le modèle à refuser et à rediriger. ## Comment OpenAI compte faire respecter ces règles pour les ados TechCrunch indique que les règles pour ados sont conçues pour fonctionner avec un système de prédiction d’âge. L’objectif est de détecter quand un compte appartient probablement à un mineur. Une fois signalé, ChatGPT applique automatiquement des garde-fous supplémentaires. La documentation d’aide d’OpenAI précise que la prédiction d’âge utilise des signaux sur la façon dont un compte est utilisé. Cela peut inclure des sujets et des schémas d’usage, comme l’heure de la journée. Le système en déduit ensuite si quelqu’un pourrait avoir moins de 18 ans. Si le système estime qu’un compte a moins de 18 ans, ChatGPT applique des protections plus fortes. Celles-ci limitent plus agressivement le contenu sensible et certains types d’interactions. Cela inclut le jeu de rôle sexuel, romantique ou violent, ainsi que le contenu nuisible lié à l’image corporelle. ### Que se passe-t-il si un adulte est mal classé OpenAI indique que les adultes placés par erreur dans l’expérience ado peuvent vérifier qu’ils ont 18 ans et plus. La vérification passe par un tiers appelé Persona. L’utilisateur peut vérifier via un selfie ou une pièce d’identité officielle. OpenAI affirme ne pas recevoir le selfie ni la pièce d’identité. Elle indique aussi que Persona supprime les données de vérification en quelques heures. Même avec ces assurances, ce processus soulève des questions de confidentialité pour de nombreux utilisateurs. ## Les quatre principes qu’OpenAI veut que le modèle suive avec les ados TechCrunch résume l’approche d’OpenAI en quatre engagements. Ce sont des objectifs comportementaux pour l’assistant, pas seulement des règles de filtrage. Ils façonnent le ton, le style de refus et les orientations proposées à l’utilisateur. - **La sécurité d’abord.** Prioriser la sécurité des ados, même si cela réduit la liberté intellectuelle maximale. - **Promouvoir le soutien dans le monde réel.** Orienter les ados vers la famille, les amis et des professionnels locaux. - **Traiter les ados comme des ados.** Être chaleureux et respectueux, sans condescendance ni « adultification ». - **Être transparent.** Expliquer les limites et rappeler aux utilisateurs que l’assistant n’est pas un humain. Pour les constructeurs de produits au Maroc, ces principes sont des exigences de conception utiles. Ils se traduisent en textes d’interface (UI copy), procédures d’escalade et tests de modération. Ils façonnent aussi la manière dont un chatbot doit gérer l’argot en darija ou une détresse exprimée de façon codée. ## Garde-fous opérationnels : classificateurs, revue et alertes parentales limitées TechCrunch rapporte qu’OpenAI utilise des classificateurs automatisés en temps réel sur l’ensemble des modalités. Les alertes de gravité plus élevée peuvent déclencher un examen par une équipe formée. Dans des situations montrant une détresse aiguë, un parent peut être notifié. La FAQ d’OpenAI sur le contrôle parental décrit une version étroite de cette idée. Les parents ne peuvent généralement pas voir les chats des ados. Dans de rares cas impliquant un risque sérieux d’automutilation, un parent peut recevoir une alerte de sécurité avec des informations limitées et des ressources. Pour le Maroc, cela met en évidence un écart d’attentes délicat. Les familles peuvent supposer qu’un outil est soit totalement privé, soit totalement surveillé. Les alertes de sécurité se situent entre les deux et nécessitent une communication claire. ## Pourquoi cela arrive maintenant La mise à jour intervient au milieu d’une pression politique croissante aux États-Unis. Des procureurs généraux d’États ont exhorté les grandes plateformes à ajouter des protections pour les enfants. Les législateurs évaluent des options allant de normes de base à des propositions qui interdiraient aux mineurs l’accès aux chatbots d’IA. TechCrunch relie aussi ces changements à des accusations de préjudice pour des ados impliquant des conversations prolongées avec des chatbots. Le média note que la Gen Z fait partie des cohortes les plus actives sur ChatGPT. Des partenariats de distribution supplémentaires pourraient aussi amener plus de jeunes utilisateurs dans l’écosystème. Les acteurs marocains devraient y voir un signal. La pression politique mondiale devient souvent des valeurs par défaut produit. Ces valeurs par défaut finissent ensuite par façonner ce que les utilisateurs et développeurs marocains peuvent faire. ## Réaction des experts : des signaux positifs, mais de vrais doutes Un avocat spécialisé en confidentialité et IA interrogé par TechCrunch qualifie les refus explicites de bon signal. Il souligne le jeu de rôle romantique ou sexualisé comme à haut risque pour les adolescents. Les boucles d’engagement persistantes peuvent être addictives. D’autres experts insistent sur le fait que des règles publiées ne garantissent pas le comportement dans la pratique. TechCrunch pointe des préoccupations de complaisance (sycophancy), où les modèles acquiescent trop ou reflètent les utilisateurs. Il relie cela à des inquiétudes plus larges sur un mimétisme inapproprié et à des rapports de comportements de type 'psychose IA' dans certaines interactions. Un dirigeant d’une organisation à but non lucratif de protection de l’enfance met aussi en garde contre une tension interne. Un comportement favorable à l’engagement peut entrer en conflit avec des dispositions de sécurité d’abord. Il soutient que les systèmes doivent être testés afin que l’effet net reste protecteur. ## Ce que cela signifie pour l’écosystème IA du Maroc L’histoire de l’IA au Maroc est pragmatique et évolue rapidement. Des équipes déploient des chatbots en support client, éducation et tourisme. Les universités et écoles de code forment des talents capables de livrer ces outils rapidement. Cette vitesse pose une question simple : comment protéger les mineurs dans l’usage quotidien ? La mise à jour d’OpenAI offre un plan, mais ce n’est pas une solution complète. Le Maroc devra encore faire des choix locaux sur la confidentialité, la langue et l’escalade. ### 1) Cas d’usage dans les écoles et le soutien scolaire De nombreux ados marocains utilisent déjà l’IA pour l’aide aux études. Les sujets typiques incluent la pratique des langues, les étapes en mathématiques et des révisions type baccalauréat. Ils posent aussi des questions personnelles en dehors de l’école. Les nouvelles règles peuvent réduire les jeux de rôle risqués, mais elles ne remplacent pas l’encadrement des adultes. Les écoles et associations de parents peuvent adapter l’approche de littératie d’OpenAI aux normes locales. Cela inclut des discussions en arabe et en français, avec du contexte pour la darija. Étapes pratiques pour les éducateurs au Maroc : - Fixer des règles claires pour l’IA dans les devoirs et les examens. - Enseigner des habitudes de vérification pour les faits, les sources et les citations. - Créer une procédure d’escalade sûre pour des signaux d’automutilation ou de troubles alimentaires. - Encourager des pauses pendant les longues sessions, surtout la nuit. ### 2) Startups qui construisent des expériences de chat Les startups marocaines construisent souvent des assistants pour des banques, des enseignes de distribution, la logistique et les RH. Même si l’utilisateur cible est un adulte, les ados essaieront quand même le système. Les expériences de chat publiques doivent adopter par défaut une posture de sécurité pour mineurs. L’approche d’OpenAI suggère des fonctionnalités concrètes à copier : - Des expériences sensibles à l’âge, avec des valeurs par défaut plus strictes pour les mineurs. - Des schémas de refus pour le jeu de rôle romantique ou sexuel avec des ados. - Une prudence renforcée sur l’image corporelle, les régimes et l’automutilation. - Des prompts qui orientent les utilisateurs vers du soutien dans le monde réel, pas seulement des conseils en ligne. Les équipes doivent aussi prévoir deux modes d’échec. Le premier : les faux négatifs, où un ado est traité comme un adulte. Le second : les faux positifs, où un adulte est restreint. ### 3) Gouvernement, régulateurs et services publics Le Maroc numérise davantage de services publics et de points de contact citoyens. Les chatbots peuvent réduire les temps d’attente et aider à la navigation multilingue. Si ces outils sont utilisés par des familles, ils doivent gérer les mineurs de façon sûre. Le Maroc dispose aussi d’un cadre établi de protection des données. La loi 09-08 et la CNDP fixent des attentes sur le traitement des données personnelles. La prédiction d’âge et les signaux comportementaux peuvent ressembler à du profilage, donc la transparence et la minimisation comptent. Les marchés publics peuvent orienter le marché vers des valeurs par défaut plus sûres. Les organismes peuvent exiger : - Une divulgation claire que l’utilisateur parle avec un système d’IA. - Une gestion robuste des signaux d’automutilation et de crise. - Des tests de prompts de jailbreak en arabe, en français et en messages à écriture mixte. - Des processus documentés pour la modération, les recours et le signalement par les utilisateurs. ## Une checklist pratique pour les familles et les concepteurs au Maroc Utilisez ceci comme point de départ, pas comme un avis juridique. Cela fonctionne que vous utilisiez ChatGPT ou un autre chatbot. **Pour les parents et les personnes en charge** - Se mettre d’accord sur les usages autorisés de l’IA : devoirs, pratique des langues ou écriture créative. - Garder si possible les appareils hors des chambres tard le soir. - Demander comment on se sent après de longues sessions d’IA, pas seulement parler des notes. - Enregistrer des contacts de soutien locaux pour la santé mentale et les risques urgents. **Pour les ados** - Considérez l’IA comme un outil, pas comme un ami ou un thérapeute. - Ne partagez pas de vrais noms, adresses ou détails d’école. - Si la conversation devient lourde, arrêtez et parlez à un adulte de confiance. **Pour les équipes produit** - Menez des exercices de red teaming sur des prompts de jeu de rôle d’ados et des prompts sur l’image corporelle dans les langues locales. - Ajoutez des modèles de refus qui sont calmes et non culpabilisants. - Journalisez soigneusement les événements de sécurité et limitez la conservation des données sensibles. - Fournissez un moyen simple de signaler des sorties nuisibles. ## La question ouverte : le comportement correspondra-t-il à la spec La mise à jour d’OpenAI est à la fois un changement de politique et un pari sur l’application. La prédiction d’âge, les classificateurs et l’examen humain peuvent réduire l’engagement risqué. Les supports de littératie encouragent aussi les familles à fixer des limites. Mais les experts reviennent sans cesse à un point : les interactions réelles sont désordonnées. Les prompts de cas limites et les longues conversations émotionnelles mettront le système à l’épreuve. Pour le Maroc, la leçon est claire : adopter l’IA, mais faire de la sécurité et de la littératie des fonctionnalités de premier plan.