La société ThroughLine, mandatée par OpenAI, Anthropic et Google, a annoncé le développement d'un nouvel outil visant à orienter les utilisateurs présentant des tendances extrémistes sur la plateforme ChatGPT vers un soutien humanitaire et numérique pour lutter contre l'extrémisme. Cette initiative en Nouvelle-Zélande vise à répondre aux préoccupations croissantes concernant la sécurité des utilisateurs dans un contexte d'augmentation des poursuites judiciaires contre les entreprises d'intelligence artificielle.
Le nouvel outil comprend l'orientation des personnes identifiées comme présentant des risques potentiels d'extrémisme vers des services de soutien spécialisés, qu'ils soient humains ou par chat. Elliott Taylor, le fondateur de ThroughLine, a déclaré que l'entreprise était en pourparlers avec l'initiative The Christchurch Call, qui vise à éliminer la haine en ligne, pour fournir les conseils nécessaires lors du développement de l'outil.
Détails de l'initiative
Le nouvel outil vise à fournir un modèle hybride combinant un chat automatisé formé pour interagir avec les personnes montrant des signes d'extrémisme, tout en les orientant vers des services de santé mentale disponibles dans le monde réel. Taylor a souligné que l'entreprise travaille avec des experts pour garantir l'efficacité de l'outil, qui est actuellement en phase de test sans date de lancement définie.
Cette démarche intervient à un moment sensible, alors que OpenAI a été menacée par le gouvernement canadien après qu'il a été révélé qu'une personne ayant commis une fusillade dans une école avait été bannie de la plateforme sans que les autorités en soient informées. Cela reflète la pression croissante exercée sur les entreprises d'intelligence artificielle pour garantir la sécurité de leurs utilisateurs.
Contexte et antécédents
ThroughLine a été fondée pour servir de réseau de soutien mondial comprenant 1600 lignes d'assistance dans 180 pays. Des études ont montré que l'augmentation de l'utilisation des chatbots a conduit à une augmentation de la détection des problèmes de santé mentale, y compris la tendance à l'extrémisme. Avec la montée des inquiétudes concernant l'utilisation de l'intelligence artificielle pour promouvoir la violence, les entreprises cherchent à développer des outils efficaces pour faire face à ces défis.
Cette initiative fait partie d'efforts plus larges pour lutter contre l'extrémisme en ligne, où les gouvernements et les entreprises cherchent à trouver des solutions efficaces pour contrer ce phénomène croissant. Des études ont montré que la pression exercée sur les plateformes pour renforcer la modération a poussé certains sympathisants de l'extrémisme à se tourner vers des alternatives moins régulées comme Telegram.
Conséquences et impacts
Le nouvel outil pourrait avoir un impact significatif sur la manière dont les entreprises d'intelligence artificielle traitent le contenu extrémiste. Le succès de cet outil dépend de l'efficacité des mécanismes de suivi et des structures qui orientent les utilisateurs. Il existe également des préoccupations selon lesquelles la pression sur les plateformes pour fermer les conversations sensibles pourrait aggraver la situation plutôt que de l'améliorer.
Il est crucial que cet outil soit développé avec soin, car les personnes souffrant de crises psychologiques ont tendance à partager des informations sensibles en ligne, rendant nécessaire la fourniture d'un soutien efficace sans fermer les canaux de communication.
Impact sur la région arabe
Cette initiative revêt une importance particulière pour la région arabe, où de nombreux pays sont confrontés à des défis similaires dans la lutte contre l'extrémisme. Les pays arabes peuvent tirer parti des expériences internationales dans ce domaine pour développer des stratégies efficaces pour faire face à l'extrémisme et renforcer la sécurité publique.
Avec l'augmentation de l'utilisation de la technologie dans notre vie quotidienne, il devient essentiel de disposer d'outils efficaces pour faire face aux défis liés à l'intelligence artificielle, contribuant ainsi à renforcer la sécurité et la sûreté dans les sociétés arabes.