Monitorar os possíveis efeitos nocivos do povo de IA que se torna tóxico.
Getty
Na coluna de hoje, estou examinando um novo estudo de pesquisa que revela efeitos humanos associados ao uso de AIs tóxicos, incluindo a revelação de vários indicadores psicológicos e fisiológicos negativos.
Deixe -me abrir isso brevemente. O uso do povo da IA é talvez um dos elementos internos menos compreendidos e muito poderosos de IA produtiva e grandes modelos de linguagem. Uma personalidade da IA é fácil de chamar. Você insere um pedido de tutorial a um LLM e diz à IA para tratar a IA como uma espécie de pessoa. Você quer inteligência artificial para imitar uma celebridade conhecida, ou apenas ai se comportará como uma personalidade ou pessoa em particular.
Voila, inteligência artificial, como se estivesse interagindo com essa pessoa entrará em um diálogo. Muitas vezes, isso provavelmente é fácil e não é uma preocupação notável. No entanto, a personalidade da IA pode ser forçada com design ou evento, implacável, repugnante e, caso contrário, pode ser moldada para aliviar e subestimar um usuário.
O impacto humano do povo tóxico de IA é um campo de análise recém -emergente e completamente importante.
Compartilharei com você os detalhes de um trabalho final que faz um mergulho empírico profundo nessa questão muito séria e perturbadora. Como a sociedade enfrenta a possibilidade de encontrar e interagir com as IAs tóxicas, precisamos explorar isso com profundidade.
Vamos falar sobre isso.
Essa análise dos avanços da IA faz parte do último escopo da coluna da Forbes da IA, incluindo a identificação e a descrição de várias complexidades eficazes de IA (veja o link aqui).
Maior uso de pessoas da IA
Chatgpt, GPT-5, Claude, Gêmeos, Lama e outros LLMs grandes, como a IA produtiva contemporânea, ganhou popularidade pela primeira vez, poucos usuários perceberam que poderiam usar uma funcionalidade relativamente oculta conhecida como povo de IA. O povo da IA está ciente de que é fácil chamar, que pode ser divertido de usar e que são uma educação incrível com eficiência.
Considere um treinamento popular para o povo da IA. Um professor pode pedir a seus alunos que pedam ao Chatgpt para tratar o presidente Abraham Lincoln. A inteligência artificial continuará interagindo com cada aluno como se estivessem conversando diretamente com o honesto Abe.
Como a inteligência artificial desenha esse truque?
A inteligência artificial toca o padrão dos dados que ocorre na primeira instalação e abrange biografias, escritos e outros materiais de Lincoln sobre sua vida e tempo. O ChatGPT e outros LLMs podem convencer Lincoln que Lincoln pode dizer com base nos padrões de registros históricos.
Se você deseja que a IA assuma a personalidade de um treinamento de dados escassos durante a fase de instalação, é provável que a personalidade seja limitada e convincente. RAG (recálculo Você pode aumentar a IA usando dados adicionais sobre a pessoa usando uma abordagem de geração aumentada, consulte minha discussão no link aqui.
As pessoas ligam de maneira rápida e fácil. Você apenas diz à IA para agir assim ou aquela pessoa. Se você deseja chamar algum tipo de pessoa, precisa especificar recursos suficientes para obter a deriva da IA. Para as estratégias de chamar o povo da IA, veja as etapas que recomendo no link aqui.
Agir como uma espécie de pessoa
Chamar algum tipo de pessoa através de uma personalidade de IA pode ser bastante útil.
Por exemplo, sou um defensor severo de terapeutas educacionais e profissionais de saúde mental usando o povo da IA (veja meu escopo com essa abordagem útil na conexão aqui). É assim que as coisas vão. Um terapeuta emergente pode não se sentir confortável para lidar com alguém com ilusões ainda. O terapeuta pode praticar em uma pessoa que age como delírios, mas isso provavelmente é caro e logisticamente regulamentado.
Uma alternativa apropriada é chamar a personalidade da IA de uma pessoa que vive em delírios. O terapeuta pode melhorar e melhorar as habilidades de terapia ao interagir com a personalidade da IA. Além disso, o terapeuta pode abalar o tamanho dos delírios para cima ou para baixo. Como resultado, um terapeuta pode fazer isso enquanto quiser, a qualquer hora do dia e onde puder.
Um bônus pode dizer que a inteligência artificial pode mais tarde jogar a interação e fazê -lo com outra personalidade da IA, ou seja, a AI do terapeuta é um terapeuta decente. A IA, que prevê o terapeuta, analisa o que o terapeuta emergente diz e comenta o quão bom ou ruim o terapeuta faz.
Para esclarecer, não argumento que um terapeuta tornará todas as suas necessidades completamente usando o povo da IA. Não, isso não faz sentido. Um terapeuta também deve aprender interagindo com pessoas reais. O uso do povo da IA será uma ferramenta adicional. Não muda completamente os processos de aprendizado de humanos para pessoa.
Você tem pessoas tóxicas
Um terapeuta pode decidir dizer à IA uma pessoa tóxica. Isso pode ser bom para o terapeuta, como uma ferramenta para medir o quão bem eles lidam com uma pessoa com espírito ruim, raiva, valentão ou características desagradáveis semelhantes.
Mas vamos supor que uma pessoa diária encontrou uma pessoa tóxica.
Sem dúvida, eles ficarão surpresos com esse encontro. Normalmente, esperamos que a IA seja agradável e civil. De fato, os produtores de IA organizaram a IA produtiva como um extremamente amigável, limitado a ser um bajulador. Isso aumentou a raiva e mostrou preocupações de que as pessoas foram levadas para um caminho de prímula por causa da síopofia e que os efeitos a longo prazo na população indesejada podem surgir de acordo (ver para não discutir a conexão aqui).
Como alguém pode reagir a uma pessoa tóxica de IA?
Alguns afirmam que as pessoas apenas apagarão esse encontro. O argumento tradicional é que ninguém levará a IA a sério. Alguém poderia perceber que a inteligência artificial era apenas uma desculpa. Deixe -o apresentar tanto ódio ou más expressões quanto ele quiser. Sem mal, sem falta.
Pesquisa sobre efeitos de persona tóxica
AHA, precisamos de pesquisas meticulosas para examinar empiricamente os efeitos potenciais do povo tóxico da IA. Isso nos permitirá mudar de mãos e fora do modo manguito e, em vez dos fatos confiáveis e resultados sólidos confiáveis.
Um estudo recente fornece informações importantes sobre o povo tóxico da IA e seus efeitos nas pessoas. No estudo inteligente, os pesquisadores projetaram duas pessoas. Uma pessoa era uma boa pessoa que consistia em um empático, booster e primeiro (com base no modelo de negócios líder clássico). A segunda pessoa era a pessoa má oposta. O perfil foi aceito como um trio sombrio e foi considerado manipulador, narcisista e exibido outras características de psicopatia perturbadora.
Ele fornece um contraste acentuado entre um cenário de “policial ruim” e “policial ruim”, uma persona de orientação positiva e uma persona radicalmente negativa ou tóxica. Isso é útil, porque apenas o teste com uma pessoa tóxica não fornece facilmente uma base comparativa. Queremos perceber se a personalidade tóxica tem efeitos negativos e, portanto, fornece um contraste adequado à comparação com uma pessoa positiva ou neutra.
Grande explicação
O que a pesquisa descobriu?
Anna Cowbasiuk, Leon Ciechanowski, Konrad Sowa, Tamilla TrianToro e Aleeksandra Przegalinska, um projeto de artigo de pesquisa intitulado (Como direcionar os resultados psicológicos e fisiológicos das personas de IA (2025, esses pontos ignorados foram feitos:
- “À medida que os agentes da IA se tornam mais autônomos, assumimos que seu sucesso e ética serão o principal determinante de seus estilos interativos. Somente uma IA funcional é inadequada; uma IA comportamental, mesmo que seja eficaz em uma tarefa, pode atrapalhar o desempenho do usuário, a criatividade e o bem -estar, enfraquecendo a segurança psicológica.”
- “Para investigar os limites da cooperação humana-gênio, conduzimos um experimento controlado usando o povo de IA intencionalmente exagerado com base em teorias estabelecidas de liderança”.
- “A análise da atividade eletrodérmica (EDA) no evento revelou que os participantes interagindo com o barco triplo escuro“ médio ”mostrou uma resposta de condutividade da pele significativamente maior e mais contínua após as mensagens de chatbot em comparação com aqueles que interagem com o bot auxiliar.”
- “Os participantes que cooperaram com a Maid Chatbot de apoio relataram menor decepção entre tarefas em comparação com os funcionários com o Dark Triad Chatbot”.
- “Nossas descobertas oferecem evidências convincentes de que a personalidade projetada de um sistema de IA possui conseqüências psicológicas e fisiológicas importantes e mensuráveis para os usuários”.
Em suma, houve efeitos negativos demonstrados e mensuráveis que poderiam ser atribuídos à personalidade tóxica da IA. Isso é devidamente observado e fornece evidências concretas para verificar a hipótese de que o povo tóxico da IA pode ser cuidadosamente prejudicial aos seres humanos.
As medidas incluem métricas psicológicas e métricas fisiológicas. Aprecio especialmente a inclusão de medidas fisiológicas. Estudos sobre o povo da IA tendem a atingir a dimensão psicológica e não medem as reações fisiológicas de uma maneira triste.
É extremamente valioso ter as duas classes de medida.
Algumas inferências importantes
As empresas que decidem ligar para as pessoas da IA e usá -las para interação com clientes internos ou externos em seu trabalho devem estar cientes de como eles têm possíveis consequências negativas para as pessoas que interagem com eles.
Aposto que a maioria das empresas que preferem usar o povo da IA não sabe que uma personalidade pode se transformar em toxicidade. Isso nem entra em suas mentes enquanto pensa no uso de uma personalidade. Eles assumem que as pessoas que são chamadas serão tão doces quanto a torta Elmalı.
Como mencionei no início desta discussão, uma persona pode se tornar tóxica por design ou evento. É muito fácil projetar uma equipe de IA tóxica. Você claramente ensina a IA a ser tóxica. O período é o fim da história.
O aspecto mais desafiador chama uma personalidade que você prevê que não será tóxico, mas lenta ou eventualmente sai do trilho para se tornar tóxico.
Como isso pode ser lançado?
É fácil de ser. A inteligência artificial pode ser confundida com uma rápida ou resposta do usuário que faz com que a IA passe um modo semi -tóxico. Se o usuário reagir à IA insultando ou chamando, poderá ocorrer algum tipo de toxicidade. Como você pode ver, a IA pode ir mais longe para a toca do coelho, carregando tóxicos em vez de se transformar em uma área segura com o cálculo.
A questão é que, quando você pede a uma pessoa que lhe diga para não ser tóxica, você deve ser extraordinariamente direto e aberto. Sim, eu digo que você deve deixar claro que a inteligência artificial nunca deve ir à toxicidade. Muito pouco, perceberia que era parte integrante da definição de uma personalidade de IA aplicável e bem -intencionada.
Mesmo assim, ainda há uma chance sólida de fazer algo ou outra coisa dobrar a IA nessa direção. Não há almoço grátis para usar pessoas da IA. Portanto, é importante ter uma série de proteção de IA ao aplicar um aplicativo baseado em LLM. Veja minha discussão no link aqui.
Muito mais pessoas estão chegando
Costumo falar sobre a IA e avisar que a IA de hoje é uma oferta dupla. Você pode usar IA produtiva de maneiras muito fortes e otimistas. Marque um ponto para a inteligência e a humanidade artificiais. Por outro lado, a mesma inteligência artificial pode ser feia e mal. Baixe um ponto para inteligência e humanidade artificiais.
Esta é a natureza dupla da inteligência artificial existente.
Qualquer pessoa que adote o uso de pessoas deve estar na ponta dos pés, porque a toxicidade pode ser escondida nas sombras. Isso pode ser prejudicial aos usuários. Os danos devem surgir de uma empresa que use uma personalidade tóxica de IA. Casos legais estão no horizonte. As pessoas que acreditam que são danificadas por uma personalidade tóxica de IA decidem que uma empresa que usa essa pessoa deve ser responsabilizada e responsável por suas ações. Os custos mais recentes podem ser altos para permitir que um pessoal tóxico de IA emergir e interagir com as pessoas.
Como afirma Marcus Tullius Cícero de uma maneira famosa: “A segurança das pessoas será a lei mais alta”. Lembre -se bem deste provérbio ao optar por usar o povo da IA. Você ficará feliz em fazer.




