Os agentes de IA estão passando rapidamente da experimentação para a produção nas instituições financeiras. Bancos e fintechs os verificam para treinamento, verificação de fraudes, monitoramento de transações, comunicação com clientes e até mesmo trabalho investigativo completo.
Ao mesmo tempo, as equipes de risco da Model já estão sobrecarregadas. Eles são solicitados a validar mais modelos, com mais frequência, à medida que as expectativas aumentam. Neste ambiente, a IA agente só será dimensionada com segurança se a governação e a avaliação forem integradas no sistema desde o início.
A conversa centrou-se principalmente no que estes sistemas poderiam fazer. Eles conseguem raciocinar sobre dados complexos? Eles podem agendar fluxos de trabalho? Podem formular narrativas ou resumir investigações?
Estas são questões importantes. Mas não são eles que determinam se a inteligência artificial dos agentes pertence a ambientes financeiros regulamentados. A verdadeira questão é mais simples: o que acontece quando o agente está alucinando?
Os agentes de IA não se comportam conforme a infraestrutura financeira do software determinístico foi construída. São sistemas probabilísticos que operam em loops interativos, o que significa que o mesmo objetivo pode produzir caminhos diferentes, e as falhas muitas vezes aparecem apenas após várias etapas. É por isso que o Instituto Nacional de Normas e Tecnologia, no seu quadro de gestão de riscos de IA, trata os sistemas generativos como riscos do ciclo de vida que requerem medição e monitorização contínuas, em vez de uma inspeção única.
Os principais sistemas bancários, trilhos de pagamento e fluxos de trabalho de conformidade são construídos com base em lógica previsível. Dados os mesmos insumos, espera-se que produzam os mesmos resultados. Eles podem ser testados em unidade, testados em regressão e confirmados.
Os sistemas agentes não se comportam dessa maneira. O mesmo prompt pode produzir resultados ligeiramente diferentes. Casos extremos podem surgir de maneiras inesperadas. O desempenho pode variar ao longo do tempo à medida que os padrões de dados mudam.
Numa aplicação de consumo, “principalmente verdadeiro” pode ser aceitável. Financeiramente falando, ainda pode falhar no padrão. Se um agente de IA formular uma narrativa imprecisa do Relatório de Atividades Suspeitas (SAR), pular as etapas investigativas necessárias ou gerar um viés inconsistente, o problema não será cosmético. Isto torna-se numa falha de controlo contra a qual a instituição deve ser capaz de se defender no âmbito de um modelo de expectativas de gestão de risco definido por supervisores como a Reserva Federal.
Isto cria o que eu chamaria de lacuna de autonomia e responsabilidade. As instituições adoptam sistemas que funcionam com um certo grau de autonomia, mas o quadro de responsabilização em torno destes sistemas nem sempre acompanhou o ritmo.
Em muitas organizações, a administração é tratada como uma camada que é adicionada depois que a capacidade é comprovada. As equipes se concentram em fazer com que o agente apareça. O monitoramento e a supervisão serão tratados posteriormente.
Em software de baixo risco, você pode executar controles posteriormente. Com sistemas de agentes, o risco é revelado ao longo do tempo. Ela aparece na maneira como o sistema usa ferramentas, repete ações, escala decisões e interage entre fluxos de trabalho. É por isso que as orientações modernas abordam cada vez mais as salvaguardas, a avaliação e a monitorização contínua como requisitos fundamentais do ciclo de vida, em vez da instrumentação pós-lançamento.
Se você não consegue manter o sistema, não o implante.
Reter um agente não significa limitar a inovação. Trata-se de reconhecer que os sistemas probabilísticos que operam dentro de regimes regulatórios determinísticos requerem controle técnico. A política e a documentação por si só não são suficientes. As grades de segurança devem ser integradas no produto desde o início.
Na prática, isso significa construir uma estrutura estruturada para avaliação e supervisão antes de o agente entrar em operação.
Muitas equipes referem-se à avaliação como uma etapa de controle de qualidade. Para os agentes, a avaliação torna-se parte do sistema central. É assim que você mede o comportamento em fluxos de trabalho de várias etapas, identifica desvios e demonstra a conformidade com as políticas ao longo do tempo. Os benchmarks de pesquisa para agentes LLM surgiram precisamente porque os testes de rotação única ignoram modos de falha importantes em sistemas interativos.
Um agente pronto para produção requer três camadas distintas: controle determinístico, observação e otimização contínua.
Controle determinístico (grades de segurança) definem restrições rígidas que o agente não pode ignorar. Agentes são sistemas probabilísticos. Os deveres regulatórios não. Esta tensão deve ser resolvida através de restrições rígidas incorporadas no fluxo de trabalho. Os controles determinísticos atuam como barreiras de proteção, impondo regras políticas, etapas investigativas necessárias, limites de acesso a dados e gatilhos de escalonamento que o agente não pode ignorar.
Mesmo que o modelo subjacente se desvie ou produza resultados inesperados, estes controlos garantem que os resultados permanecem dentro dos limites regulamentares e operacionais definidos. Em ambientes de conformidade, esta camada não é negociável.
Capacidade de observação (A Matriz de Rastreabilidade) fornece métricas definidas e rastreabilidade do sistema. Você não pode gerenciar o que não pode ver. As instituições devem ser capazes de reconstruir como um resultado foi criado, incluindo a entrada de dados, as etapas intermediárias de raciocínio e todas as ferramentas que o agente utilizou ao longo do caminho.
Este nível de rastreabilidade transforma um sistema de IA de uma caixa preta em um processo auditável. Permite a verificação interna, apoia a gestão de riscos no modelo e permite que as instituições respondam com confiança às consultas de supervisão. Sem visões integradas, a responsabilidade é teórica.
Otimização contínua (O LLM como Judge Loop) é a última camada chave. Não se pode presumir que o desempenho do agente permaneça estável. devem ser avaliados continuamente.
As principais instituições estão começando a implementar ciclos de avaliação estruturados que comparam os resultados dos agentes com os Golden Datasets e com casos do mundo real. Em algumas aplicações, um modelo gerenciado secundário é usado para avaliar os resultados do agente primário quanto à precisão, conformidade com as políticas e integridade.
Esta abordagem de “modelo de revisão de modelo”, quando rigorosamente controlada, pode identificar alucinações, mudanças de tom e lacunas de conformidade antes que os resultados cheguem aos clientes ou reguladores. A otimização contínua fecha o ciclo entre implantação e responsabilidade.
Os reguladores estão cada vez mais concentrados na forma como as decisões baseadas na IA são governadas. As orientações de supervisão existentes já obrigam as instituições a verificar, monitorizar e auditar modelos que influenciam as decisões de risco. Essas expectativas também estão se tornando centrais nas discussões em torno da IA dos agentes.
Os supervisores globais, como o Comité de Supervisão Bancária de Basileia, estão a examinar a forma como a digitalização e a aprendizagem automática estão a remodelar os perfis de risco bancário, reforçando que a governação deve evoluir juntamente com a capacidade.
As instituições que implementam sistemas agentes sem um quadro de avaliação defensável podem acabar por explicar não só para que o sistema foi concebido, mas também porque foi autorizado a funcionar sem supervisão adequada.
As instituições que obtiverem sucesso com a IA do agente não serão as que avançarão mais rapidamente para a implantação. Serão eles que agirão com intenção, implementando controle, monitoramento e otimização na arquitetura desde o primeiro dia.
O foco da indústria precisa mudar. A questão não é mais se um agente pode resolver um problema. É se a instituição consegue controlar o seu comportamento e defender as decisões que toma. A confiança nos sistemas agentes não deriva apenas da capacidade. Isto se deve à capacidade de monitorá-los, avaliá-los e limitá-los. Nas finanças regulamentadas, o layout deve seguir este padrão.
Lina Fabri, gerente de produto sênior, ThetaRay
“Um Novo Padrão para IA Agente em Serviços Financeiros” foi originalmente criado e publicado pela Retail Banker International, uma marca de propriedade da GlobalData.
As informações neste site são incluídas de boa fé apenas para fins de informação geral. Não se destina a constituir um conselho no qual você deva confiar, e não oferecemos nenhuma representação, garantia ou garantia, expressa ou implícita, quanto à sua exatidão ou integridade. Você deve obter aconselhamento profissional ou especializado antes de tomar ou abster-se de qualquer ação com base no conteúdo do nosso site.
