A diferen\u00e7a entre seguran\u00e7a de IA e prote\u00e7\u00e3o de IA \u00e9 f\u00e1cil de confundir at\u00e9 que uma chamada de modelo possa afetar um cliente, ticket, documento, transa\u00e7\u00e3o ou fluxo de trabalho de agente. Nesse ponto, a distin\u00e7\u00e3o importa.<\/p>\n\n\n\n
Seguran\u00e7a de IA pergunta se o sistema se comporta de maneiras \u00fateis, confi\u00e1veis e alinhadas com o trabalho que deve realizar. Prote\u00e7\u00e3o de IA pergunta se o sistema, seus dados, suas ferramentas ou seus caminhos de acesso podem ser atacados ou mal utilizados. As equipes de produ\u00e7\u00e3o precisam de ambos, porque um modelo seguro ainda pode ser explorado, e uma integra\u00e7\u00e3o protegida ainda pode produzir resultados prejudiciais ou n\u00e3o confi\u00e1veis.<\/p>\n\n\n\n
Para os Construtores que trabalham com APIs de modelo, o ponto de controle pr\u00e1tico geralmente \u00e9 a pr\u00f3pria chamada do modelo: qual modelo \u00e9 selecionado, qual prompt \u00e9 enviado, quais ferramentas s\u00e3o permitidas, quais dados s\u00e3o anexados, o que \u00e9 registrado, qual caminho de fallback est\u00e1 dispon\u00edvel e o que o usu\u00e1rio v\u00ea quando a resposta retorna.<\/p>\n\n\n\n
Seguran\u00e7a de IA trata do comportamento e dos resultados de um sistema de IA. A quest\u00e3o central \u00e9: o sistema deve se comportar dessa maneira para este usu\u00e1rio, tarefa e contexto?<\/p>\n\n\n\n
O trabalho de seguran\u00e7a frequentemente cobre qualidade de sa\u00edda, conte\u00fado prejudicial, vi\u00e9s, alucina\u00e7\u00e3o, comportamento de recusa, robustez, avalia\u00e7\u00e3o e supervis\u00e3o humana. Tamb\u00e9m inclui a quest\u00e3o operacional que toda equipe de produto eventualmente enfrenta: o que acontece quando o modelo est\u00e1 incerto, errado, incompleto ou solicitado a fazer algo fora de seu escopo pretendido?<\/p>\n\n\n\n
The Estrutura de Gerenciamento de Riscos de IA do NIST<\/a> \u00e9 \u00fatil aqui porque trata o risco de IA como algo que as equipes devem governar, mapear, medir e gerenciar, n\u00e3o como uma decis\u00e3o \u00fanica de sele\u00e7\u00e3o de modelo. Essa abordagem \u00e9 especialmente importante quando um produto direciona trabalho entre v\u00e1rios modelos ou fornecedores.<\/p>\n\n\n\n Prote\u00e7\u00e3o de IA trata de proteger a integra\u00e7\u00e3o do modelo contra ataques, acesso n\u00e3o autorizado, exposi\u00e7\u00e3o de dados e abuso. A quest\u00e3o central \u00e9: algu\u00e9m pode explorar este sistema, seu prompt, suas ferramentas, suas fontes de recupera\u00e7\u00e3o ou suas permiss\u00f5es?<\/p>\n\n\n\n O trabalho de prote\u00e7\u00e3o frequentemente cobre inje\u00e7\u00e3o de prompt, divulga\u00e7\u00e3o de informa\u00e7\u00f5es sens\u00edveis, envenenamento de dados de treinamento ou recupera\u00e7\u00e3o, risco na cadeia de suprimentos do modelo, permiss\u00f5es excessivas de ferramentas, nega\u00e7\u00e3o de servi\u00e7o, vazamento de credenciais e design inseguro de plugins ou agentes. OWASP Top 10 para Aplica\u00e7\u00f5es de Modelos de Linguagem Grande<\/a> \u00e9 uma refer\u00eancia \u00fatil porque nomeia muitos dos modos de falha que aparecem quando LLMs s\u00e3o integrados em software real.<\/p>\n\n\n\n Prote\u00e7\u00e3o n\u00e3o \u00e9 apenas um problema do fornecedor do modelo. Os Construtores ainda precisam proteger chaves de API, autenticar usu\u00e1rios, delimitar permiss\u00f5es de espa\u00e7o de trabalho, filtrar fontes de recupera\u00e7\u00e3o, controlar ferramentas de agentes e monitorar padr\u00f5es de uso anormais. Um fornecedor pode proteger sua pr\u00f3pria infraestrutura enquanto sua aplica\u00e7\u00e3o ainda exp\u00f5e acesso arriscado a ferramentas ou dados de usu\u00e1rios.<\/p>\n\n\n\n A sobreposi\u00e7\u00e3o \u00e9 onde muitos falhas de produ\u00e7\u00e3o acontecem. A inje\u00e7\u00e3o de prompt \u00e9 um problema de seguran\u00e7a quando manipula instru\u00e7\u00f5es ou acesso a dados, mas pode se tornar um problema de seguran\u00e7a quando a resposta manipulada chega a um usu\u00e1rio. Um agente com permiss\u00f5es amplas \u00e9 uma preocupa\u00e7\u00e3o de seguran\u00e7a, mas suas a\u00e7\u00f5es podem criar riscos de seguran\u00e7a e neg\u00f3cios se o modelo tomar uma decis\u00e3o n\u00e3o confi\u00e1vel.<\/p>\n\n\n\n Muitas equipes come\u00e7am com um \u00fanico modelo, uma \u00fanica chave de API e um \u00fanico prompt. Isso pode funcionar para um prot\u00f3tipo. Torna-se fr\u00e1gil quando o produto adiciona v\u00e1rios modelos, configura\u00e7\u00f5es espec\u00edficas do cliente, ferramentas de agente, recupera\u00e7\u00e3o, roteamento de fallback, controles de custo ou faturamento baseado em uso.<\/p>\n\n\n\n Uma camada de controle de chamadas de modelo d\u00e1 aos Construtores um lugar consistente para aplicar decis\u00f5es antes e depois da infer\u00eancia. Pode ajudar a responder perguntas como:<\/p>\n\n\n\nControles de Prote\u00e7\u00e3o de IA Risco de Explora\u00e7\u00e3o<\/h2>\n\n\n\n
Seguran\u00e7a vs Prote\u00e7\u00e3o: A Diferen\u00e7a Pr\u00e1tica<\/h2>\n\n\n\n
\u00c1rea<\/th> Seguran\u00e7a de IA<\/th> Prote\u00e7\u00e3o de IA<\/th><\/tr><\/thead> Pergunta principal<\/td> O sistema deve produzir esse comportamento?<\/td> Algu\u00e9m pode explorar este sistema?<\/td><\/tr> Risco t\u00edpico<\/td> Sa\u00eddas prejudiciais, tendenciosas, pouco confi\u00e1veis ou enganosas<\/td> Inje\u00e7\u00e3o de prompt, exposi\u00e7\u00e3o de dados, abuso ou acesso n\u00e3o autorizado<\/td><\/tr> Controles prim\u00e1rios<\/td> Avalia\u00e7\u00f5es, barreiras de prote\u00e7\u00e3o, revis\u00e3o humana, escolha de modelo, pol\u00edticas de sa\u00edda<\/td> Autentica\u00e7\u00e3o, permiss\u00f5es, controles de entrada, gest\u00e3o de segredos, isolamento de ferramentas<\/td><\/tr> Exemplo de falha<\/td> Um assistente de suporte d\u00e1 orienta\u00e7\u00f5es inseguras sobre reembolso<\/td> Um prompt malicioso engana um agente para expor dados privados de tickets<\/td><\/tr> Sobreposi\u00e7\u00e3o de propriet\u00e1rio<\/td> Produto, pol\u00edtica, engenharia, jur\u00eddico, especialistas em dom\u00ednio<\/td> Seguran\u00e7a, plataforma, engenharia, opera\u00e7\u00f5es<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n Por que as chamadas de modelo precisam de sua pr\u00f3pria camada de controle<\/h2>\n\n\n\n