- Prompt de sistema 0
- Histórico da conversa 0
- O teu prompt 0
- Documentos recuperados (RAG) 0
Montar o contexto
O que acontece. Monta-se o pedido: o histórico (ou o seu resumo, se já não couber), os documentos que o RAG recupera e o teu prompt, numa ordem fixa. Um prefixo que não muda entre pedidos pode ser colocado em cache e fica mais barato.
O que pode correr mal. Um documento recuperado pode trazer uma ordem escondida: é a injeção indireta. Ao compactar o histórico pode perder-se uma instrução tua. E uma alteração no início do pedido quebra a cache.
A resposta chega ao utilizador.
Tudo o que os detetores encontraram foi visto por alguma camada.