Limitações conhecidas do Mosaic AI Agent Framework e da Agent Evaluation

Avaliação e espaço de trabalho habilitado para HIPAA

A Avaliação do agente não está disponível no espaço de trabalho habilitado para HIPAA.

Recursos de assistência com IA oferecidos por parceiros necessários

Para usar o Agent Framework e a Avaliação do Agente, você deve habilitar os recursos de assistência de IA oferecidos por parceiros.

Conversas em vários turnos

A Avaliação do Agente oferece suporte à avaliação somente de conversas em turno único.

Em conversas em vários turnos, os resultados de saída da avaliação registram somente a última entrada na conversa.

Os nomes de modelos servidos são limitados a 32 caracteres

O limite de comprimento de um nome de modelo servido (conhecido como app_name) é de 32 caracteres, onde app_name é um nome escolhido.

Todos os componentes de um RAG ou fluxo de trabalho em cadeia devem compartilhar um espaço de trabalho

Todos os componentes de um RAG ou fluxo de trabalho em cadeia devem estar em um único workspace. Por exemplo, o modelo de atendimento e a instância de pesquisa vetorial precisam estar no mesmo workspace.

Permissões na implantação

Se você implantar um modelo sem iniciar nenhuma revisão utilizando a chamada enable_trace_reviews e tiver permissões CAN_MANAGE para a implantação, o serviço retornará uma resposta NO_PERMISSIONS ao invocar o endpoint get_permissions. Trata-se de um problema conhecido e os níveis de permissão apropriados estão sendo mantidos em todo o sistema.

Ao usar a funcionalidade enable_trace_reviews para gerar artefatos de revisão, confirme se todos os usuários têm as permissões necessárias para realizar avaliações ou gerenciá-las. Para fazer isso, use a API set_permissions .