A IA trata de tudo, desde o planeamento à distribuição do trabalho
A Anthropic acrescentou fluxos de trabalho dinâmicos, que distribuem tarefas por vários agentes, à «Claude Managed Agents», a plataforma de execução de agentes de IA. Um agente coordenador planeia o trabalho, distribui tarefas pelos agentes subordinados e integra os resultados. É possível executar em paralelo até 1000 agentes numa única execução.
Um agente de IA é um sistema de IA que executa tarefas para alcançar um objetivo definido. Com esta nova funcionalidade, em vez de confiar todo o trabalho a um único agente, as tarefas são divididas entre um agente coordenador e agentes responsáveis pela execução. A infraestrutura de execução existente passa assim a incluir um mecanismo para executar vários sistemas de IA em conjunto.
O limite de 1000 não é o único aspeto a ter em conta. A própria IA divide o trabalho e reúne os resultados. No entanto, o número de agentes que podem funcionar em paralelo não se traduz automaticamente numa velocidade de processamento ou em resultados multiplicados na mesma proporção.
Detetados 66 dos 70 bugs
Nos testes apresentados pela Anthropic, foram introduzidos deliberadamente 70 bugs em 116 000 linhas de código e comparados os resultados da deteção. Um agente isolado detetou entre 14 e 27 bugs numa única execução, ao passo que o fluxo de trabalho dinâmico detetou consistentemente 66.
Em termos de taxa de deteção, os resultados correspondem a cerca de 20% a 39% para o agente isolado e a cerca de 94% para o fluxo de trabalho dinâmico. Neste teste, a divisão do trabalho entre vários agentes aumentou o número de bugs detetados. Ainda assim, mesmo com 66 deteções, não foram encontrados todos os bugs introduzidos.
Além disso, estes resultados foram obtidos numa tarefa específica: a deteção de bugs em código. Não é possível confirmar se se verificaria uma diferença semelhante noutras tarefas, como a investigação ou a redação de documentos. Os materiais disponibilizados também não indicam quantos agentes foram efetivamente utilizados no teste, pelo que seria precipitado interpretar os resultados como tendo sido obtidos com 1000 agentes.
Para decidir se vale a pena implementar, importa mais o custo por resultado do que o número de agentes
A divisão do trabalho também implica um aumento do volume de processamento da IA. A Anthropic alerta para a possibilidade de um elevado consumo de tokens e recomenda começar com uma configuração pequena. Os tokens são unidades de processamento de texto ou código pela IA e servem de referência para calcular os custos de utilização.
O que as empresas querem avaliar não é quantos agentes de IA conseguem pôr a funcionar, mas quanto custa obter resultados com a qualidade necessária. Mesmo que sejam detetados mais bugs, a decisão de adoção dependerá do aumento dos custos e do trabalho de revisão. Uma abordagem prática consiste em comparar, na mesma tarefa, um agente isolado com uma configuração de divisão do trabalho com poucos agentes, medindo o número de bugs detetados, o tempo necessário e os custos.
Os materiais disponibilizados não indicam o custo total, o tempo de processamento nem o consumo de tokens no teste comparativo. O que é possível confirmar é a diferença no número de bugs detetados; os resultados não demonstram a relação custo-benefício.


コメント