A maior parte das provas de conceito de IA generativa morre por motivos que eram visíveis antes de ela começar: ninguém combinou o que a PoC precisava provar, ninguém calculou quanto custaria em escala e ninguém tinha autoridade para decidir o que fazer com o resultado. O modelo quase sempre funciona. O que falta é o caminho entre "funcionou na demo" e "vale colocar dinheiro".
O que a Gartner disse, e o que aconteceu
Em 29 de julho de 2024, a Gartner publicou a previsão de que ao menos 30% dos projetos de IA generativa seriam abandonados depois da prova de conceito até o fim de 2025. Os motivos citados: dados de baixa qualidade, controles de risco inadequados, custos crescentes e valor de negócio pouco claro. Na mesma ocasião, a analista Rita Sallam disse que os executivos estavam impacientes para ver retorno dos investimentos em IA generativa, e que as empresas tinham dificuldade para provar e realizar esse valor. Ela estimou que iniciativas para mudar o modelo de negócio com IA generativa podem custar de 5 a 20 milhões de dólares.
A previsão foi conservadora. Num artigo posterior, Why 50% of GenAI projects fail, a própria Gartner afirma que, no fim de 2025, pelo menos 50% dos projetos de IA generativa tinham sido abandonados depois da PoC, pelos mesmos quatro motivos.
Outras pesquisas chegam a conclusões parecidas por caminhos diferentes. O relatório The Root Causes of Failure for Artificial Intelligence Projects, da RAND (2024), entrevistou 65 cientistas de dados e engenheiros e cita estimativas de que mais de 80% dos projetos de IA fracassam, o dobro da taxa de projetos de TI sem IA. A causa mais citada pelos entrevistados não foi técnica: foi a liderança do negócio entender mal, ou comunicar mal, qual problema a IA deveria resolver.
Os quatro motivos, traduzidos para a sua reunião
Valor de negócio pouco claro. A PoC provou que o modelo responde bem, mas ninguém escreveu antes qual número ela deveria mexer. Sem isso, o resultado é sempre "interessante" e nunca "aprovado". A pergunta que resolve: se esta PoC der certo, qual indicador muda, quanto, e quem vai perceber?
Custos crescentes. Uma PoC com 20 usuários e 500 perguntas por dia custa pouco. A mesma aplicação com 3.000 usuários, histórico de conversa, busca em documentos (RAG) e revisão humana custa outra coisa. A Gartner descreve bem o efeito: o custo por token parece desprezível até ser multiplicado por milhares de usuários e dezenas de casos de uso. Se a PoC não estima o custo por transação em escala, a primeira fatura de produção vira o motivo do cancelamento.
Dados de baixa qualidade. A PoC foi feita com 200 documentos escolhidos a dedo. Em produção, o assistente encontra versões duplicadas, PDFs escaneados sem texto e políticas desatualizadas que ninguém apagou. A precisão cai e a confiança do usuário vai junto.
Controles de risco inadequados. Jurídico, segurança e privacidade só são chamados quando o projeto quer ir para produção. Aí aparecem as perguntas sobre LGPD, registro de decisões, dados de cliente saindo para um modelo de terceiro. Se a PoC não foi desenhada para responder a elas, o projeto volta para o começo, ou para.
Repare que nenhum dos quatro motivos é o modelo errar. São falhas de desenho do projeto, e todas aparecem nas perguntas que qualquer diretor financeiro faria numa aprovação de orçamento. A diferença está no momento: quando essas perguntas chegam depois da PoC, a resposta custa semanas de retrabalho; quando chegam antes, custam uma reunião. Há também um efeito menos visível. Cada PoC abandonada sem explicação deixa a diretoria um pouco mais cética, e a próxima proposta de IA começa com menos crédito, mesmo que seja boa. Uma PoC descartada com critério e números preserva esse crédito, porque mostra que a empresa sabe parar o que não funciona.
O que muda quando a PoC é desenhada para decidir
Uma PoC que termina em decisão tem cinco coisas definidas antes do primeiro dia:
- A hipótese de negócio, com número. Exemplo: "o assistente reduz em 40% o tempo de resposta a dúvidas de política comercial, com taxa de resposta incorreta abaixo de 5%".
- O critério de saída, dividido em três faixas: o que precisa ser verdade para escalar, o que justifica ajustar e o que justifica descartar.
- A estimativa de custo em escala, com o volume real de produção, não o da PoC.
- Os dados reais, ou uma amostra representativa deles, incluindo os documentos ruins.
- O dono da decisão, uma pessoa com orçamento e autoridade para dizer sim ou não quando o resultado chegar.
Exemplo hipotético: assistente de políticas comerciais
O cenário abaixo é um exemplo hipotético, criado para ilustrar o raciocínio. Não é resultado de cliente.
Uma empresa com 400 vendedores quer um assistente que responda dúvidas sobre política de preço, descontos e prazos. Hoje, essas dúvidas vão para um time de 4 pessoas por e-mail, com prazo médio de resposta de um dia.
Critério combinado antes da PoC: o assistente precisa responder corretamente pelo menos 90% de um conjunto de 300 perguntas reais do último semestre, avaliadas pelo time de políticas, e o custo estimado em produção precisa ficar abaixo de R$ 8 por vendedor por mês.
A PoC roda quatro semanas. Resultado: 86% de acerto. A análise mostra que quase todos os erros vêm de dois documentos de política desatualizados que ainda estavam na base. Custo estimado: R$ 5 por vendedor por mês.
A decisão fica fácil de tomar: ajustar. Atualizar os dois documentos, repetir o teste com as mesmas 300 perguntas e, passando de 90%, escalar para um grupo piloto de 50 vendedores. Sem o critério escrito, a mesma PoC teria virado uma discussão sobre se 86% é bom ou ruim, e provavelmente teria sido arquivada.
Sinais de que a sua PoC vai ser abandonada
- O critério de sucesso é "ver se funciona".
- Ninguém sabe o custo por transação em produção.
- A base de teste foi escolhida pelo time que construiu a PoC.
- Jurídico e segurança ainda não viram o projeto.
- O patrocinador da PoC não tem orçamento para a etapa seguinte.
- Não existe data marcada para a reunião de decisão.
Se três ou mais itens descrevem o seu projeto, vale pausar e reescrever o escopo antes de gastar mais uma semana de engenharia.
Checklist para começar uma PoC que termina em decisão
- A hipótese tem um indicador de negócio e um número.
- As faixas de escalar, ajustar e descartar estão escritas e assinadas pelo patrocinador.
- O conjunto de teste usa dados reais, incluindo os casos difíceis.
- A estimativa de custo considera o volume de produção.
- Riscos de privacidade e segurança foram mapeados na primeira semana.
- A reunião de decisão está na agenda antes do kickoff.
Próximo passo
Antes de aprovar a próxima PoC, peça ao time que apresente as três faixas de decisão e a estimativa de custo em escala. Se não conseguirem, a PoC ainda não está pronta para começar.
Foi por isso que montamos a PoC Factory como um processo de 3 a 6 semanas, com critério de sucesso combinado antes do primeiro dia e um Decision Package no final que recomenda escalar, ajustar ou descartar. Os detalhes de cada etapa estão na nossa metodologia.