Recentemente li o relatório “IBM Global AI Adoption Index 2022” que mostra que aos poucos estamos saindo da fase do hype, onde era “cool” colocar IA no nome da startup e em todo e qualquer projeto, para dar visibilidade e atrair investidores, para a fase da maturidade, onde aprendemos com as experiências vividas, acertos e fracassos.
Em termos globais, o relatório aponta que mais de 1/3 dos entrevistados usam alguma coisa de IA, e 42% estão na fase exploratória. Por outro lado, vemos ainda alguns desafios. Por exemplo, apenas 28% mostram que possuem uma estratégia de negócios que contemple sistemas de ML de forma holística e as demais ou ainda não tem ou estão com foco muito setorizado.
De maneira geral, o relatório apresenta um viés bem otimista, típico de empresas que vendem soluções de ML. Não são nesses relatórios que o quadro completo aparece. Precisamos fazer cruzamentos com outras fontes.
Quando estudamos outros relatórios, como o “The art of AI maturity”, publicado pela Accenture, vemos que apenas 12% dos adotantes de IA estão usando a IA “para superar seus concorrentes”, enquanto quase dois terços (63%) ainda estão na fase de experimentação — “mal arranhando a superfície do potencial da IA”. E vários relatórios independentes mostram que é comum que os modelos de ML nunca cheguem à produção. Aliás, já escrevi um post sobre isso no Medium, “IA: a jornada do hype para a realidade…”, contendo vários links apontando os desafios de implementação de projetos de ML no ambiente de produção. No Medium também publiquei um post sobre uso específico em saúde, “IA em saúde: onde termina o hype e começa a realidade?”
Baseado na experiência prática em diversos projetos, desde os primeiros quando no final dos anos 80, participei da criação de um “expert systems” ainda em Lisp, até mais recentemente, nos últimos dez anos, em projetos de ML, e nas conversas e mentorias participando de startups de IA e conselhos de inovação de diversas empresas, penso que os principais desafios podem ser resumidos em:
a) Expectativas irrealistas e excessivamente ambiciosas para problemas de negócios mal definidos. Os sistemas de ML não resolvem todo e qualquer problema. São ferramentas que podem ser solução para alguns problemas. Esse artigo da Scientific American, “AI Isn’t a Solution to All Our Problems” mostra isso claramente. A realidade às vezes fica perdida entre o medo da IA (“não existirão mais radiologistas”) e o hype da IA (como Dall-E, GPT-3 e AlphaGo), mas a verdade é que os sistemas de ML, como toda e qualquer técnica de programação, tem suas limitações. Os decisores muitas vezes ignoram isso. Muitas vezes, não entendem o que a IA pode e não pode fazer por seus negócios e têm expectativas irreais.
Claro que a IA é uma tecnologia poderosa. Dá sentido a dados não estruturados e fornece insights que os humanos não percebem. Mas não é mágica. Os sistemas de ML dependem de modelagem matemática e suas soluções geralmente são probabilísticas. Hoje, as empresas usam IA restrita (“narrow AI”) que executa tarefas específicas, e estamos muito distantes de uma hipotética IA geral, do tipo que vemos em filmes de ficção científica. E mesmo grandes e ricas empresas de tecnologia caem na armadilha das expectativas inflacionadas. O caso do Watson Health é emblemático. O artigo “How IBM’s Watson Went From the Future of Health Care to Sold Off for Parts” mostra as causas mais prováveis da ambiciosa iniciativa ter fracassado. Uma boa lição para todas as empresas. O que aprendemos? Tenha um claro objetivo de negócios, seja racional e entenda as limitações da tecnologia. Os sistemas de ML podem aprimorar suas vendas automatizando a qualificação dos leads, mas não espere que eles gerenciem toda a sua operação de vendas sem humanos.
b) Dados. Os dados são fundamentais para qualquer projeto de IA. Naturalmente, então, um problema de dados é um problema de IA. Muitas vezes acreditamos que temos os dados necessários, só que quando vamos ver na prática, eles estão incompletos, alguns espúrios e outros simplesmente inexistentes. Um recente estudo “State of Data Report Emphasizes Emerging Shift to a Decentralized Model” revelou que uma empresa típica tem entre quatro e seis plataformas de dados separadas (enquanto algumas organizações ter até uma dúzia de plataformas de dados), dificultando a navegação nesse oceano de dados. O próprio relatório da IBM aponta que 20% das empresas não têm as ferramentas certas para encontrar e usar seus dados.
Uma má qualidade dos dados é mais comum de encontrar que se pensa. Um estudo da Juniper Networks, “AI adoption is accelerating — now what?” mostrou que apenas 35% das empresas consideram “padronizar, rotular e limpar” seus dados como uma prioridade.
Quando um modelo de ML é treinado com dados tendenciosos ou errados, esses dados distorcem o modelo e produzem resultados incorretos. Muitos projetos são cancelados antes de entrarem em produção ou logo após terem seu “go live” devido ao viés inerente ao conjunto de dados de treinamento utilizados, imprecisos suficientes para tornarem inútil o sistema.
Assim, antes de iniciar qualquer projeto de ML, pergunte a si mesmo pelo menos umas duas vezes: você tem realmente os dados que precisa? Sem um modelo de governança de dados, suportada por processos e uma infraestrutura adequada para coletar, armazenar, organizar e gerenciar dados, não vá em frente. E não pare nunca com a coleta e gerenciamento de dados. Certifique-se de ter os recursos para limpar, rotular e categorizar os dados para que seus algoritmos de ML possam usá-los. Lembre-se que o valor dos dados é a função = (volume, variedade, veracidade, acessibilidade).
c) Capacitação. O fundamental no uso de qualquer tecnologia é a disponibilidade de pessoal capacitado. Sem uma tripulação treinada um avião não decola. Não ter os cientistas de dados, engenheiros, desenvolvedores de ML e analistas de negócios certos é um dos principais desafios para as empresas desenvolverem seus projetos de IA. Mesmo organizações maduras no uso de ML enfrentam problemas para preencher sua demanda de talentos.
Um estudo da McKinsey, “Driving impact at scale from automation and AI”, mostrou um exemplo de contratações equivocadas. Ele descreve uma grande empresa financeira americana, que contratou 1.000 cientistas de dados, com média de US$ 250.000 por ano por profissional, para desenvolver projetos avançados de ML. Mas, as novas contratações não cumpriram o esperado. Descobriu-se que os novos contratados não eram tecnicamente cientistas de dados. Concluíram então que apenas uns 100 cientistas de dados de verdade, mas, devidamente alocados nas funções certas na estrutura organizacional apropriada, seriam suficientes. Contratação em massa, de forma descuidada gera muitas frustrações. Depois de identificar um caso de uso onde ML seja valioso para a empresa, identifique os talentos que serão necessários para trabalhar no projeto. De cientistas de dados a engenheiros de dados e analistas de negócios, todos os seus funcionários devem ter funções bem definidas e com objetivos claros a serem alcançados.
d) O approach de como desenvolver um projeto de ML. Uma causa significativa, mas muitas vezes esquecida, pela qual os projetos de ML falham é a abordagem adotada para seu desenvolvimento. As empresas geralmente cometem o erro de adotar uma abordagem típica de desenvolvimento de software para um projeto de ML.
Em um projeto tradicional de desenvolvimento de software, uma organização projeta, constrói, testa, implanta e opera aplicativos de software de determinísticos. Há certeza durante todo o processo sobre qual será o resultado. Mas os projetos de ML não funcionam dessa maneira. Eles são probabilísticos e você não tem 100% de certeza da veracidade dos resultados. São projetos que convivem com a incerteza ao longo de todo o caminho, e consequentemente atrasos e problemas inesperados aparecem. Mesmo após uma prova de conceito bem-sucedida e um piloto, um modelo de IA pode falhar ao entrar em produção, pois os dados com os quais irá lidar serão diferentes dos qual foi treinado.
Um sistema de ML é diferente de um sistema determinístico como um ERP. Esses últimos quando implementados e funcionando, você deixa quieto. Mas, ao contrário, um sistema de ML tende a degradar assim que entra em operação, pela mudança do cenário que gera os dados. Os executivos enfrentam então um grande dilema: continuar ou descontinuar o sistema? Ao constatar que o tempo e o custo envolvidos na identificação, coleta de dados, classificação e limpeza de dados, tudo em um contexto de incerteza persistente, vai ser contínuo, faz com que muitas empresas a encerrarem seus os projetos de IA antes mesmo que entrem em produção.
Em projetos de ML mude sua abordagem de desenvolvimento de software. O método tradicional de desenvolvimento de software determinístico não funciona para ML. É necessário adotar uma abordagem mais flexível para o desenvolvimento desses projetos. Projete, construa, teste e implante. Se o modelo falhar, corrija, itere e teste novamente. Mais importante ainda, mantenha seus melhores cientistas de dados no projeto mesmo após a implantação, porque a operacionalização real da IA só começa quando você tem um modelo bem-sucedido em produção.
Resumindo, comece com um projeto mínimo de ML que seja viável. Avalie seu valor comercial em termos de tempo, recursos, dinheiro e retorno do investimento. Escolha entre comprar e construir. Você precisará decidir se deseja fazer parceria com um provedor de serviços de ML ou desenvolver seus projetos internamente. Essa decisão depende do valor comercial do seu caso de uso de ML. Obtenha a equipe de profissionais adequada e capacitada, e garanta que ela esteja alinhada com suas equipes de negócios e seus objetivos estratégicos.
Coloque sua governança de dados em ordem. Comece com os dados necessários para seu caso de uso e escale à medida que evolua e dissemine a prática pela empresa.
Projete, construa, teste e coloque em produção. Implemente prazos, metas e métricas, entendendo que você pode vai naturalmente enfrentar atrasos e custos adicionais pelas próprias características de incerteza das técnicas de ML. Avalie o desempenho e o impacto dos sistemas de ML na organização e altere os modelos quando necessário. À medida que seu negócio e o projeto amadurecerem, avalie a sua disseminação pela empresa.
E tenha paciência. Os resultados nem sempre aparecem de imediato.
