Começar qualquer serviço de onde alguém parou é muito difícil. Isso porque nunca descrevemos completamente o design experimental e os detalhes. No cenário de inteligência artificial (IA), essa questão de reprodutibilidade e avanço em função de onde outra pesquisa parou tem sido um problema.

Caixa preta da IA

Na cena de publicações em IA, é de se surpreender quando há
relatos de detalhes básicos sobre como um sistema foi construído. Isso acontece
predominantemente porque certos dados constituem propriedade intelectual, em
especial quando são pesquisas associadas à indústria. A questão é que, há uma
década, avanços na área eram mais direcionados, porque bastava ver o que um
pesquisador mudou e melhorar seus resultados. No caso das redes neurais,
contudo, essa melhoria envolve ajustar milhares de pequenos botões, por assim
dizer, de forma que melhorar o modelo requer um grande número de experimentos
e, portanto, recursos.

As redes neurais, a técnica que nos deu uma porção de
ferramentas inimagináveis antigamente, são frequentemente entendidas como uma
caixa preta por causa dos mistérios de como elas funcionam. Conseguir que tenham
um bom desempenho pode ser como uma arte, envolvendo ajustes sutis que não são
relatados nas publicações. Além disso, há uma tendência natural de que as redes
se tornem maiores e mais complexas, com enormes conjuntos de dados e matrizes
de computação maciças que tornam caro replicar e estudar esses modelos, se não
impossível para todos, exceto os laboratórios com mais dinheiro, com o perdão
da sinceridade. Isso exclui alguns institutos de fazer ciência competitiva e
também prejudica a disseminação de recursos de tecnologia, segregando-os apenas
a alguns privilegiados.

O que fazer para superar essa dificuldade em reproduzir e
propagar experimentos?

A presidente de uma importante conferência da área de inteligência artificial, Joelle Pineau, por meio de uma alteração nos requisitos de participação do evento, está tentando intervir na crise de reprodutibilidade. O congresso em questão é o NeurIPS, onde são divulgados documentos e descobertas da área, e agora conta com a exigência de preenchimento de uma checklist que menciona itens que vem sendo omitidos nos trabalhos. Por exemplo, lá o autor ou desenvolvedor deve mencionar o número de modelos treinados antes da seleção do “melhor”, o potencial de computação usado e links que disponibilizem os códigos e os datasets. Isso não polui o paper, mas também fornece a clareza científica que o campo requer.

Outros também estão atacando o problema. Pesquisadores do Google propuseram "card models” para detalhar como os sistemas de aprendizado de máquina foram testados, incluindo resultados que apontam potencial viés. (Você pode ver sobre a importância de eventos e publicações neste vídeo e artigo, respectivamente).

Esse tipo de exigência é uma mudança bastante revolucionária
para uma área em que o prestígio costuma estar associado a rankings. Agora, há
um incentivo para que seja exposto o processo até obtenção de cada posição,
isto é, um roteiro.

A importância da reprodutibilidade em IA

A questão da reprodutibilidade é algo que deve ser tratado em todas as ciências, de maneira que haja clareza, abertura e divulgação devida dos dados. Uma coisa é o deslumbramento que a gente fica com um gerador de texto super eloquente, ou então com um robô com reflexos melhores do que os humanos. Mas a questão da caixa preta da IA é que, mesmo profissionais da área podem ter dúvidas sobre os procedimentos e caminhos para chegar ao mesmo produto. O vulgo código que funciona por acidente.

Vale ressaltar que a replicação desses modelos de inteligência
artificial é importante não apenas para identificar novos caminhos de pesquisa,
mas também como uma maneira de investigar algoritmos à medida que aumentam e se
tornam mais complexos. Isso, principalmente, porque modelos de IA sendo
desenvolvidos com o objetivo de reconhecer padrões tal que suplantem decisões
humanas, desde, por exemplo, quem fica na cadeia, até quanto tempo pode ser
disponibilizado para você pagar um financiamento.

Convém, então, ter uma garantia de que os desenvolvedores foram assertivos no caminho, né?

Fonte: Wired.

Kamila Jessie

Doutora em Hidráulica e Saneamento pela Universidade de São Paulo (EESC/USP) e Mestre em Ciências pela mesma instituição; é formada em Engenharia Ambiental e Sanitária pelo Centro Federal de Educação Tecnológica de Minas Gerais (CEFET-MG) com período sanduíche na University of Ottawa, no Canadá; possui experiência em tratamentos físico-químicos de água e efluentes; atualmente, integra o Centro de Pesquisa em Óptica e Fotônica (CePOF) do Instituto de Física de São Carlos (USP), onde realiza estágio pós-doutoral no Biophotonics Lab.