O uso da inteligência artificial em cada vez mais tarefas cotidianas e impactando significativamente a vida de milhões de pessoas, trouxe muitas questões em relação à justiça, interpretação, privacidade e segurança dos modelos desenvolvidos.

Ainda não existe uma resposta completa e exata sobre todos esses problemas, até porque ainda não conhecemos o potencial total e aplicações que essas inteligências podem ter.

Com esse pensamento, a Google, em sua plataforma Google AI, compartilhou 6 práticas de inteligência artificial responsável utilizadas em seus desenvolvimentos. A plataforma também traz muitos recursos para compartilhar conhecimentos em relação à práticas responsáveis, como ferramentas, pesquisas e datasets.

As práticas de inteligência artificial responsável recomendadas podem ser atualizadas ou ainda criadas novas, à medida que o trabalho na Google se desenvolve.

Práticas de Inteligência Artificial Responsável

Use uma abordagem de design centrada no ser humano

O impacto das predições ou recomendações oferecidas pela IA é influenciado pela forma como o usuário recebe essas informações. Por isso, priorizar a experiência do usuário, buscando clareza e controle por parte do utilizados.

Como uma boa prática de inteligência artificial responsável, peça feedback durante as fases de teste e conheça os diferentes usuários e casos de uso.

Selecione várias métricas para avaliar o treinamento e o monitoramento

O uso de métricas diferentes ajuda a entender compensações entre os diferentes tipos de erros e experiências, sendo uma prática de inteligência artificial responsável muito importante.

Considere métricas incluindo feedback de pesquisas de usuários, avaliação do desempenho geral do sistema e o estado do produto de curto e longo prazo, além de taxas de falsos positivos e falsos negativos divididos em diferentes subgrupos.

Certifique-se de que suas métricas sejam apropriadas para o contexto e objetivos de seu sistema. Por exemplo, um sistema de alarme de incêndio deve ter alta recall, mesmo que isso signifique o alarme falso ocasional.

Quando possível, examine diretamente seus dados brutos

Os modelos de ML refletirão os dados nos quais eles são treinados, portanto, uma prática de inteligência artificial responsável é a analise cuidadosa de dados brutos, para garantir que você os compreenda totalmente.

Nos casos em que isso não for possível, por exemplo, com dados brutos confidenciais, entenda seus dados de entrada tanto quanto possível, respeitando a privacidade.

Olha a governança de dados aí!

Algumas questões a serem analisadas:

• Seus dados contêm algum erro (por exemplo, valores ausentes, rótulos incorretos)? Seus dados são amostrados de uma maneira que representa seus usuários (por exemplo, serão usados ​​para todas as idades, mas você só tem dados de treinamento de idosos) e a configuração do mundo real (por exemplo, será usado durante todo o ano, mas apenas você tem dados de treinamento do verão)? Os dados são precisos?
• A diferença entre desempenho durante o treinamento e desempenho em produção é outro desafio. Durante o treinamento, tente identificar possíveis distorções e trabalhe para solucioná-las.
• Há alguma variável em seu modelo redundante ou desnecessário? Priorize o modelo mais simples que atenda às suas metas de desempenho.
• Para sistemas supervisionados, considere a relação entre os rótulos de dados que você possui e os itens que está tentando prever. Se você estiver usando um rótulo de dados X para prever um rótulo Y, em quais casos a lacuna entre X e Y é problemática?
• Cuidado com vieses!

Entenda as limitações do seu dataset e do seu modelo para uma prática de inteligência artificial responsável

Cada modelo tem suas especificações e objetivos, e podem não funcionar corretamente quando utilizados para outras situações. CONHEÇA SEUS DADOS!

Ainda, os modelos são em grande parte um reflexo dos padrões dos dados de treinamento. Portanto, é importante comunicar o escopo e o conteúdo do treinamento, esclarecendo assim a capacidade e as limitações dos modelos e da base de dados.

Ao educar melhor o usuário, você também pode melhorar o feedback fornecido pelos usuários sobre seu recurso ou aplicativo.

Exemplos:

• Um detector de sapatos treinado com fotos de estoque pode funcionar melhor com fotos de estoque, mas tem capacidade limitada quando testado com fotos de celular geradas pelo usuário.
• Um aplicativo que usa ML para reconhecer espécies específicas de pássaros pode comunicar que o modelo foi treinado em um pequeno conjunto de imagens de uma região específica do mundo.

Teste, teste, teste

Realize testes pra avaliar cada componente do sistema isoladamente e testes de integração para entender como os componentes individuais de ML interagem com outras partes do sistema geral. Essa é uma prática para inteligência artificial responsável essencial para todos os tipos de projeto.

Use um dataset padrão para testar o sistema e garantir que ele continue a se comportar conforme o esperado, e atualize-o regularmente de acordo com a mudança de usuários ou casos de uso e para reduzir o “vazamento” de dados (data leakage).

Conduza testes de usuário iterativos para incorporar um conjunto diversificado de necessidades dos usuários nos ciclos de desenvolvimento.

Aplique o princípio de engenharia de qualidade de poka-yoke: construa verificações de qualidade em um sistema, de modo que as falhas não intencionais não possam acontecer ou acionar uma resposta imediata (por exemplo, se um recurso importante estiver ausente inesperadamente, o sistema de IA não produzirá uma previsão).

Continue a monitorar e atualizar o sistema após a implantação em produção para garantir a prática de inteligência artificial responsável

O monitoramento contínuo garantirá que seu modelo leve em consideração o desempenho do mundo real e o feedback do usuário.

Considere soluções de curto e longo prazo para os problemas. Uma solução simples pode ajudar a resolver um problema rapidamente, mas pode não ser a solução ideal a longo prazo.

Antes de atualizar um modelo implantado, analise como os modelos candidatos e implantados diferem e como a atualização afetará a qualidade geral do sistema e a experiência do usuário e se haverá algum impacto no processo atual.

Baseado em: Google AI