A IA pode ajudar a resolver a desigualdade — se as empresas ganharem a confiança dos usuários

Airbnb construyó un algoritmo para cerrar la brecha de ganancias entre los anfitriones en blanco y negro. Pero los anfitriones negros fueron significativamente menos propensos a usarlo.
A IA pode ajudar a resolver a desigualdade — se as empresas ganharem a confiança dos usuários
A IA pode ajudar a resolver a desigualdade — se as empresas ganharem a confiança dos usuários

Resumen:

Embora as empresas possam gastar muito tempo testando modelos antes do lançamento, muitas passam muito pouco tempo considerando como funcionarão em estado selvagem. Em particular, eles não consideram totalmente como as taxas de adoção podem distorr a intenção dos desenvolvedores. Por exemplo, o Airbnb lançou um algoritmo de preços para fechar a lacuna de ganhos entre anfitriões pretos e brancos. Embora o algoritmo tenha reduzido a disparidade econômica entre os adotantes em 71,3%, os anfitriões negros tinham 41% menos probabilidade de usá-lo e, em muitos casos, aumentou a diferença de ganhos. A empresa precisava considerar melhor como o algoritmo seria percebido e abordar isso em seu lançamento para incentivar seu público-alvo, Black hosts, a confiar nele. Isso apresenta duas lições para as empresas: considere como uma ferramenta algorítmica será percebida e crie um plano direcionado para construir confiança.


Previsões otimistas sugerem que a inteligência artificial (IA) pode contribuir até US$15,7 trilhões para a economia global até 2030. De carros autônomos a aprovações de hipotecas mais rápidas e decisões de publicidade automatizadas, os algoritmos de IA prometem inúmeros benefícios para as empresas e seus clientes.

Infelizmente, esses benefícios podem não ser desfrutados igualmente. O viés algorítmico — quando os algoritmos produzem resultados discriminatórios contra certas categorias de indivíduos, tipicamente minorias e mulheres — também pode piorar as desigualdades sociais existentes, particularmente quando se trata de raça e gênero. Do algoritmo de previsão de reincidência usado em tribunais para o algoritmo de previsão de cuidados médicos utilizados por hospitais, estudos encontraram evidências de vieses algorítmicos que pioram as disparidades raciais para os impactados, e não melhores.

Muitas empresas têm feito um esforço considerável para combater o viés algorítmico em sua gestão e serviços. Eles costumam usar abordagens orientadas pela ciência de dados para investigar quais serão as previsões de um algoritmo antes de lançá-lo no mundo. Isso pode incluir examinar diferentes especificações do modelo de IA, especificar a função objetivo que o modelo deve minimizar, selecionar os dados de entrada a serem implantados no modelo, pré-processar os dados e fazer previsões do modelo de pós-processamento.

No entanto, o resultado final da implantação de um algoritmo depende não apenas das previsões do algoritmo, mas também de como ele será usado por empresas e clientes – e esse contexto crítico de receptividade e adoção de algoritmos é frequentemente esquecido. Argumentamos que a implantação do algoritmo deve considerar as condições de mercado sob as quais o algoritmo é usado. Tais condições de mercado podem afetar o que/quem e até que ponto as decisões do algoritmo afetarão e, portanto, influenciarão os benefícios realizados para os usuários do uso do algoritmo.

Por exemplo, para ajudar seus anfitriões a maximizar sua renda (ou seja, receita imobiliária), o Airbnb lançou uma ferramenta de precificação inteligente baseada em algoritmo de IA que ajusta automaticamente o preço diário de um anúncio. Os anfitriões do Airbnb têm informações muito limitadas sobre propriedades concorrentes do Airbnb, tarifas de hotéis, sazonalidade e vários outros choques de demanda que eles podem usar para precificar corretamente suas propriedades. O algoritmo de precificação inteligente foi criado para ajudar com isso, incorporando informações relevantes sobre características de host, propriedade e bairro das enormes fontes de informações da empresa para determinar o melhor preço para uma propriedade. Em nosso estudo publicado recentemente, a receita média diária dos anfitriões que adotaram preços inteligentes aumentou 8,6%. No entanto, após o lançamento do algoritmo, a diferença de receita racial aumentou (ou seja, os anfitriões brancos ganharam mais) no nível da população, o que inclui adotantes e não adotantes, porque os hosts negros eram significativamente menos propensos a adotar o algoritmo do que os hosts brancos.

Em testes, a ferramenta fez exatamente o que era suposto. Descobrimos que era perfeitamente cego, pois os preços de listagens semelhantes foram reduzidos no mesmo valor, independentemente da corrida do anfitrião. O algoritmo melhorou a receita para hosts negros mais do que para hosts brancos. Isso ocorre porque a curva de demanda de propriedades para hosts pretos era mais elástica (ou seja, mais responsiva às mudanças de preço) do que a curva de demanda para propriedades equivalentes pertencentes a hosts brancos. Como a redução de preço foi a mesma, o número de reservas aumentou mais para anfitriões negros do que para brancos, levando a um aumento maior na receita para anfitriões negros do que para anfitriões brancos. Do ponto de vista da ciência de dados, teve uma implantação perfeita: Este algoritmo bem-intencionado para cegos de raça teve como objetivo fornecer benefícios financeiros, melhorando a receita de todos os adotantes e oferecer benefícios sociais, reduzindo a lacuna de receita racial entre os adotantes.

No mundo real, no entanto, era uma história diferente. O lançamento do algoritmo acabou se ampliando em vez de estreitar a disparidade racial no Airbnb. Essa consequência não intencional poderia ter sido evitada pela internalização das condições do mercado durante a implantação do algoritmo.

Determinamos que as empresas devem considerar as seguintes condições de mercado durante a criação do algoritmo de IA: 1) a receptividade dos usuários-alvo a um algoritmo de IA, 2) as reações dos consumidores às previsões do algoritmo e 3) se o algoritmo deve ser regulado para lidar com as desigualdades raciais e econômicas por incorporando o comportamento estratégico das empresas no desenvolvimento do algoritmo. O Airbnb, por exemplo, deveria ter perguntado: 1) Como os anfitriões do Airbnb reagirão (mais especificamente, adotar) o algoritmo? e 2) Como os anfitriões negros podem ser incentivados a adotá-lo? Essas condições de mercado determinam o resultado final do mercado (por exemplo, preço do produto, demanda de propriedade, benefícios para os usuários) da aplicação de um algoritmo de IA e, portanto, devem ser analisadas e consideradas antecipadamente.

Como um algoritmo será percebido pelos usuários-alvo?

O algoritmo de preços inteligentes do Airbnb aumentou a receita diária de todos que o usaram. Os anfitriões brancos tiveram um aumento de US $5,20 por dia, e os anfitriões negros tiveram um aumento de US $13,9. O novo preço reduziu a disparidade econômica entre os adotantes em 71,3%.

No entanto, como os hosts pretos tinham 41% menos probabilidade do que os hosts brancos de adotar o algoritmo, o resultado da introdução do algoritmo não foi muito satisfatório. Para hosts negros que não usaram o algoritmo, a diferença de ganhos na verdade aumentado. Isso leva à seguinte pergunta: Se você é o CEO de uma empresa que deseja erradicar a desigualdade racial e recebe um relatório de algoritmo desse tipo, o que você espera semear na equipe de gerenciamento de ciência e engenharia?

Para abordar a baixa receptividade dos anfitriões negros à nova ferramenta, o Airbnb poderia incentivar os anfitriões negros a adotar o algoritmo, por exemplo, recompensando os usuários negros que experimentam ou compartilhando uma descrição detalhada e evidências dos benefícios do uso do algoritmo. Também descobrimos que a lacuna de adoção racial foi mais significativa entre os hospedeiros com baixo nível socioeconômico (SES), portanto, segmentar hospedeiros negros nos quartis mais baixos do SES seria mais eficiente.

Para fazer isso, no entanto, é essencial entender por que as pessoas estão hesitantes em primeiro lugar. Existem muitas razões pelas quais as pessoas podem não ser receptivas a entregar o controle a um algoritmo. Por exemplo, educação e renda têm foi encontrado para explicar uma barreira de adoção de alta tecnologia para usuários negros, especialmente quando o uso da tecnologia é (financeiramente) caro. Mesmo que a tecnologia seja oferecida gratuitamente (por exemplo, o algoritmo de preços inteligentes do Airbnb), a confiança também desempenha um papel significativo: Um documento de trabalho (Shunyuan Zhang em coautoria com Yang Yang) indicou que aumentar a conscientização sobre o preconceito racial tornaria os grupos desfavorecidos menos confiáveis e mais hesitantes em adotar algoritmos em geral, incluindo os cegos de raça que oferecem benefícios financeiros, de saúde ou educação aos usuários.

Em conversas com uma empresa de comércio eletrônico focada em itens usados, os autores do estudo descobriram que apenas 20% dos vendedores usavam a ferramenta de precificação gratuita oferecida pela empresa, tornando os preços ineficientes e as vendas lentas. Uma pesquisa preliminar sugeriu que os vendedores podem superestimar o valor de seus itens usados e podem não estar dispostos a aceitar sugestões de preços previstos por algoritmos; isso é chamado de efeito de doação. Por exemplo, imagine que um vendedor liste um vestido de segunda mão que ele acredita valer US $15, mas o algoritmo de preços, que foi treinado em um enorme conjunto de dados e modelos, sugere US $10, e o vendedor reage negativamente. Em resposta a reações como essa, a empresa poderia explicar ao vendedor como a sugestão de US$10 foi feita e apresentar itens semelhantes com preços e vendidos a US$10. Fornecer essa explicação aumenta a transparência das operações comerciais e aumenta a confiança do cliente.

Simplificando, ao incorporar diferenças na adoção de algoritmos de IA entre grupos raciais, as empresas devem personalizar seus esforços de promoção de algoritmos e tentar abordar as preocupações dos usuários que mais desejam adotá-lo.

Como os consumidores reagirão aos efeitos de um algoritmo de IA?

É um erro ver os algoritmos de IA meramente como modelos que produzem decisões e impactam as pessoas que recebem essas decisões. O impacto ocorre nos dois sentidos: como os consumidores (ou seja, os destinatários da decisão) reagem às decisões de IA moldará o efeito do algoritmo nos resultados do mercado.

O algoritmo de preços inteligentes do Airbnb é um bom exemplo desse fenômeno. Suponha que você seja o CEO do Airbnb e esteja relatando o algoritmo desenvolvido por sua empresa em uma Audiência do Comitê da Câmara sobre IA equitativa. Você pode estar feliz que seu algoritmo, condicional à adoção, poderia combater a desigualdade racial. No entanto, você poderia fazer mais para mitigar a disparidade racial. Você deve considerar as seguintes condições-chave de marketing: 1) Hosts preto e branco podem enfrentar diferentes curvas de demanda e 2) Hosts pretos são menos representados nos dados usados para treinar o algoritmo de IA. Especificamente, a curva de demanda para as propriedades dos hosts pretos era mais elástica do que para propriedades semelhantes pertencentes a hosts brancos. Diferentes curvas de demanda podem surgir da discriminação social, o que leva os hóspedes a serem mais sensíveis aos preços das propriedades de propriedade de negros do que às de propriedade de brancos.

Como os hóspedes responderam mais às reduções de preços das propriedades pertencentes a negros, incorporar essa condição de mercado ao implantar um algoritmo de IA é fundamental. Você pode reduzir ainda mais a diferença de receita entre hosts preto e branco usando diretamente raça ou indiretamente incluindo características estreitas ou correlacionadas no algoritmo. Ignorar as diferenças inerentes nas condições de mercado pode levar a sugestões de preços que estão mais distantes dos preços ideais para hosts negros do que dos preços ideais para hosts brancos. Isso ocorre porque os anfitriões negros representam apenas 9% das propriedades do Airbnb, enquanto os anfitriões brancos representam 80%. 

O que as empresas devem fazer?

Se você estiver em uma força-tarefa de ações de IA no nível corporativo ou governamental, o que você deve fazer ao considerar como implantar um algoritmo destinado a mitigar disparidades raciais? Se você esboçasse o ecossistema do algoritmo focal, quem seriam os criadores, os usuários-alvo e os receptores de decisão do algoritmo? Como eles reagiriam ao algoritmo e como suas reações impactariam o resultado final do algoritmo?

Primeiro, considere realmente como o algoritmo será percebido pelos usuários-alvo. Isso moldará o desempenho no mundo real. Pergunte se os usuários estão cientes (ou podem ser informados) de como o algoritmo funciona. Se eles souberem que sua empresa está implantando um novo algoritmo destinado a lidar com uma desigualdade, como eles reagirão? Se usuários sub-representados se sentirem pressionados ou acharem que o algoritmo pode ser tendencioso contra eles, eles serão menos propensos a usá-lo. Leve em consideração como a discriminação histórica e os problemas recentes com sub-representação em conjuntos de dados podem tornar seus usuários-alvo céticos (por exemplo, indiscutivelmente preocupações bem fundamentadas na área da saúde pode impulsionar a desigualdade na vacinação contra Covid-19).

Segundo, concentre-se em construir confiança e ajudar os usuários a entender O quê o algoritmo é feito para fazer e como funciona. Se a adoção do algoritmo for opcional (como no caso do Airbnb), esse processo de considerar se os usuários – especialmente usuários de grupos sub-representados – entenderão, confiarão e adotarão o algoritmo é ainda mais importante. Comunicar-se claramente com eles sobre o propósito de introduzir o algoritmo e como ele funciona, bem como incentivá-los a usar o algoritmo, especialmente quando ele é mais eficaz para grupos minoritários ou baseados em gênero, é importante. Faça com que a explicação de como a iniciativa foi lançada para reduzir as desigualdades raciais – e como ela o fará – parte de sua estratégia de implantação.

***

Devido à escalabilidade e ao valor das previsões precisas, as empresas implantarão e aplicarão cada vez mais algoritmos em suas operações e serviços — e a adoção provavelmente só aumentará. Mas as empresas precisam abordar as preocupações de que os algoritmos possam produzir resultados tendenciosos contra os grupos desfavorecidos. Infelizmente, as abordagens comuns orientadas pela ciência de dados, incluindo processamento de dados e calibração de especificações do modelo, são insuficientes e ineficientes. Para que as empresas combatam melhor os problemas de viés algorítmico, considerar a percepção e a adoção de algoritmos e as condições de mercado, como as que descrevemos, deve ser uma parte importante da implantação de ferramentas algorítmicas.

Feitas corretamente, essas ferramentas podem mitigar os preconceitos humanos e colmatar as consequências econômicas decorrentes deles. Feito de forma errada, apenas por alguns algoritmos de empresas estabelecidas, pode prejudicar e retardar completamente a implantação do algoritmo de IA.


  • SZ
    Shunyuan Zhang is an assistant professor in the Marketing unit at Harvard Business School. She conducts analyses of structured and unstructured data generated by new sharing economy platforms to address important issues emerging in the sharing economy. Her recent research interests include studying economic implications of algorithm predictions and algorithmic bias on individual’s receptivity of algorithms, equity across heterogeneous users, and platform competitions.

  • KS
    Kannan Srinivasan is H.J. Heinz II Professor of Management, Marketing and Business Technologies at the Tepper School of Business, Carnegie Mellon University. Previously, he taught at the business schools at Stanford and The University of Chicago. He has worked on quantifying the economic value of unstructured data (including text and images) combining deep learning and econometric methods. Recently, he has been working in areas such as scalability of crypto currency, the sharing economy, algorithm bias in artificial intelligence and beneficial effects of ad-blockers.

  • PS
    Param Vir Singh is the Carnegie Bosch professor of Business Technologies and Marketing at the Tepper School of Business, Carnegie Mellon University. Professor Singh’s recent research focuses on artificial intelligence and the economic implications of algorithmic bias, transparency, and interpretability to businesses and society. His work has appeared in Marketing Science, Management Science, Information Systems Research, and Organization Science. He is a Senior Editor at Information Systems Research and an Associate Editor at Management Science.

  • NM
    Nitin Mehta is a Professor of Marketing, and the Area Coordinator of Marketing. His research focuses on structural models of consumer search, multi-category choices, imperfect recall and learning, consumers’ healthcare decisions, adoption of AI by firms and consumers, and the societal impact of AI. Nitin has taught the core MBA marketing course for many years, and is currently teaching Pricing and Analytics for Marketing Strategy, He is currently serving as the Associate Editor at Marketing Science and IJRM.
  • Related Posts