Karen Yeung é professora de Direito, Ética e Informática da University of Birmingham e pesquisa políticas tecnológicas e governança da inteligência artificial. É uma das organizadoras dos livros Algorithmic Regulation (2019) e The Oxford Handbook of Law, Regulation and Technology (2017).
Alguns de seus artigos e capítulos de livros abordam Big Data como modo de regulação pelo design, governança de IA centrada nos direitos humanos e regulação por blockchain. É coordenadora do projeto de pesquisa “Decidindo sobre, por e junto com sistemas de decisão a partir de algoritmos” e foi uma das pesquisadoras envolvidas em relatório sobre gerenciamento e uso de dados da British Academy e da Royal Society.
Em entrevista à DigiLabour, Yeung explica aspectos de regulação e accountabilty algorítmica.
DIGILABOUR: O que é regulação algorítmica?
KAREN YEUNG: Embora o termo “regulação algorítmica” tenha sido popularizado pelo empresário do Vale do Silício Tim O’Reilly em 2013, a ideia de que algoritmos computacionais podem ser compreendidos como uma forma de ordenação social foi proposta há algum tempo pela socióloga Annesh Aneesh em 2009, no contexto de uma etnografia em que buscou entender como os trabalhadores indianos prestavam serviços de TI a uma empresa dos Estados Unidos. Em um artigo que escrevi sobre o assunto, uso o termo “regulação algorítmica” para me referir a sistemas de governança regulatória que tomam decisões com base em algoritmos , em que a “tomada de decisão algorítmica” se refere ao uso de sistemas de conhecimento gerados por algoritmos para executar ou informar decisões. Para esse fim, adotei uma visão ampla dos termos “regulação” e “governança regulatória”, referindo-me a tentativas intencionais de gerenciar riscos ou alterar comportamentos, a fim de alcançar algum objetivo pré-definido. Consequentemente, como a regulação também é adotada por atores e entidades estatais e não estatais, o mesmo ocorre com a regulação algorítmica. Por exemplo, o Facebook regula o comportamento de postagens e visualizações dos usuários por meio de sistemas de tomada de decisão baseados em algoritmos a fim de otimizar os retornos para a empresa, da mesma forma que uma autoridade da área de transporte público pode regular o movimento dos veículos para otimizar o fluxo de tráfego. Ao mesmo tempo, o tamanho da “população” regulada pode se referir às ações intencionais de uma pessoa que adota algum sistema ou estratégia para regular algum aspecto de seu próprio comportamento (como uma pessoa que usa um dispositivo de rastreamento de exercícios físicos para ajudá-la garantir que atinja um nível mínimo de atividade física diária), por meio de sistemas regulatórios que buscam direcionar e influenciar o comportamento de um grande número de pessoas ou entidades (como os sistemas algorítmicos empregados pela Uber para permitir que os motoristas ofereçam serviços de transporte de veículos a indivíduos a partir de uma taxa pré-definida, sem que haja nenhum relacionamento anterior). A crítica a todos esses sistemas relaciona-se à necessidade de algum tipo de “diretor” (ou “regulador”) do sistema que determine a meta do sistema regulatório, uma vez que a regulação é, acima de tudo, uma atividade intencional direcionada à consecução de uma meta pré-definida, frequentemente procurando efetuar a modificação de comportamentos (de outras pessoas, fenômenos ou coisas). Por isso, eu proponho uma definição formal de regulação algorítmica para me referir aos sistemas de tomada de decisão que regulam um domínio de atividade no sentido de gerenciar riscos ou alterar comportamentos por meio de uma contínua geração computacional de conhecimento a partir de dados diretamente coletados e emitidos (em tempo real de forma contínua) de vários componentes dinâmicos pertencentes ao ambiente regulado, a fim de identificar e, se necessário, refinar automaticamente (ou refinar rapidamente) as operações do sistema para atingir uma meta pré-definida.
DIGILABOUR: Como pensar as dimensões e formas da regulação algorítmica em uma perspectiva interdisciplinar?
YEUNG: Há muitas maneiras pelas quais alguém pode tentar classificar diferentes “formas” de regulação algorítmica, dependendo dos objetivos da construção de um esquema de classificação. Uma forma que sugiro poder ser útil para refletir sobre as capacidades e os desafios normativos gerados por esses sistemas ao distinguir amplamente sistemas reativos (que acionam uma resposta automatizada com base na análise algorítmica de dados históricos) dos sistemas preventivos (que agem preventivamente com base na avaliação algorítmica de dados históricos para inferir previsões sobre o comportamento futuro). No entanto, uma abordagem mais refinada pode ser adotada por meio da compreensão da regulação como um processo cibernético que envolve os três componentes principais de qualquer sistema de controle: modos de estabelecer padrões, metas ou alvos (“configuração padrão”), modos de coletar informações (“coleta de informações”) e modos de impor esses padrões, uma vez que o desvio é identificado no sentido de alterar os comportamentos, de forma a atender aos padrões necessários (“aplicação e modificação de comportamento”). Assim, várias formas de regulação algorítmica podem ser identificadas. A taxonomia que proponho no artigo mencionado acima identifica duas configurações alternativas para cada componente, gerando um total de oito formas diferentes. Mais informações no artigo Algorithmic regulation: a critical interrogation.
DIGILABOUR: O que é accountability algorítmica?
YEUNG: Essa é uma expressão ampla usada em debates e discussões sobre o poder dos sistemas de tomada de decisão baseados em algoritmos e a importância de garantir que eles estejam sujeitos a mecanismos legítimos e eficazes de supervisão para garantir que esse poder não seja usado de maneira abusiva ou exploradora, e a necessidade de garantir que aqueles que exercem esse poder assumam a responsabilidade pelas consequências das tomadas de decisão. O desafio de garantir a accountability algorítmica é particularmente difícil, dado o caráter dos algoritmos como “caixas-pretas” opacas e inescrutáveis, devido aos sofisticados processos computacionais nos quais eles estão baseados e a sua proteção contra a divulgação desses processos como segredos comerciais, ainda que sejam capazes de exercer poder a partir de tomadas de decisão com muitas consequências. Como explica Dawn Oliver, pesquisador de Direito Constitucional, “accountability relaciona-se à exigência de uma pessoa explicar e justificar – com base em critérios de algum tipo – suas decisões ou atos, depois reparando as falhas ou erros”. O atendimento ao requisito da capacidade de explicação é particularmente importante para processos de decisão que dependem de algoritmos de aprendizado de máquina, porque são baseados em padrões e correlações entre pontos de dados, em vez de uma causalidade ou teoria explicativa do comportamento, e são continuamente reconfigurados à luz de informações passadas e dados de output. No entanto, nas sociedades democráticas liberais, não apenas os indivíduos são considerados moralmente aptos às razões das decisões que os afetam adversamente, por mais imperfeitamente protegidos por uma questão de lei. Uma sociedade liberal aspira a ser uma ordem transparente, na medida em que seu funcionamento e seus princípios devem ser bem conhecidos e disponíveis para apreensão e escrutínio público, apoiando-se em um compromisso duradouro (geralmente expresso na ideia de um contrato social) de que a ordem social deve ser aquela que possa ser justificada para aqueles que vivem sob ela. Mas isso não significa que os valores de transparência e accountability devam necessariamente superar o valor da eficiência, mas apenas que essas compensações de valor devem ser debatidas abertamente em vez de simplesmente resolvidas em favor da eficiência por decreto tecnológico. Essa compreensão sobre accountability algorítmica enfatiza que é uma obrigação da parte dos que exercem poder algorítmico: não é apenas o suficiente para aqueles que exercem poder algorítmico afirmar que tentarão voluntariamente ser transparentes como uma questão de escolha voluntária. A accountability algorítmica significativa e eficaz exige que insistamos, por uma questão legal, que o poder algorítmico esteja sujeito a mecanismos de supervisão legal apropriados que sejam aplicados devidamente e de forma significativa.
DIGILABOUR: Você fala em três tipos de preocupações relacionadas aos sistemas de tomadas de decisão baseados em algoritmos, relacionadas ao processo de tomada de decisão, aos resultados do processo e à personalização preditiva dos serviços. Quais exemplos você poderia nos dar?
YEUNG: Eu agrupo uma série de preocupações que surgem quando as decisões são tomadas por máquinas, e não por humanos. Elas são, de um modo geral, associadas com o processo de tomada de decisão, os resultados do processo e a personalização preditiva dos serviços. O primeiro refere-se a preocupações que surgem principalmente em conexão com o processo de decisão, não com o conteúdo ou o resultado da decisão. Isso inclui aspectos como: o fato de nenhum ator humano ser capaz de assumir a responsabilidade pela decisão, a falta de participação devido ao processo ou oportunidades de contestação, as variáveis de input ou algoritmos ilegais ou discriminatórios, transparência e fundamentação, tomada de decisão desumanizada. O segundo refere-se a preocupações sobre o conteúdo ou resultado gerado pelos sistemas de tomada de decisão com base em algoritmos, como decisões errôneas ou imprecisas, resultados tendenciosos, discriminatórios e injustos, imitações de traços humanos e respostas afetivas. O terceiro refere-se a preocupações que surgem do crescente uso de sistemas de tomada de decisão com base em algoritmos que dependem da coleta e mineração em tempo real de dados pessoais coletados a partir dos rastros digitais de comportamentos cotidianos de indivíduos a fim de fornecer serviços “personalizados” a usuários individuais, normalmente de forma preditiva. Exemplos conhecidos incluem mecanismos algorítmicos de recomendação de produtos de consumo, como os fornecidos pela Amazon, o feed de notícias do Facebook e o sistema “Next Next” empregado pelo YouTube. Isso levanta várias preocupações, incluindo: 1) a possibilidade de manipulação digital, decorrente da maneira poderosa, sutil e tipicamente subliminar pela qual esses sistemas operam por meio de técnicas que buscam explorar a tendência sistemática dos indivíduos a confiar em heurísticas cognitivas ou atalhos mentais na tomada de decisões, em vez de chegar a elas por meio de deliberação consciente e reflexiva; 2) a maneira pela qual esses sistemas podem ser configurados no sentido de promover comportamentos viciantes, projetados para otimizar o engajamento do usuário de maneiras que não são normalmente de interesse dos usuários no longo prazo, oferecendo distrações envolventes intermináveis, desviando sua atenção de seus próprios objetivos e projetos pessoais; e 3) a dependência desses serviços, o rastreamento contínuo de dados comportamentais altamente granulares coletados das pessoas, que podem revelar (com alto grau de precisão) informações muito íntimas sobre nós, incluindo gênero, orientação sexual, religião, crenças políticas, etnia e assim por diante, às quais apenas grandes instituições poderosas têm acesso, gerando riscos de que essas informações possam ser usadas contra nós de maneiras difíceis (se não impossíveis) de detectar.
DIGILABOUR: Como relacionar a regulação algorítmica ao mundo do trabalho?
YEUNG: O uso de plataformas digitais para intermediar a oferta e a demanda de trabalho humano em tempo real, a curto prazo, por meio da dependência de sistemas de otimização algorítmica, pode ser entendido como o uso de técnicas regulatórias algorítmicas aplicadas ao fornecimento de trabalho humano. Isso representa uma continuação de um impulso rumo à mercantilização do trabalho humano, no qual as necessidades dos indivíduos por segurança, estabilidade e continuidade na gestão de suas vidas cotidianas são consideradas irrelevantes para o processo que combina, algoritmicamente, a assistência humana para executar tarefas específicas com as pessoas que se inscrevem nas plataformas para a realização de tarefas nos termos determinados por algoritmos.