A IA está espalhando estereótipos antigos para novos idiomas e culturas

Então, existem os dados de treinamento. Depois, há o ajuste fino e a avaliação. Os dados de treinamento podem conter todos os tipos de estereótipos realmente problemáticos entre os países, mas as técnicas de mitigação de viés podem olhar apenas para o inglês. Em particular, tende a ser norte-americano e centrado nos EUA. Embora você possa reduzir o viés de alguma forma para os usuários ingleses nos EUA, você não fez isso em todo o mundo. Você ainda corre o risco de ampliar visões realmente prejudiciais globalmente porque apenas se concentrou no inglês.

A IA generativa está introduzindo novos estereótipos para diferentes idiomas e culturas?

Isso faz parte do que estamos encontrando. A idéia de loiras serem estúpidas não é algo que é encontrado em todo o mundo, mas é encontrado em muitos dos idiomas que analisamos.

Quando você tem todos os dados em um espaço latente compartilhado, os conceitos semânticos podem ser transferidos entre os idiomas. Você está arriscando a propagação de estereótipos prejudiciais que outras pessoas nem pensaram.

É verdade que os modelos de IA às vezes justificam estereótipos em suas saídas apenas inventando merda?

Isso foi algo que saiu em nossas discussões sobre o que estávamos encontrando. Estávamos todos estranhos que alguns dos estereótipos estavam sendo justificados por referências à literatura científica que não existia.

Saídas dizendo que, por exemplo, a ciência mostrou diferenças genéticas onde não foi demonstrado, o que é uma base do racismo científico. As saídas da IA ​​estavam apresentando essas visões pseudo-científicas e, em seguida, também usando linguagem que sugeria a escrita acadêmica ou o apoio acadêmico. Ele falou sobre essas coisas como se fossem fatos, quando não são factuais.

Quais foram alguns dos maiores desafios ao trabalhar no conjunto de dados do Shades?

Um dos maiores desafios foi em torno das diferenças linguísticas. Uma abordagem realmente comum para a avaliação de viés é usar o inglês e fazer uma frase com um slot como: “Pessoas de (nação) são não confiáveis. ” Então, você vira em diferentes nações.

Quando você começa a colocar gênero, agora o restante da frase começa a ter que concordar gramaticalmente em gênero. Isso tem sido realmente uma limitação para a avaliação de viés, porque se você quiser fazer esses swaps contrastantes em outros idiomas – o que é super útil para medir o viés – você precisa mudar o restante da frase. Você precisa de traduções diferentes onde toda a frase muda.

Como você faz modelos onde toda a frase precisa concordar em gênero, número, em pluralidade e todos esses tipos diferentes de coisas com o alvo do estereótipo? Tivemos que criar nossa própria anotação linguística para explicar isso. Felizmente, havia algumas pessoas envolvidas que eram nerds linguísticos.

Portanto, agora você pode fazer essas declarações contrastantes em todos esses idiomas, mesmo aqueles com regras de concordância realmente difícil, porque desenvolvemos esse romance abordagem baseada em modelos para avaliação de viés que é sintaticamente sensível.

Sabe -se que a IA generativa amplia os estereótipos há algum tempo. Com tanto progresso sendo feito em outros aspectos da pesquisa de IA, por que esses tipos de vieses extremos ainda prevalecem? É uma questão que parece subdomprida.

Essa é uma grande questão. Existem alguns tipos diferentes de respostas. Um é cultural. Eu acho que em muitas empresas de tecnologia acredita -se que não é realmente um problema tão grande. Ou, se for, é uma solução bastante simples. O que será priorizado, se algo for priorizado, são essas abordagens simples que podem dar errado.

Teremos correções superficiais para coisas muito básicas. Se você diz que garotas como Pink, reconhece isso como estereótipo, porque é exatamente o tipo de coisa que, se você está pensando em estereótipos prototípicos, aparece em você, certo? Esses casos muito básicos serão tratados. É uma abordagem muito simples e superficial, onde essas crenças mais profundamente incorporadas não são abordadas.

Ele acaba sendo uma questão cultural e uma questão técnica para descobrir como chegar a preconceitos profundamente arraigados que não estão se expressando em uma linguagem muito clara.