IA e Moderação de Conteúdo: Desafios e Soluções no Combate ao Discurso de Ódio nas Redes Sociais

Disciplina: Ambientes Virtuais de aprendizagem

Aluna: Letícia Pereira Rodrigues de Jesus

Matrícula: 22250134

Fonte: SEBRAE RS, 2024

Com o crescimento das redes sociais, a produção de conteúdo gerado por usuários atingiu volumes inéditos, e plataformas como YouTube, Meta e TikTok enfrentam um desafio cada vez maior para moderar o que circula em seus espaços. A inteligência artificial (IA) tem sido a principal ferramenta dessas plataformas para conter a propagação de discursos de ódio e de conteúdos sensíveis, mas ainda enfrenta limitações cruciais. Embora a IA seja indispensável para gerenciar o volume de dados, sua incapacidade de entender contextos e nuances traz desafios significativos e levanta questões sobre a necessidade contínua da supervisão humana.

DISCURSO DE ÓDIO NAS REDES: UM PROBLEMA EMERGENTE E PERSISTENTE

O discurso de ódio é caracterizado por mensagens que incitam violência, hostilidade ou discriminação com base em atributos como raça, etnia, religião, orientação sexual, gênero ou posição socioeconômica. Esse tipo de conteúdo pode ter consequências reais e perigosas, desde o aumento de tensões sociais até o fomento de atos de violência. Nas redes sociais, a velocidade de compartilhamento e o alcance global permitem que discursos de ódio se disseminem com rapidez, agravando a situação.

Plataformas de mídia social enfrentam dificuldades na detecção e no controle desse tipo de discurso, pois ele pode assumir diferentes formas, como comentários diretos, memes ou vídeos que contenham mensagens de ódio sutis. Além disso, usuários frequentemente utilizam abreviações, códigos ou figuras de linguagem que burlam as barreiras automatizadas, dificultando a identificação precisa. A pressão para conter esses conteúdos prejudiciais fez com que as empresas de tecnologia recorressem à IA para monitorar, identificar e remover esse tipo de material de forma eficiente.

Fonte: TUDOCELULAR, 2021

O PAPEL DA IA NA MODERAÇÃO DO DISCURSO DE ÓDIO: EFICIÊNCIA E LIMITAÇÕES

A inteligência artificial tem um papel essencial no combate ao discurso de ódio online. Algoritmos de IA são capazes de processar milhões de dados em tempo real, ajudando a detectar conteúdos inapropriados e impedindo sua disseminação. Plataformas como o TikTok relataram um aumento de mais de 2500% na remoção de conteúdos problemáticos graças ao uso de IA. A capacidade da IA de escanear, categorizar e sinalizar conteúdos é inigualável em termos de velocidade e volume, permitindo uma resposta quase instantânea a conteúdos sensíveis.

No entanto, a IA enfrenta limitações ao lidar com nuances e contextos culturais e linguísticos. O discurso de ódio muitas vezes utiliza referências culturais, ironia ou sarcasmo, elementos que passam despercebidos pelos algoritmos. Palavras e frases usadas em um contexto irônico podem ser interpretadas como sérias pela IA, levando à remoção inadequada de conteúdos legítimos. Casos recentes exemplificam esses desafios: conteúdos educativos e de saúde, como postagens sobre amamentação, foram rotulados como impróprios, assim como mensagens de minorias que ressignificam termos considerados ofensivos.

Além disso, a IA ainda enfrenta obstáculos quando os usuários adotam estratégias para driblar a tecnologia, como substituir letras em palavras ofensivas por caracteres especiais. Essa adaptação humana revela uma fragilidade do sistema automatizado e sugere que a IA ainda depende da supervisão humana para lidar com complexidades e intenções nas postagens.

O EQUILÍBRIO NECESSÁRIO ENTRE IA E MODERAÇÃO HUMANA 

Embora a IA tenha se mostrado fundamental para lidar com o volume crescente de dados nas redes, os moderadores humanos ainda desempenham um papel essencial para assegurar decisões justas e contextuais. A moderação automatizada permite que a IA lide com infrações simples, como linguagem explícita ou violência gráfica, enquanto os moderadores humanos se concentram nos casos mais complexos que exigem interpretação.

Moderadores de plataformas como YouTube e Meta relatam, no entanto, que seu papel mudou: muitas vezes, eles apenas validam respostas sugeridas pelo sistema automatizado. Esse processo tem gerado insatisfação e preocupações com a redução da presença humana, já que alguns moderadores se veem limitados a responder “sim” ou “não” para confirmar ou rejeitar a decisão da IA. Com isso, a qualidade do processo de moderação pode ser comprometida.

Especialistas defendem que a moderação de conteúdo necessita de um equilíbrio entre tecnologia e julgamento humano, especialmente em casos culturalmente sensíveis ou que envolvem figuras de linguagem. Uma moderação bem-sucedida requer que plataformas invistam na capacitação de suas equipes e na criação de uma estrutura de revisão que permita uma análise contextual, complementando o trabalho dos algoritmos.

Fonte: MILAGRE DIGITAL, 2024

SOLUÇÕES PARA MELHORAR A MODERAÇÃO DO DISCURSO

Para superar as limitações da IA, especialistas recomendam maior transparência das empresas sobre suas práticas de moderação e o uso de supervisão humana para revisar decisões automatizadas. Essa supervisão humana pode proporcionar um contexto cultural e linguístico que a IA ainda não é capaz de captar. Propostas de soluções incluem:

• Transparência e prestação de contas: Plataformas devem manter suas práticas de moderação acessíveis e permitir que os usuários saibam como as decisões são tomadas.
• Equipes interdisciplinares e diversificadas: Envolver moderadores humanos com conhecimentos regionais e culturais para lidar com conteúdos complexos.
• Investimento contínuo em IA e adaptação contextual: A IA precisa ser constantemente aprimorada, especialmente para reconhecer nuances linguísticas, como sarcasmo e ironia, e diferentes contextos culturais.

Empresas como Meta e TikTok, cientes das falhas de seus sistemas, afirmam estar trabalhando para aprimorar suas ferramentas de IA, buscando um ponto de equilíbrio onde a tecnologia possa ser mais eficaz na detecção de conteúdos nocivos sem comprometer a liberdade de expressão.

Declaração de IA e tecnologias assistidas por IA no processo de escrita: durante a preparação deste trabalho, os autores utilizaram ferramentas de IAG (Exemplos: ChatGPT, Claude, outros) no processo de planejamento, para aperfeiçoamento do texto e melhoria da legibilidade. Após o uso destas ferramentas, os textos foram revisados, editados e o conteúdo está em conformidade com o método científico. O(s) autor(es) assume(m) total responsabilidade pelo conteúdo da publicação.

REFERÊNCIAS:

CRUZ, Francisco Brito. Inteligência artificial e internet: um olhar sobre o conteúdo de usuários e a sua moderação. Revista USP, São Paulo, n. 141, p. 65-80, abr./maio/jun. 2024. Disponível em: https://jornal.usp.br/wp-content/uploads/2024/05/5-Francisco-Cruz.pdf. Acesso em: 1 nov. 2024.

LOBATO, Gisele. "Com falhas estruturais, IA avança na moderação de conteúdo em meio a demissões em massa". Aos Fatos, 11 de julho de 2024. Disponível em: https://www.aosfatos.org/noticias/falhas-ia-moderacao-redes-sociais/. Acesso em: 1 nov. 2024.

MILAGRE DIGITAL. IA da Meta: Descubra Benefícios e Desafios na Personalização e Moderação. Disponível em: https://milagredigital.com/beneficios-desafios-ia-meta/. Acesso em: 2 nov. 2024.

SEBRAE RS. Inteligência Artificial nas Redes Sociais. Disponível em: https://digital.sebraers.com.br/blog/inovacao/inteligencia-artificial-nas-redes-sociais/. Acesso em: 2 nov. 2024.

TUDOCELULAR. Moderação de redes sociais: como funciona e por que não é perfeito? Disponível em: https://www.tudocelular.com/seguranca/noticias/n176699/moderacao-redes-sociais-funcionamento-exemplos.html. Acesso em: 2 nov. 2024.