A SaferNet Brasil tem recebido várias denúncias relatando diálogos impróprios para crianças e incitação ao crime pelo aplicativo SimSimi, criado em 2002 pela empresa coreana ISMaker e que começou a se popularizar no Brasil em 2014.

O funcionamento do app é baseado em Inteligência Artificial (IA), e as respostas são geradas automaticamente por um algoritmo que “aprende” com base nas interações com usuários em cada país/idioma.

A SaferNet Brasil testou a versão em português do aplicativo, destinada ao público brasileiro, e constatou falhas graves no funcionamento do algoritmo de Inteligência Artificial (IA) e na implementação das políticas de conteúdo divulgada pelos desenvolvedores do app em seu blog oficial.

De acordo com os termos de uso* do app, usuários maiores de 13 anos são proibidos de ensinar ou publicar “bad words” (palavras ruins) ao SimSimi. Dentre estas proibições, destaca-se:

1) Conteúdo que descreve atos sexuais explícitos;
2) Conteúdo que retrata ou incentiva violência excessiva ou outra conduta perigosa;
3) Conteúdo que inclui ou incentiva ameaças, assédio ou intimidação;
4) Conteúdo que inclui ou incentiva o abuso sexual de crianças.

Entretanto, em menos de 5 minutos de interação com a equipe da SaferNet Brasil, o algoritmo de inteligência artificial do SimSimi espontaneamente violou as próprias políticas de conteúdo que deveria implementar, e explicitamente veiculou mensagens com incentivo ao abuso sexual de crianças.

Esses resultados evidenciam que os desenvolvedores do app perderam o controle sobre o comportamento do algoritmo de Inteligência Artificial, que tem funcionado a partir de parâmetros contraditórios às políticas e termos de uso do app, tornando-se nocivo sobretudo para usuários vulneráveis e em situações de sofrimento psicológico.

O aplicativo tem se disseminado rapidamente nas escolas brasileiras, preocupando pais e educadores. A SaferNet Brasil tentou, sem sucesso, entrar em contato com os desenvolvedores do aplicativo para reportar os problemas encontrados e pedir providências imediatas.

Enquanto o problema não for definitivamente resolvido, recomendamos aos pais e educadores que conversem com as crianças e adolescentes e desinstalem o aplicativo SimSimi dos tablets e smartphones.

Este episódio é mais uma oportunidade para estabelecer uma rotina familiar de acompanhamento do uso que as crianças fazem das tecnologias digitais. Dentre as orientações da SaferNet para pais, destacamos a importância de:

1. Estabelecer limites de tempo e negociar o tipo de acesso dos seus filhos aos conteúdos online, desde os primeiros cliques. Distribua o uso das telas digitais entre outras atividades de lazer e atividades sem tecnologias;

2. Selecionar previamente jogos, aplicativos e portais apropriados para as crianças e, sempre que possível, negociar os acessos a novos conteúdos de acordo com a idade mínima estabelecida. Uma forma simples e fácil de gerenciar os aplicativos que seu filho pode usar e ficar de olho no tempo que ele passa na tela é instalar o app Family Link, disponível para plataformas Android. Veja como funciona: https://families.google.com/intl/pt-BR/familylink/

3. Sempre colocar-se disponível para ajudar a criança se ela se sentir incomodada com algo online. Mais importante do que dominar tecnicamente os aparelhos e apps, é preciso acolher sem julgamento para que as crianças não escondam situações de risco;

4. Saber que simplesmente proibir o uso não educa e nem previne, mas educar protege.

A SaferNet Brasil oferece gratuitamente orientações para pais, crianças e adolescentes que estejam com dúvidas ou passando por situações de violência. Basta acessar: http://www.canaldeajuda.org.br

Materiais para educadores debaterem o tema na sala de aula estão disponíveis gratuitamente e podem ser baixados através do link: goo.gl/eL7ANv