A estratégia de The New York Times para domar os comentários de seus leitores tem sido cuidadosamente trabalhada há muito tempo. Os moderadores responsáveis examinam cerca de 11.000 comentários individuais por dia, que estão nos artigos abertos para comentários –apenas 10% do total de textos publicados.

Nos últimos 4 meses, o NY Times vem testando uma nova ferramenta do Jigsaw —a incubadora de tecnologia da Alphabet, holding do Google— que pode automatizar parte desse árduo processo de moderação. Na última 3ª feira (13.jun.2017), o NY Times começou a expandir o número de artigos abertos a comentários, abrindo cerca de 1 quarto das histórias na 3ª feira e visando aumentar para 80% até o final de 2017. Outro parceiro, o Instrument, construiu 1 CMS (Sistema de Gerenciamento de Conteúdo) para a moderação.

“De maneira geral, a estratégia tem como objetivo moderar quase todos os comentários à mão, e então, usar tal processo para mostrar aos leitores quais os tipos de conteúdo que nós estamos procurando,” disse-me Bassey Etim, editor de comunidade do NYTimes. “Do nosso lado, vimos que está funcionando para pôr os comentários em perspectiva —ao mesmo tempo podemos ter uma boa e ampla seção de comentários, que também é moderada rapidamente. São coisas que eram consideradas como impossíveis. Mas temos ainda muito o que fazer“.

Esse esforço para melhorar essas funções de comentários foram destacados no anúncio do NYTimes no começo de junho, sobre a criação de um centro de leitores, conduzido pela editora Hanna Ingber, com a finalidade de lidar especificamente com preocupações e ideias do público que consome o jornal (nesse mesmo anúncio o NYTimes informou que Liz Spayd estava saindo assim como estava sendo eliminada a posição de “editor público”, cargo equivalente ao de ombudsman).

Tanger os leitores para fazer o tipo de comentários que o NYTimes está procurando não é uma tarefa fácil. Suas próprias normas, alinhadas em um documento próprio com várias regras sobre comentários e como tomar ações a partir deles, evoluíram com o tempo (eu fiz o quiz de moderação do NYTimes –consegui apenas uma resposta certa– e no meu ritmo, teria demorado mais de 24 horas para acabar de colocar tags em 11.000 comentários).

A ferramenta do Jigsaw, chamada de Perspective, tem sido alimentada por comentários do NYTimes que já foram taggeadas por editores humanos. Editores humanos treinaram o algoritmo durante a fase de testes, destacando erros nas moderações realizadas. No novo sistema, um moderador pode avaliar comentários baseado na probabilidade de rejeição e checa a rotulagem pelo algoritmo dos comentários que caem em uma zona cinzenta (comentários de 17% a 20% de probabilidade de rejeição, por exemplo). Depois, a equipe pode estabelecer regras que permitem que todos os comentários que caem, por exemplo, de 0% a 20%, passem.

“Estamos olhando para uma parte de todos os erros que vêm sendo cometidos, avaliando o impacto que todos os erros de moderação causam na comunidade e nas percepções do nosso produto. E então, baseado nisso, podemos escolher diferentes formas de moderação para as diferentes editorias do NY Times“, disse Etim. Algumas seções podem permanecer inteiramente moderadas por humanos; algumas seções que tendem a ter uma baixa taxa de rejeição nos comentários podem ser automatizadas.

O time de Etim trabalhará junto ao Ingber’s Reader Center, “ajudando em termos de projetos de equipe, com conselhos, e todo tipo de coisa“, apesar do relacionamento e dos cargos não estarem definidos.

“Costumava ser quando algo se acumulava nos comentários, talvez recebêssemos comentários repetidos ou preocupações sobre a cobertura. Você enviaria aos editores das seções, e eles diriam, ‘este é um bom ponto, vamos lidar com isto’. Mas o repórter está fora cobrindo outra coisa, e perde-se a validade, e passa“, disse Etim. “Agora estamos em um ponto em que quando as coisas se acumulam, [Ingber] pode nos ajudar a lidar com isto nos patamares mais altos da redação“.

Eu perguntei a Etim o por quê de o NYTimes não ter adotado nenhuma das novas ferramentas de moderação de comentário do Coral Project, sendo que Coral anunciou anos atrás um grande esforço colaborativo entre o The Washington Post, o NYTimes e o Mozilla. É, mais importante, uma questão de prioridades imediatas, de acordo com Etim, ele enxerga o Times voltando às ferramentas do Coral Project.

“O Coral Project só está trabalhando com um problema diferente neste momento –e o Coral Project nunca teve como objetivo criar o sistema de comentários de The New York Times“, ele disse. “Eles estão se concentrando em ajudar mais publicações na web. Nossa prioridade de negócios era: como fazer moderação em escala? E para moderar em nossa escala, nós precisávamos de automação“.

“As coisas do Coral tornaram-se um pouco secundárias, mas nós iremos voltar e olhar para o que há no mundo aberto, e olhar para eles como um modelo de como lidar com coisas como reputação de usuário“, acrescentou Etim.