JOYN GROUP

Escrito por: João Fernandes

A máquina veio para ajudar os humanos

O projeto Enigma foi disputado a uma sexta-feira ao fim do dia numa semana em que a Cofidis colocou um volume anormal de documentos, o que fez com que a nossa operação, tivesse várias horas de atraso e vários dias de recuperação. Isso fez com que tivéssemos de acelerar algumas das ideias que tínhamos, no que toca a automatização do processo de revisão até porque seria impossível com as pessoas que tínhamos, conseguir rever a quantidade de trabalho que estava a entrar a cada dia, ao mesmo tempo que recuperávamos o backlog acumulado.
O projeto enigma surgiu no dia de anos do Pedro Sousa, e o desafio era simples, tentarmos perceber nos documentos que tivéssemos uma elevada certeza de que o resultado da extração automática estava correto, como é que conseguíamos nesses casos não fazer passar esses documentos por humanos e, portanto não perder tempo dos revisores a rever campos que já tínhamos uma elevada certeza de que estavam certos. Nesse sentido, avaliámos vários tipos de documentos, os mais promissores para fazer este trabalho e escolhemos os cartões de cidadão e os comprovativos de IBAN, pois eram aqueles que tinham graus elevados de extrações automáticas, e conseguíamos assim libertar tempo à equipa e recuperar o backlog.

Fizemos largas horas a investigar como é que poderíamos fazer esta identificação dos documentos que estavam bem extraídos automaticamente. Foi um trabalho conjunto, meu, do Pedro, do Aníbal, onde estivemos focados a fazer a implementação do processo, eu próprio escrevi linhas de código (já não fazia há vários anos). Encontrámos o modelo em que, não só conseguimos classificar os documentos de forma automática baseando-nos em palavra-chave, isso também por si fez com que a partir desse momento maior parte dos documentos que aparecem hoje na Cofidis, Doutor Finanças, Cetelem entre outros, já estejam bem classificados, acelerando o processo de revisão humana mas também, fez com que conseguíssemos mediante a correta classificação, termos a correta extração e identificarmos os casos e campos que estão bem extraídos. Com base nisso esses documentos são automaticamente classificados e revistos, saindo das filas de trabalhos dos humanos.
Este feito, foi um trabalho que aparentemente é simples, mas que foi bastante complexo porque acartava um enorme risco, o de estarmos a rever coisas com erros, o que prejudicaria o nível de serviço perante o cliente.
Foi um trabalho que decorreu entre uma sexta e uma segunda-feira, o próprio Pedro depois de beber 10 cervejas no seu dia de anos foi para casa programar, sendo um esforço tremendo de toda a equipa, mas que resultou muito positivamente.
Neste momento, o projeto enigma e este algoritmo de validação automática é responsável pela validação de 15 a 20% e em alguns dias até 25% do volume de campos revistos, ou seja, com um algoritmo automatizado conseguimos libertar cerca de 15 a 25% do trabalho que estava alocado a humanos. Isto permite-nos não só ser muito mais eficientes, mas também garantir que os nossos revisores estão focados no trabalho onde são necessários e que não estão assoberbados por o crescimento da operação, conseguimos estar ao mesmo tempo que fazemos revisão dos documentos do dia, fazer também a recuperação de backlog.

O que se segue para o projeto Enigma?

É um projeto que na V1 sempre que possível iremos estendê-lo e será transferido para a V2. Estamos a fazer desenvolvimentos para melhorar a extração de dados do cartão cidadão, o que naturalmente vai levar a que o projeto enigma consiga aumentar o número de campos revistos de forma automática. O nosso objetivo é permitir que o próprio sistema detete extrações bem feitas, e que por estarem bem feitas não honoremos o humano com o custo dessa revisão, sendo que o mesmo, deverá estar focado nas exceções e no tratamento de situações onde a máquina não conseguiu fazer um bom trabalho.
É um projeto de extrema importância estratégica para a empresa que conseguiu fazer com que restabelecêssemos muito mais rapidamente os níveis de serviço na Cofidis, permitindo-nos crescer o volume de documentos diários a entrar e a sair sem necessariamente empatar muito tempo de revisão. Permitiu também abrir a porta para algo que vai cada vez mais acentuar-se no futuro que é, reforçamos a ideia que só vai para a nossa equipa de revisão as exceções, sendo que tudo aquilo que a máquina deteta e consegue processar é processado de forma automática.

Quais foram os principais resultados?

Numa semana conseguimos resultados extraordinários, estamos a falar de 1/5 a 1/4 de toda a operação que neste momento está automatizada. São resultados muito promissores e que nos abre a porta para no futuro estendermos isto para mais campos e mais documentos.

Como é que sabemos que não vai haver erros por parte da máquina?

Quando este projeto foi pensado, pensamos em documentos estruturados, ou seja, que conseguimos validar os próprios campos. Um exemplo: Conseguimos saber que no cartão de cidadão  a única hipótese do nif é o nif, e a máquina não vai conseguir extrair outra coisa que não o nif.
O projeto enigma apenas incide em documentos altamente estruturados, que conseguimos validar que extraímos bem por validação contextual, seja pela validação do formato da informação, seja pela localização da informação no documento, sabemos que o nome no cc aparece sempre no mesmo sítio, portanto se se extrair aquela informação estará correcta, sabemos que um nome não pode ter números, ou que um número de cartão cidadão não pode ter um “O" portanto se aparecer, essa informação é transformada automaticamente.
Conseguimos pegar em elementos de documentos altamente estruturados, em que sabemos à partida as regras pela qual extraímos a informação, e validar se a extração foi corretamente feita ou não. Sempre que exista um caso de dúvida, esse documento passa para humanos, sendo os revisores fundamentais.

Os revisores humanos serão necessários e qual a taxa de erro?

Os humanos vão continuar a rever, no entanto apenas e só as exceções e não os campos que nós tenhamos a certeza que estão certos.
A equipa está desde o minuto zero a fazer validação de qualidade a todos os campos revistos pelo enigma e não identificamos até o momento erros, ou seja, já foram processados centenas, milhares de campos e não foi identificado pelo nosso controlo de qualidade nenhum erro, nem no preenchimento, nem na correta catalogação desses campos. Sendo um documento altamente estruturado, temos uma elevadíssima certeza que a taxa de erro no projeto enigma é manifestamente inferior à taxa de erro dos humanos.