Use o console do Google Cloud para verificar o desempenho do seu modelo. Analise erros de teste para melhorar iterativamente a qualidade do modelo, corrigindo problemas de dados.
Este tutorial tem várias páginas:
Crie um conjunto de dados de classificação de imagens e importe imagens.
Avalie e analise o desempenho do modelo.
Cada página pressupõe que você já tenha executado as instruções das páginas anteriores do tutorial.
1. Compreenda os resultados da avaliação do modelo AutoML
Após a conclusão do treinamento, seu modelo é avaliado automaticamente em relação à divisão de dados de teste. Os resultados da avaliação correspondentes são apresentados clicando no nome do modelo na página Registro de Modelo ou na página Conjunto de Dados .
A partir daí, você pode encontrar as métricas para medir o desempenho do modelo.
Você pode encontrar uma introdução mais detalhada às diferentes métricas de avaliação na seção Avaliar, testar e implantar seu modelo .
2. Analise os resultados dos testes
Se você quiser continuar melhorando o desempenho do modelo, a primeira etapa geralmente é examinar os casos de erro e investigar as possíveis causas. A página de avaliação de cada classe apresenta imagens de teste detalhadas de uma determinada classe, categorizadas como falsos negativos, falsos positivos e verdadeiros positivos. A definição de cada categoria pode ser encontrada na seção Avaliar, testar e implantar seu modelo .
Para cada imagem em cada categoria, você pode verificar ainda mais os detalhes da previsão clicando na imagem e acessar os resultados detalhados da análise. Você verá o painel Revisar imagens semelhantes no lado direito da página, onde as amostras mais próximas do conjunto de treinamento são apresentadas com distâncias medidas no espaço de recursos.
Existem dois tipos de problemas de dados aos quais você pode querer prestar atenção:
Inconsistência de rótulo. Se uma amostra visualmente semelhante do conjunto de treinamento tiver rótulos diferentes da amostra de teste, é possível que um deles esteja incorreto, ou que a diferença sutil exija mais dados para o modelo aprender, ou que os rótulos da classe atual simplesmente não sejam precisos o suficiente para descrever a amostra fornecida. A revisão de imagens semelhantes pode ajudá-lo a obter informações precisas do rótulo, corrigindo os casos de erro ou excluindo a amostra problemática do conjunto de teste. Você pode alterar convenientemente o rótulo da imagem de teste ou das imagens de treinamento no painel Revisar imagens semelhantes na mesma página.
Excedentes. Se uma amostra de teste for marcada como discrepante, é possível que não haja amostras visualmente semelhantes no conjunto de treinamento para ajudar a treinar o modelo. A revisão de imagens semelhantes do conjunto de treinamento pode ajudá-lo a identificar essas amostras e adicionar imagens semelhantes ao conjunto de treinamento para melhorar ainda mais o desempenho do modelo nesses casos.
O que vem a seguir
Se você estiver satisfeito com o desempenho do modelo, siga a próxima página deste tutorial para implantar seu modelo treinado do AutoML em um endpoint e enviar uma imagem ao modelo para previsão. Caso contrário, se você fizer alguma correção nos dados, treine um novo modelo usando o tutorial Como treinar um modelo de classificação de imagem do AutoML .