otimizações no treinamento em modelos de metric learning
Pesquisadores
Paulo R. Lisboa de Almeida
UFPR
André Grégio
UFPR
Roberto Tomchak
UFPR
Heloísa Viotto
UFPR
Cauê Samonek
UFPR
Thamiris Yamate Fischer
UFPR
Maintaining Difficulty: A Margin Scheduler for Triplet Loss in Siamese Networks Training
Esse estudo expõe que, durante o treinamento de Redes Siamesas que utilizam o Triplet Margin Ranking Loss, a margem efetiva comumente é superior àquela pré definida como hiperparâmetro, assim podendo limitar o aprendizado. O artigo, então, sugere adaptar esse valor durante o treinamento, porém, diferentemente de abordagens anteriores, as quais focam em cenários específico, os autores propõem ajustar a margem conforme a proporção de triplets fáceis.
Nos experimentos, conduzidos nos datasets LFW, CelebA, CUB-200-2011 e Stanford Cars, foram comparados a eficácia de uma margem fixa m = 0.3, do método Linear Scheduler proposto, o qual inicia com uma margem m0 = 0.0 com taxa de crescimento a cada época de sl = 0.01 e o método Difficulty Adaptative Margin Scheduler (DAMS) que também começa com uma margem iniciam m0 = 0.0, mas com taxa de crescimento sa = 0.01 a toda época que a taxa de triplets fáceis for maior que um threshold t = 0.95. Esses hiperparâmetros foram definidos com base em testes exaustivos com várias configurações.
Os resultados apontam que o DAMS é o método mais adequado na maioria dos cenários, pois o crescimento da sua margem pode estagnar em algum ponto do treinamento, o oposto do método linear que pode ser mais agressivo e da margem fixa que não se adapta ao problema.
Esse trabalho intitulado “Maintaining Difficulty: A Margin Scheduler for Triplet Loss in Siamese Network Training” foi apresentado na IJCNN 2026.
How Far is Too Far? Defining the Distance Threshold for Verification Siamese Networks.
Em Redes Siamesas, dois objetos são considerados da mesma classe se a distância entre eles está abaixo de um threshold pré-definido. O artigo propõe então descobrir o threshold (t) de cada problema ao assumir que a distribuição das distâncias podem ser aproximadas por uma função bimodal, nesse cenário t é o ponto mínimo entre duas modas: pares positivos nas distâncias menores e pares negativos nas maiores. Ao contrário de outros métodos, como selecionar esse hiperparâmetro a partir da analise da curva ROC, o sugerido pelo estudo não necessita de dados previamente rotulados e não sofre da mudança de distribuição entre dados de treino, validação e teste, além disso, a técnica proposta possui bom desempenho em dados desbalanceados.
Os dois algoritmos apresentados são o BimodalVal, o qual estima o threshold apenas usando o conjunto de dados de validação, e o BimodalUpd, cujo t é inicializado conforme os dados de validação, mas a cada 64 novas distâncias observadas no teste o hiperparâmetro pode se adaptar. Nos experimentos, esses dois algoritmos foram comparados com utilizar um threshold fixo e com o método Equal Error Rate (EER) nos datasets MNIST, CIFAR10, PKLot e LFW. Os resultados mostram que os algoritmos propostos e o EER tem acurácias semelhantes e significamente melhores do que apenas utilizar um threshold fixo.
Esse trabalho intitulado “How Far is Too Far? Defining the Distance Threshold for Verification Siamese Networks” foi apresentado na SMC 2026.