gguichard/st-qwen-matching

SentenceTransformer based on Qwen/Qwen3-Embedding-0.6B

This is a sentence-transformers model finetuned from Qwen/Qwen3-Embedding-0.6B. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: Qwen/Qwen3-Embedding-0.6B
• Maximum Sequence Length: 32768 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 32768, 'do_lower_case': False, 'architecture': 'Qwen3Model'})
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': True, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("gguichard/st-qwen-matching")
# Run inference
queries = [
    "{\"type\": \"opportunity\", \"customer_code\": \"\", \"opportunity_title\": \"#Fullstack - Java - React\", \"opportunity_place\": \"\", \"opportunity_expertise_area\": \"Edition de logiciels\", \"opportunity_tools\": \"\", \"opportunity_activity_area\": \"\", \"opportunity_type\": \"1\", \"opportunity_description\": \"PROJET CIS\\n\\nConception et d\u00e9veloppement des nouvelles fonctionnalit\u00e9s\\n\\nsur le projet CIS pour le compte de plusieurs clients grands\\n\\ncomptes dans le domaine d\u2019assurance de cr\u00e9dit (AIG, QBE,\\n\\nETIHAD, GCNA, etc.).\", \"opportunity_criteria\": \"R\u00c9ALISATIONS\\n\\nD\u00e9veloppement des nouvelles fonctionnalit\u00e9s sur les parties back-office et front-office\\n\\nD\u00e9veloppement des batchs (Spring batch)\\n\\nExposition et consommation des API REST\\n\\nInt\u00e9gration des templates des PDF et des emails\\n\\nD\u00e9veloppement et optimisation des scripts PL/SQL\\n\\nD\u00e9veloppement d\u0027\u00e9crans en React reprenant plusieurs fonctionnalit\u00e9s existantes sur CIS\\n\\nRespect des principes agiles : planning poker, daily meeting, d\u00e9mo, retro\u2026\\n\\n\\nENVIRONNEMENT TECHNIQUE\\n\\nJava, Spring (Boot, IoC, Test), React, Servlet, Javascript, HTML, SASS, JIRA, Confluence, Gitlab, JUnit 4, Jenkins, M\u00e9thodologie Agile, Architecture hexagonale, bonnes pratiques du d\u00e9veloppement, Tdd, BDD\", \"opportunity_extract\": 1}",
]
documents = [
    ' {"type": "candidate", "customer_code": "", "title": "Agile Backend Developer", "skills": "", "education": "", "experience": "-1", "tools": "", "languages": "", "mobility": "", "expertise_area": "", "activity_area": "", "list_diplomes": "", "typeOf": "0", "source": "", "informationComments": "", "extract": 1, "experiences": "[]"} cv : ',
    ' {"type": "candidate", "customer_code": "", "title": "Data Engineer", "skills": "", "education": "", "experience": "-1", "tools": "", "languages": "", "mobility": "", "expertise_area": "", "activity_area": "", "list_diplomes": "", "typeOf": "0", "source": "", "informationComments": "", "extract": 1, "experiences": "[]"} cv : ',
    ' {"type": "candidate", "customer_code": "", "title": "Agile Back-end Developer", "skills": "", "education": "", "experience": "-1", "tools": "", "languages": "", "mobility": "", "expertise_area": "", "activity_area": "", "list_diplomes": "", "typeOf": "0", "source": "", "informationComments": "", "extract": 1, "experiences": "[]"} cv : "[JNS] \xad 22 ans\nAnalyste développeur\n1 année d\'expérience Formation 2016 \xad Licence Professionnelle Systèmes Informatiques et Logiciels option Concepteur et Développeur en Environnement Distribué \xad IUT Robert Schuman à Illkirch Compétences TECHNOLOGIES Langage : C#, VB.Net, HTML, CSS, JavaScript, JQuery Systèmes : Windows et Linux Outils : Visual Studio 2010 à 2015, Git, TFS Système et Base de données : SQL Server et MySQL Méthodes et cycles de développement : Agile, SCRUM METIER Programmation orientée objet, Développement des applications Multi-Tiers Développement des applications Web LANGUES Anglais Langue des signes : Ecrit, lu, parlé (usage professionnel) : Parlé Résumé de carrière Depuis oct. 2016 : SFEIR EST - Schiltigheim \xad Analyste-Développeur Sept. 2015 à Sept. 2016 : Victor Heinrich de Molsheim \xad Molsheim \xad Apprenti Développeur d\'application Expériences SFEIR \xad Schiltigheim \xad Analyste développeur\nDepuis octobre 2015 SCA \xad Projets Infradocs et KPI\nRéalisations Analyse et évolution de l\'application Infradocs Evolution de l\'application KPI en suivant les spécifications de la société cliente. [JNS] 1/3 Environnement technique : HTML/CSS/JavaScript, JQuery, Bootstrap, VB.Net et ASP.Net Core (MVC, Web Form et WebAPI) Victor Heinrich de Molsheim \xad Molsheim \xad Apprenti Développeur\nSeptembre 2015 \xad Septembre 2016 Projet 1 Gestion des affaires Réalisations Gestion de projet : rédaction des spécifications du projet, planification et déploiement de l\'application Migration des données sur SQL Server Maintenance de l\'application : modification des requêtes SQL Environnement technique : ASP.Net Web Form, langage SQL Projet 2 Gestion des conditions de client Réalisations Gestion de projet : Analyse des besoins, rédaction des spécifications du projet et planification. Développement de l\'application Web Test et déploiement de l\'application Environnement technique : ASP.Net MVC, ASP.Net ASMX (SOAP), Entity Framework, HTML/CSS/JQuery et Bootstrap Victor Heinrich de Molsheim \xad Molsheim \xad Stagiaire développeur\nJanvier 2015 \xad Janvier 2015 Générateur des étiquettes et formulaire de contact\nRéalisations Développement du générateur sur Microsoft Office Access Mise en ligne et amélioration du formulaire de contact (seconde phase) Environnement technique : HTML/CSS/JavaScript, PHP et Visual Basic for Application Victor Heinrich de Molsheim \xad Molsheim \xad Stagiaire développeur\nJuin 2014 \xad Juillet 2014 Le site internet de VHM [JNS] 2/3 Réalisations Développement du nouveau formulaire de contact (première phase) Participation au groupe de travail : refonte du site internet Environnement technique : HTML/CSS/Javacript, PHP [JNS] 3/3" "[JNS] \xad 22 ans\nAnalyste développeur\n1 année d\'expérience Formation 2016 \xad Licence Professionnelle Systèmes Informatiques et Logiciels option Concepteur et Développeur en Environnement Distribué \xad IUT Robert Schuman à Illkirch Compétences TECHNOLOGIES Langage : C#, VB.Net, HTML, CSS, JavaScript, JQuery Systèmes : Windows et Linux Outils : Visual Studio 2010 à 2015, Git, TFS Système et Base de données : SQL Server et MySQL Méthodes et cycles de développement : Agile, SCRUM METIER Programmation orientée objet, Développement des applications Multi-Tiers Développement des applications Web LANGUES Anglais Langue des signes : Ecrit, lu, parlé (usage professionnel) : Parlé Résumé de carrière Depuis oct. 2016 : SFEIR EST - Schiltigheim \xad Analyste-Développeur Sept. 2015 à Sept. 2016 : Victor Heinrich de Molsheim \xad Molsheim \xad Apprenti Développeur d\'application Expériences SFEIR \xad Schiltigheim \xad Analyste développeur\nDepuis octobre 2015 SCA \xad Projets Infradocs et KPI\nRéalisations Analyse et évolution de l\'application Infradocs Evolution de l\'application KPI en suivant les spécifications de la société cliente. [JNS] 1/3 Environnement technique : HTML/CSS/JavaScript, JQuery, Bootstrap, VB.Net et ASP.Net Core (MVC, Web Form et WebAPI) Victor Heinrich de Molsheim \xad Molsheim \xad Apprenti Développeur\nSeptembre 2015 \xad Septembre 2016 Projet 1 Gestion des affaires Réalisations Gestion de projet : rédaction des spécifications du projet, planification et déploiement de l\'application Migration des données sur SQL Server Maintenance de l\'application : modification des requêtes SQL Environnement technique : ASP.Net Web Form, langage SQL Projet 2 Gestion des conditions de client Réalisations Gestion de projet : Analyse des besoins, rédaction des spécifications du projet et planification. Développement de l\'application Web Test et déploiement de l\'application Environnement technique : ASP.Net MVC, ASP.Net ASMX (SOAP), Entity Framework, HTML/CSS/JQuery et Bootstrap Victor Heinrich de Molsheim \xad Molsheim \xad Stagiaire développeur\nJanvier 2015 \xad Janvier 2015 Générateur des étiquettes et formulaire de contact\nRéalisations Développement du générateur sur Microsoft Office Access Mise en ligne et amélioration du formulaire de contact (seconde phase) Environnement technique : HTML/CSS/JavaScript, PHP et Visual Basic for Application Victor Heinrich de Molsheim \xad Molsheim \xad Stagiaire développeur\nJuin 2014 \xad Juillet 2014 Le site internet de VHM [JNS] 2/3 Réalisations Développement du nouveau formulaire de contact (première phase) Participation au groupe de travail : refonte du site internet Environnement technique : HTML/CSS/Javacript, PHP [JNS] 3/3" "[ Nuss Jérôme ] â\x80\x93 2 4 ans Analyste d éveloppeur 3 année s dâ\x80\x99expérience Formation 2016 â\x80\x93 Licence Professionnelle Systèmes Informatiques et Logiciels option Concepteur et Développeur en Environnement Distribué â\x80\x93 IUT Robert Schuman Ã\xa0 Illkirch Compétences TECHNOLOGIES Langage s : C#, VB.Net , JavaScript, HTML, CSS, COBOL FrameworksÂ\xa0 : .Net Core , Asp.Net , Angular , JQuery, Devbooster (EID) Environnement cloud : Microsoft Azure Environnement hors Windows : Linux , MVS/TSO (Mainframe) EDI : Visual Studio , RDz (Basé sur Eclipse) SGBD : SQL Server , MySQL , DB2/DL1 Outil s analyse de données : SSIS, SSRS Outils de testÂ\xa0 : Quality Center Méthodes et cycles de développement : Agile, SCRUM Gestionnaire s de sourceÂ\xa0 : Git, TFS , RTC METIER Points forts du profil Organisé, travail dâ\x80\x99équipe Analyse technique, prise des besoins du client Développement des applicationsÂ\xa0 Multi-Tiers, Web et Grand Système (COBOL) Métier de lâ\x80\x99assuranceÂ\xa0 Santé LANGUES Anglais : Ecrit, Lu Langue des signes : Signé Résumé de carrière Depuis O ct . 2016 Â\xa0 : SFEIR EST - Schiltigheim â\x80\x93 Analyste-Développeur Sept . 2015 Ã\xa0 Sept . 2016 Â\xa0 : Victor Heinrich de Molsheim â\x80\x93 Molsheim â\x80\x93 Apprenti Développeur dâ\x80\x99application Expériences SFEIR â\x80\x93 Schiltigheim â\x80\x93 Analyste développeur Depuis octobre 2016 Euro Information et Développement â\x80\x93 Intégration dans le C entre de S ervice SFEIR EST Réalisations Communication avec le client, prise des besoins Analyses techniques, rédactions des spécifications techniques Développement s et tests des applications en environnement Mainframe (TP, Batch, architecture C14) et en environnement Web (Intranet, Internet) Développements dans les environnements SGDBÂ\xa0: Utilisation des bases DB2, créations des procédures stockés Capitalisation des connaissances (documentation et partage du savoir-faire acquis) Environnement technique : C # , .Net , DevBooster ( EID ) , XAML, XML , SQL Server , COBOL, TSO, RDz , RTC, Quality Center SFEIR â\x80\x93 Projet Gestion des congés Réalisations Rédaction des spécifications de lâ\x80\x99application et conception Développement dâ\x80\x99un e API Rest en C# avec la mise en place dâ\x80\x99une base de données SQL Server 2014 via Entity Framework Core Développement de lâ\x80\x99application côté client avec TypeScript / AngularJS , HTML/CSS et Foundation 6. Environnement technique : HTML/CSS/JavaScript, Angular , TypeScript , Bootstrap , C# et ASP.Net (MVC, Web Form et WebAPI ) , SQL Server 2014 SCA â\x80\x93 Projet Infradocs et KPI / Faurecia â\x80\x93 Projet AMS Réalisations Analyse et évolution de lâ\x80\x99applicat ion Développement et maintenance applicative Réalisation des pages responsives Environnement technique : HTML/CSS/JavaScript, JQuery, Bootstrap , VB.Net, C#, ASP.Net (MVC, Web Form et WebAPI ) et SQL Server 2012 , Angular , TypeScript , Bootstrap Victor Heinrich de Molsheim â\x80\x93 Molsheim â\x80\x93 Apprenti Développeur Septembre 2015 â\x80\x93 Septembre 2016 / Stage en BTS Gestion des affaires â\x80\x93 Gestion des conditions de clients Réalisations Gestion de projetÂ\xa0: Analyse des besoins, rédaction des spécifications du projet, planification et déploiement de lâ\x80\x99application Gestion de donnéesÂ\xa0: Migration des données, récupération des données via SSIS DéveloppementÂ\xa0: maintenance évolutive, application Web et Web Service ASMX. Test de lâ\x80\x99application Environnement technique : ASP.Net Web Form , ASP .Net MVC, Entity Framework, JQuery, Bootstrap , SQL Server , SSIS 2012 Le site internet de VHM Réalisations Développement du nouveau formulaire de contact s (première phase) Participation au groupe de travailÂ\xa0: refonte du site internet Environnement technique : HTML/CSS/ Javacript , PHP"',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 1024] [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[ 0.3146, -0.0027, -0.0058]])

Training Details

Training Dataset

Unnamed Dataset

• Size: 707,713 training samples
• Columns: sentence1, sentence2, and label
• Approximate statistics based on the first 1000 samples:

  	sentence1	sentence2	label
  type	string	string	float
  details	min: 80 tokens mean: 405.88 tokens max: 1443 tokens	min: 92 tokens mean: 435.56 tokens max: 3591 tokens	min: 0.0 mean: 0.46 max: 1.0

• Samples:

  sentence1	sentence2	label
  {"type": "opportunity", "customer_code": "", "opportunity_title": "Exemple formation - Profil développeur mobile", "opportunity_place": "", "opportunity_expertise_area": "automobile", "opportunity_tools": "outil1", "opportunity_activity_area": "certification1, chefdeprojet", "opportunity_type": "1", "opportunity_description": "", "opportunity_criteria": "", "opportunity_extract": 1}	{"type": "candidate", "customer_code": "", "title": "Testeur QA", "skills": "Enseignement, Anglais, Espagnol", "education": "", "experience": "-1", "tools": "", "languages": "", "mobility": "", "expertise_area": "", "activity_area": "", "list_diplomes": "Wild Code School - Formation testeur agile - mars 2022 - mai 2022, Université Bordeaux Montaigne (ex - Bordeaux 3) - Licence, Japonais - 2016 - 2020, 弘前大学 - Programme d'échange, Étude des sciences humaines - Langue - 2018 - 2019", "typeOf": "-1", "source": "0", "informationComments": "", "extract": 1, "experiences": "[{'skills': '', 'startMonth': '', 'endDate': '', 'startYear': '', 'description': "mars 2015 - juin 2015 · 4\xa0mois\nGradignan, Nouvelle-Aquitaine, France\nDéveloppement web via Wordpress (paradoxales.com) Mise à jour de l'intranet", 'company': '', 'location': '', 'id': '1', 'title': 'Développeur web DEFINIMA · Stage', 'endMonth': '', 'endYear': '', 'startDate': ''}, {'skills': '', 'startMonth': '', 'endDate': '', 's...	1.0
  {"type": "opportunity", "customer_code": "", "opportunity_title": "Exemple formation - Profil développeur mobile", "opportunity_place": "", "opportunity_expertise_area": "automobile", "opportunity_tools": "outil1", "opportunity_activity_area": "certification1, chefdeprojet", "opportunity_type": "1", "opportunity_description": "", "opportunity_criteria": "", "opportunity_extract": 1}	{"type": "candidate", "customer_code": "", "title": "Ingénieur Validation", "skills": "java, javascript, python, mysql, angular, spring boot, android studio, robot framework, selenium, c, c++, html5, css, xml, jee, windows, linux, iot, blynk, raspberry, module gps, module obd, arduino, nrf24l01, lcd, capteur, robot framework, selenium webdriver, python, jira, xrays, testlink, selenium, webdriver, linux, jenkins, scrum, kpi, java, javascript, angular, spring boot, apache, mysql 1, android, tvpour films, java, android studio, apache, sqlite, java\n\napplication mobile diagnostic et traceur d'automobile avec stockage de donnée", "education": "", "experience": "-1", "tools": "", "languages": "français, anglais, arabe", "mobility": "", "expertise_area": "", "activity_area": "", "list_diplomes": "2019 - Introduction to Programming - Microsoft, 2020 - Génie des Télécommunications - Ecole Nationald’Electronique et des Télécommunications de\nSfax, 2019 - Formation CCNA2 routing and switching -...	0.0
  {"type": "opportunity", "customer_code": "", "opportunity_title": "Testeur automaticien (Client:ICDC Finance)", "opportunity_place": "", "opportunity_expertise_area": "-1", "opportunity_tools": "", "opportunity_activity_area": "", "opportunity_type": "1", "opportunity_description": "", "opportunity_criteria": "", "opportunity_extract": 1}	{"type": "candidate", "customer_code": "", "title": "Ingénieur Automatisation - Salarié", "skills": "", "education": "", "experience": "-1", "tools": "outil1,net,ranorex,outil3", "languages": "français, anglais", "mobility": "", "expertise_area": "", "activity_area": "", "list_diplomes": "2017 - Faculté des Sciences et Techniques de Fès", "typeOf": "0", "source": "", "informationComments": "En mission client : CONSULT IT : ICDC FINANCE \nRanorex, WebServices, Reports, Jenkins", "extract": 1, "experiences": "[{'skills': '', 'startMonth': '', 'startYear': '', 'description': 'participer à la mise en place du système d’information au profil du comité national\nprévention des accidents de la circulation\nlecture et analyse approfondie des spécifications de l’application\ndéveloppement du logiciel\ndéroulement de tests et recette\ntraitement des anomalies\nassurer la maintenance\nrédaction de la documentation technique', 'company': '', 'location': '', 'id': '39', 'title': 'Ingénieur ...	1.0

• Loss: CosineSimilarityLoss with these parameters:

  {
      "loss_fct": "torch.nn.modules.loss.MSELoss"
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 5,000 evaluation samples
• Columns: sentence1, sentence2, and label
• Approximate statistics based on the first 1000 samples:

  	sentence1	sentence2	label
  type	string	string	float
  details	min: 80 tokens mean: 305.17 tokens max: 2753 tokens	min: 92 tokens mean: 444.59 tokens max: 3716 tokens	min: 0.0 mean: 0.46 max: 1.0

• Samples:

  sentence1	sentence2	label
  {"type": "opportunity", "customer_code": "", "opportunity_title": "Testeur Fonctionnel (Client : SNCF)", "opportunity_place": "", "opportunity_expertise_area": "-1", "opportunity_tools": "jira", "opportunity_activity_area": "testeurmanuel", "opportunity_type": "1", "opportunity_description": "Les activités principales sont :\n- Participer aux réunions de présentation des évolutions ou projets paiement\n- Analyser niveau 1 des anomalies paiement de nos partenaires\n- Concevoir ou mettre à jour dans SQUASH les cas de tests couvrant les exigences\nspécifiques de la campagne ou des projets\n- Exécuter les tests, saisir les résultats dans SQUASH,\n- Rédiger les anomalies de paiement, suivre leur prise en compte et correction\n- Participer aux réunions de suivi d’anomalies et de suivi de recette\n- Rédiger et diffuser le procès\n- verbal des campagnes de tests\n- Participer aux réunions de GO/NO GO de mise en production\n\nLivrables attendus :\n- Référentiels des exigences et cas de tests da...	{"type": "candidate", "customer_code": "", "title": "Ingénieur Automatisation des Tests 4 ans d’expérience - Salarié", "skills": "", "education": "", "experience": "-1", "tools": "postmanapirest,jenkins,katalon,hpalm,squash", "languages": "anglais, français, arabe", "mobility": "mondeeuropefranceiledefrance", "expertise_area": "", "activity_area": "", "list_diplomes": "2018 - Diplôme d’études supérieurs en management, 2015 - Licence en administration des entreprises", "typeOf": "0", "source": "", "informationComments": "En mission UMANIS : SNCF\nKatalon studio – Postman – Jenkins – Gitlab – Java", "extract": 1, "experiences": "[{'skills': '', 'startMonth': '', 'startYear': '', 'description': 'mise en place des plans de tests à partir des spécifications\npréparation des jeux de données\nexécution des cas de tests des différentes fonctionnalités\ngestion des anomalies\nanalyse des incidents de production reçus des utilisateurs\nremontée des anomalies à la moe et suivi des correctio...	1.0
  {"type": "opportunity", "customer_code": "", "opportunity_title": "Testeur Fonctionnel (Client : SNCF)", "opportunity_place": "", "opportunity_expertise_area": "-1", "opportunity_tools": "jira", "opportunity_activity_area": "testeurmanuel", "opportunity_type": "1", "opportunity_description": "Les activités principales sont :\n- Participer aux réunions de présentation des évolutions ou projets paiement\n- Analyser niveau 1 des anomalies paiement de nos partenaires\n- Concevoir ou mettre à jour dans SQUASH les cas de tests couvrant les exigences\nspécifiques de la campagne ou des projets\n- Exécuter les tests, saisir les résultats dans SQUASH,\n- Rédiger les anomalies de paiement, suivre leur prise en compte et correction\n- Participer aux réunions de suivi d’anomalies et de suivi de recette\n- Rédiger et diffuser le procès\n- verbal des campagnes de tests\n- Participer aux réunions de GO/NO GO de mise en production\n\nLivrables attendus :\n- Référentiels des exigences et cas de tests da...	{"type": "candidate", "customer_code": "", "title": "- Portage", "skills": "", "education": "", "experience": "-1", "tools": "", "languages": "", "mobility": "", "expertise_area": "", "activity_area": "", "list_diplomes": "", "typeOf": "0", "source": "", "informationComments": "", "extract": 1, "experiences": "[]"} cv : "Ingénieur Validation MAHA LTAIEF maha.ltaieff@gmail.com +21627591621 Ben Arous, Tunisie Née le 25/09/1996 linkedin.com/in/maha-ltaief CURSUS SCOLAIRE Génie des Télécommunications Ecole National d'Electronique et des Télécommunications de Sfax 2017 ­ 2020 Sfax, Tunisie CERTIFICAT Introduction to Programming using Java Microsoft November2019 Formation CCNA2 routing and switching Cisco Networking Academy November 2019 Préparation Technologique pour l'Entrée aux Ecoles d'Ingénieurs Institut Préparatoire aux Etudes d'Ingénieurs de Monastir 2015 ­ 2017 Monastir, Tunisie Formations Android NiveauAvancé Orange Tunisie May 2019 Baccalauréat Technique Lycée Secondaire Ali Bourg...	0.0
  {"type": "opportunity", "customer_code": "", "opportunity_title": "Consultant Automatisation (Client: SeLoger)", "opportunity_place": "", "opportunity_expertise_area": "-1", "opportunity_tools": "", "opportunity_activity_area": "", "opportunity_type": "1", "opportunity_description": "", "opportunity_criteria": "", "opportunity_extract": 1}	{"type": "candidate", "customer_code": "", "title": "Ingénieur Automatisation - Salarié", "skills": "", "education": "", "experience": "-1", "tools": "", "languages": "anglais, français, arabe", "mobility": "", "expertise_area": "", "activity_area": "", "list_diplomes": "2014 - Diplôme d’ingénieur - génie des télécommunications/Réseaux informatique - École Nationale d'électronique et des télécommunications de Sfax - ENETCOM, 2017 - ISTQB® Certified Tester,Foundation Level, 2016 - Certification CISCO CCNA (CCNA1-CCNA4)", "typeOf": "0", "source": "", "informationComments": "En mission client : OCEANE : SE LOGER \nRobot Framework- UFT – Selenium – Appium – Gitlab - Jenkins", "extract": 1, "experiences": "[{'skills': '', 'startMonth': '', 'startYear': '', 'description': "automatiser les tests manuels en créant des scripts utilisant les outils\nmaintenir/débugger les scripts en fonction de l'évolution du produit\nremonter les bugs après avoir vérifié le comportement manuellement", 'co...	1.0

• Loss: CosineSimilarityLoss with these parameters:

  {
      "loss_fct": "torch.nn.modules.loss.MSELoss"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 1
• per_device_eval_batch_size: 1
• learning_rate: 2e-05
• num_train_epochs: 1
• warmup_ratio: 0.1
• log_level: error
• log_level_replica: passive
• log_on_each_node: False
• logging_nan_inf_filter: False
• bf16: True

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 1
• per_device_eval_batch_size: 1
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: error
• log_level_replica: passive
• log_on_each_node: False
• logging_nan_inf_filter: False
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Click to expand

Epoch	Step	Training Loss	Validation Loss
0.0007	500	0.2182	-
0.0014	1000	0.2254	-
0.0021	1500	0.2073	-
0.0028	2000	0.1775	-
0.0035	2500	0.1542	-
0.0042	3000	0.1438	-
0.0049	3500	0.1323	-
0.0057	4000	0.1443	-
0.0064	4500	0.1315	-
0.0071	5000	0.1313	-
0.0078	5500	0.1353	-
0.0085	6000	0.1404	-
0.0092	6500	0.1307	-
0.0099	7000	0.1248	-
0.0106	7500	0.121	-
0.0113	8000	0.1096	-
0.0120	8500	0.1311	-
0.0127	9000	0.1177	-
0.0134	9500	0.1246	-
0.0141	10000	0.1255	-
0.0148	10500	0.1322	-
0.0155	11000	0.1336	-
0.0162	11500	0.1316	-
0.0170	12000	0.1257	-
0.0177	12500	0.1291	-
0.0184	13000	0.1346	-
0.0191	13500	0.1416	-
0.0198	14000	0.1166	-
0.0205	14500	0.1199	-
0.0212	15000	0.1218	0.2699
0.0219	15500	0.1354	-
0.0226	16000	0.1069	-
0.0233	16500	0.1163	-
0.0240	17000	0.1139	-
0.0247	17500	0.1238	-
0.0254	18000	0.1266	-
0.0261	18500	0.1435	-
0.0268	19000	0.1152	-
0.0276	19500	0.1202	-
0.0283	20000	0.1106	-
0.0290	20500	0.1312	-
0.0297	21000	0.1282	-
0.0304	21500	0.1225	-
0.0311	22000	0.1241	-
0.0318	22500	0.1369	-
0.0325	23000	0.119	-
0.0332	23500	0.1248	-
0.0339	24000	0.1133	-
0.0346	24500	0.1242	-
0.0353	25000	0.1052	-
0.0360	25500	0.1241	-
0.0367	26000	0.1143	-
0.0374	26500	0.1103	-
0.0382	27000	0.1053	-
0.0389	27500	0.115	-
0.0396	28000	0.1201	-
0.0403	28500	0.1235	-
0.0410	29000	0.1125	-
0.0417	29500	0.0914	-
0.0424	30000	0.0923	0.2670
0.0431	30500	0.1245	-
0.0438	31000	0.1224	-
0.0445	31500	0.1084	-
0.0452	32000	0.099	-
0.0459	32500	0.1168	-
0.0466	33000	0.1071	-
0.0473	33500	0.1278	-
0.0480	34000	0.1214	-
0.0487	34500	0.0936	-
0.0495	35000	0.1265	-
0.0502	35500	0.105	-
0.0509	36000	0.1169	-
0.0516	36500	0.1092	-
0.0523	37000	0.1063	-
0.0530	37500	0.1211	-
0.0537	38000	0.1077	-
0.0544	38500	0.1178	-
0.0551	39000	0.1278	-
0.0558	39500	0.0915	-
0.0565	40000	0.1083	-
0.0572	40500	0.1266	-
0.0579	41000	0.1013	-
0.0586	41500	0.1082	-
0.0593	42000	0.1169	-
0.0601	42500	0.1022	-
0.0608	43000	0.1142	-
0.0615	43500	0.1057	-
0.0622	44000	0.1113	-
0.0629	44500	0.0939	-
0.0636	45000	0.0991	0.2233
0.0643	45500	0.094	-
0.0650	46000	0.1267	-
0.0657	46500	0.1016	-
0.0664	47000	0.1027	-
0.0671	47500	0.1139	-
0.0678	48000	0.115	-
0.0685	48500	0.1063	-
0.0692	49000	0.1038	-
0.0699	49500	0.1021	-
0.0707	50000	0.089	-
0.0714	50500	0.0926	-
0.0721	51000	0.1106	-
0.0728	51500	0.1167	-
0.0735	52000	0.096	-
0.0742	52500	0.1007	-
0.0749	53000	0.097	-
0.0756	53500	0.0951	-
0.0763	54000	0.1103	-
0.0770	54500	0.0961	-
0.0777	55000	0.0778	-
0.0784	55500	0.1033	-
0.0791	56000	0.1059	-
0.0798	56500	0.1161	-
0.0805	57000	0.0968	-
0.0812	57500	0.098	-
0.0820	58000	0.1308	-
0.0827	58500	0.117	-
0.0834	59000	0.1097	-
0.0841	59500	0.1	-
0.0848	60000	0.1028	0.2310
0.0855	60500	0.102	-
0.0862	61000	0.1089	-
0.0869	61500	0.0973	-
0.0876	62000	0.0995	-
0.0883	62500	0.0984	-
0.0890	63000	0.0986	-
0.0897	63500	0.1098	-
0.0904	64000	0.0899	-
0.0911	64500	0.1144	-
0.0918	65000	0.0983	-
0.0926	65500	0.1094	-
0.0933	66000	0.108	-
0.0940	66500	0.1019	-
0.0947	67000	0.0986	-
0.0954	67500	0.0949	-
0.0961	68000	0.1013	-
0.0968	68500	0.1079	-
0.0975	69000	0.1081	-
0.0982	69500	0.0819	-
0.0989	70000	0.1104	-
0.0996	70500	0.0976	-
0.1003	71000	0.0835	-
0.1010	71500	0.1041	-
0.1017	72000	0.0903	-
0.1024	72500	0.1022	-
0.1031	73000	0.0883	-
0.1039	73500	0.0888	-
0.1046	74000	0.0975	-
0.1053	74500	0.0978	-
0.1060	75000	0.0964	0.2267

Framework Versions

• Python: 3.10.16
• Sentence Transformers: 5.1.1
• Transformers: 4.56.2
• PyTorch: 2.8.0+cu128
• Accelerate: 1.10.1
• Datasets: 4.1.1
• Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}