RAG-Syntec — EN COURS

La convention collective Syntec (IDCC 1486) issue de Légifrance : 172 documents découpés en 8 447 chunks, versionnés dans un manifeste haché.

Solo

1. Ingestion et découpage : des chunks de 500 caractères avec 100 caractères de chevauchement.
2. Un index Chroma avec récupération dense top-3, embeddings depuis un modèle local (Ollama) ou OpenAI.
3. Génération avec un modèle local ou gpt-4o-mini derrière la même interface.
4. Un endpoint /query en FastAPI, Docker Compose et 30 tests pytest.
5. Un jeu étiqueté de 55 questions réparties en quatre classes, plus 20 mises de côté, et les métriques recall@k, precision@k et MRR.

Refuser avant de générer

Si le chunk le plus proche est plus loin qu'une distance calibrée, l'API refuse sans appeler le LLM.

Corpus versionné

Un manifeste haché relie chaque chunk à une version de document.

Modèles locaux ou hébergés

Le même pipeline tourne sur Ollama ou sur OpenAI.

Calibration du seuil seulement : les questions dans le sujet sont restées sous une distance de 0,701, les hors-sujet au-dessus de 0,780 ; le seuil est fixé à 0,74.

• Aucune évaluation de la récupération n'a encore été lancée : le jeu de questions et les métriques existent, l'exécuteur non.
• Récupération dense uniquement : la recherche hybride et le reranking sont prévus, pas encore réalisés.
• Le seuil de refus repose sur six questions.