# OML_DB - Roadmap d'amelioration des tools

Date: 2026-02-23

## Contexte
Cette proposition est basee sur une analyse du codebase (et non seulement du menu UI), notamment:
- `app.py`
- `apps/database_page.py`
- `utils/utils_vars.py`
- `queries/process_all_db.py`
- `apps/ciq_2g_generator.py`
- `apps/ciq_3g_generator.py`
- `apps/ciq_4g_generator.py`
- `apps/clustering.py`
- `apps/dump_compare.py`

## Propositions cibles (specifiques au repo)
1. Health Summary (nouveau tool)
- Ajouter une page unique qui agrege:
  - qualite DB
  - KPI
  - checks existants
- Points de connexion:
  - navigation: `app.py`
  - donnees: `utils/utils_vars.py`, `utils/kpi_analysis_utils.py`

2. Shared Dump Cache
- Parser le dump une seule fois par session et reutiliser les donnees entre pages/tools.
- Cible:
  - `apps/database_page.py`
  - harmonisation avec les autres pages qui relisent le meme dump.

3. Export Job Runner + Progress
- Encapsuler les exports lourds avec:
  - statut
  - progression
  - log utilisateur
- Cible:
  - orchestration: `apps/database_page.py`
  - execution: `queries/process_all_db.py`

4. Validation Engine (fichiers en entree)
- Validation schema avant calcul:
  - colonnes obligatoires
  - types minimaux
  - messages d'erreur explicites
- Priorite:
  - `apps/clustering.py`
  - `apps/dump_compare.py`

5. CIQ Unified Generator
- Factoriser le flux commun 2G/3G/4G:
  - upload
  - spinner
  - session state
  - download
- Cible:
  - `apps/ciq_2g_generator.py`
  - `apps/ciq_3g_generator.py`
  - `apps/ciq_4g_generator.py`

6. Settings Persistence
- Persister les toggles metier (ex: exclusion BSC 2G decom) entre refresh/restart.
- Cible:
  - `apps/database_page.py`
  - `utils/utils_vars.py`

## Priorisation impact / effort
1. Validation Engine
- Effort: S
- Impact: Fort immediat (moins de plantages opaques)

2. Export Job Runner + Progress
- Effort: M
- Impact: Fort UX (visibilite sur traitements longs)

3. CIQ Unified Generator
- Effort: M
- Impact: Fort maintenance (moins de duplication)

4. Shared Dump Cache
- Effort: M/L
- Impact: Fort perf (moins de re-parse)

5. Health Summary
- Effort: M/L
- Impact: Fort operationnel (vision unique)

6. Settings Persistence
- Effort: M
- Impact: Moyen/fort UX (moins de reconfiguration)

## Plan de mise en oeuvre recommande
Phase 1 (quick wins)
- Validation Engine sur clustering + dump compare
- Progress/log minimal sur exports database

Phase 2
- Factorisation CIQ generators
- Persistence des settings critiques

Phase 3
- Shared Dump Cache transverse
- Nouvelle page Health Summary

## Notes techniques
- Attention a l'usage de globals dans `UtilsVars`: definir clairement les regles d'invalidation quand un nouveau dump est charge.
- Ajouter une convention de cles `st.session_state` pour eviter collisions entre pages.
- Preferer des fonctions utilitaires partagees pour les patterns repetes (upload/validate/process/download).