fix(normalize): confidence-aware guard переобобщения → честные 73,7%
Прежний guard снимал эмбеддинг-матч, если услуга собрала в клинике больше 8 разных названий. Это наказывало легитимные частотные услуги — одна «МРТ головного мозга» реально встречается под десятками протоколов (с контрастом, 3Тл, предоперационная), и все они верно нормализуются к ней. Процент падал до 69%. Теперь снимаем только НЕуверенные матчи (<0,72) внутри концентрированных групп: так отсекается сиблинг-захват (напр. «Магний Mg (моча)» подтягивал Никель/Свинец/Ртуть в моче на пороге 0,70), а верные вариации остаются сопоставленными. Признак ошибки — низкая уверенность, а не число названий. Итог на тестовом архиве: 16 140 позиций извлечено, 73,7% нормализовано автоматически (цель ТЗ ≥70%), 273 неуверенных матча — в очередь верификации. Цифры выровнены в README, ARCHITECTURE, питч-деках, PPTX, quality_report. Плюс полировка: извлечение города клиники, регистронезависимый поиск. Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
This commit is contained in:
@@ -16,9 +16,9 @@ XLSX/XLS), извлекает услуги и цены, нормализует
|
||||
|
||||
## Результат на тестовом архиве (8 клиник, 10 файлов)
|
||||
|
||||
- **15 086 позиций** извлечено: нативными парсерами + трудные PDF (битый текстовый слой,
|
||||
- **16 140 позиций** извлечено: нативными парсерами + трудные PDF (битый текстовый слой,
|
||||
нестандартная вёрстка) — через Gemini Vision; обработаны все 8 клиник.
|
||||
- **76,1% позиций нормализованы автоматически** (цель ТЗ — не ниже 70%).
|
||||
- **73,7% позиций нормализованы автоматически** (цель ТЗ — не ниже 70%).
|
||||
- Остальное уходит в очередь ручной разметки, как и предполагает ТЗ.
|
||||
|
||||
Полный отчёт о качестве — `docs/quality_report.json`.
|
||||
|
||||
Reference in New Issue
Block a user