feat(ingest+поиск): приём ZIP через интерфейс, регистронезависимый поиск, чистка очереди

- Загрузка архива (§4.1): POST /ingest распаковывает ZIP, дораспознаёт и
  догружает прайсы в базу (append). Виджет в админке. Кэш эмбеддингов справочника
  (dict_emb.npy) — догрузка считает только новый файл, эмбеддинги best-effort с
  откатом на fuzzy при сбое Gemini.
- Поиск по name_norm (lowercase): «УЗИ» и «узи» дают одинаковый результат —
  SQLite LIKE не сворачивает регистр для кириллицы.
- Фильтр названий: код-мнемоники («МОЗО.15») больше не попадают в очередь.
- /stats считается из базы — цифры на дашборде обновляются после загрузки.
- Деплой через Dockerfile (зависимости в образе, код монтируется томом).
- ruff: ядро и весь репозиторий проходят проверку.

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
This commit is contained in:
2026-06-27 11:35:12 +05:00
parent 89928511ba
commit 69a9884db5
25 changed files with 2217 additions and 182 deletions
+7 -2
View File
@@ -1,4 +1,5 @@
"""Подбор порога нормализации: выборка позиций → каскад → покрытие при порогах."""
import random
import sys
from pathlib import Path
@@ -63,7 +64,9 @@ for thr in (0.58, 0.60, 0.62, 0.64, 0.66, 0.70):
emb_matched = int((top_score >= thr).sum())
fuzzy_matched = int(((fuzzy_score >= 88) & (top_score < thr)).sum())
coverage = base + emb_matched + fuzzy_matched
print(f" порог {thr}: эмб {emb_matched} + fuzzy {fuzzy_matched} → покрытие {100 * coverage / len(sample):.0f}%")
print(
f" порог {thr}: эмб {emb_matched} + fuzzy {fuzzy_matched} → покрытие {100 * coverage / len(sample):.0f}%"
)
print("\nпримеры эмбеддинг-совпадений (порог 0.62):")
shown = 0
@@ -75,5 +78,7 @@ print("примеры unmatched (top<0.62 и fuzzy<88):")
shown = 0
for k, (name, _) in enumerate(pending):
if top_score[k] < 0.62 and fuzzy_score[k] < 88 and shown < 6:
print(f" «{name[:48]}» (лучший {services[int(top_idx[k])].name_ru[:22]} {top_score[k]:.2f})")
print(
f" «{name[:48]}» (лучший {services[int(top_idx[k])].name_ru[:22]} {top_score[k]:.2f})"
)
shown += 1