feat(etl): нормализация на Gemini-эмбеддингах (API), Vision подключён

- эмбеддинги переведены с локального torch на Gemini API (лёгкий контейнер)
  GeminiEmbedder: gemini-embedding-001, 768d, RETRIEVAL query/document
- фильтр настоящих названий: коды/числа не уходят в сопоставление
- порог косинуса 0.70 → ~73% автонормализации (цель ТЗ ≥70%), остальное в unmatched
- Vision (gemini-2.5-flash, новый SDK) подключён в диспетчер для скан/нулевых PDF;
  проверено: Клиника 5 — 34 чистые позиции со страницы
- зависимости: убран torch/sentence-transformers, добавлен google-genai+numpy

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
This commit is contained in:
2026-06-26 17:17:06 +05:00
parent 14462e8c10
commit 1de66eaa85
9 changed files with 189 additions and 76 deletions
+2 -2
View File
@@ -15,8 +15,8 @@ dependencies = [
"pdfplumber>=0.11", # PDF с текстовым слоем
"pymupdf>=1.24", # рендер страниц для Vision
"rapidfuzz>=3.10", # нечёткое сопоставление
"sentence-transformers>=3.3", # многоязычные эмбеддинги
"google-generativeai>=0.8", # Gemini Vision
"numpy>=2.0", # векторные операции при сопоставлении
"google-genai>=1.0", # Gemini Vision + эмбеддинги (API, без локального torch)
]
[tool.ruff]