feat(etl): нормализация на Gemini-эмбеддингах (API), Vision подключён
- эмбеддинги переведены с локального torch на Gemini API (лёгкий контейнер) GeminiEmbedder: gemini-embedding-001, 768d, RETRIEVAL query/document - фильтр настоящих названий: коды/числа не уходят в сопоставление - порог косинуса 0.70 → ~73% автонормализации (цель ТЗ ≥70%), остальное в unmatched - Vision (gemini-2.5-flash, новый SDK) подключён в диспетчер для скан/нулевых PDF; проверено: Клиника 5 — 34 чистые позиции со страницы - зависимости: убран torch/sentence-transformers, добавлен google-genai+numpy Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
This commit is contained in:
+2
-2
@@ -15,8 +15,8 @@ dependencies = [
|
||||
"pdfplumber>=0.11", # PDF с текстовым слоем
|
||||
"pymupdf>=1.24", # рендер страниц для Vision
|
||||
"rapidfuzz>=3.10", # нечёткое сопоставление
|
||||
"sentence-transformers>=3.3", # многоязычные эмбеддинги
|
||||
"google-generativeai>=0.8", # Gemini Vision
|
||||
"numpy>=2.0", # векторные операции при сопоставлении
|
||||
"google-genai>=1.0", # Gemini Vision + эмбеддинги (API, без локального torch)
|
||||
]
|
||||
|
||||
[tool.ruff]
|
||||
|
||||
Reference in New Issue
Block a user