feat(etl): нормализация на Gemini-эмбеддингах (API), Vision подключён
- эмбеддинги переведены с локального torch на Gemini API (лёгкий контейнер) GeminiEmbedder: gemini-embedding-001, 768d, RETRIEVAL query/document - фильтр настоящих названий: коды/числа не уходят в сопоставление - порог косинуса 0.70 → ~73% автонормализации (цель ТЗ ≥70%), остальное в unmatched - Vision (gemini-2.5-flash, новый SDK) подключён в диспетчер для скан/нулевых PDF; проверено: Клиника 5 — 34 чистые позиции со страницы - зависимости: убран torch/sentence-transformers, добавлен google-genai+numpy Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
This commit is contained in:
@@ -6,6 +6,7 @@ PDF с битым текстовым слоем помечается как scan
|
||||
"""
|
||||
from __future__ import annotations
|
||||
|
||||
import os
|
||||
import sys
|
||||
from datetime import date
|
||||
from pathlib import Path
|
||||
@@ -53,6 +54,19 @@ def extract(path: str) -> ParsedDocument:
|
||||
except Exception as exc: # noqa: BLE001
|
||||
doc.parse_log.append(f"ошибка разбора таблицы: {type(exc).__name__}: {exc}")
|
||||
|
||||
if not doc.rows and doc.file_format != "scan_pdf":
|
||||
doc.parse_log.append("позиции не извлечены — возможно, нужен Vision или иной парсер")
|
||||
# Трудные PDF (скан, битый слой, нулевой разбор) добираем через Gemini Vision.
|
||||
needs_vision = fmt == "pdf" and (doc.file_format == "scan_pdf" or not doc.rows)
|
||||
if needs_vision and os.environ.get("GEMINI_API_KEY"):
|
||||
try:
|
||||
from etl.extractors.vision import extract_with_vision
|
||||
|
||||
vision_rows = extract_with_vision(path)
|
||||
doc.rows.extend(vision_rows)
|
||||
doc.file_format = "scan_pdf"
|
||||
doc.parse_log.append(f"Vision добрал {len(vision_rows)} позиций")
|
||||
except Exception as exc: # noqa: BLE001
|
||||
doc.parse_log.append(f"Vision не сработал: {type(exc).__name__}: {exc}")
|
||||
|
||||
if not doc.rows:
|
||||
doc.parse_log.append("позиции не извлечены")
|
||||
return doc
|
||||
|
||||
Reference in New Issue
Block a user