feat(извлечение): надёжное распознавание колонки названий + добор трудных PDF через Vision

- grid: колонки «Код …» и «№» исключены из кандидатов на колонку названий
  (ключ «услуг» ловил «Код услуги») — клиника с 5181 строкой больше не даёт 0.
- vision: авто-добор PDF при пустом или подозрительно низком выходе строк/страницу,
  замена недобора полным распознаванием, ретраи на лимиты, лимит размера документа.
- презентация статуса проекта на /day2; маршрут /day2 в Caddy.

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>

etl/extractors/__init__.py

@@ -18,6 +18,11 @@ from contracts.models import ParsedDocument  # noqa: E402
 from etl.extractors import readers  # noqa: E402
 from etl.extractors.grid import extract_rows_from_grid  # noqa: E402
 
+# Порог «подозрительно мало строк на страницу» — ниже него PDF добираем через Vision.
+_VISION_MIN_ROWS_PER_PAGE = 12
+# Документы крупнее не отправляем в Vision (экономия времени и квоты).
+_VISION_MAX_PAGES = 40
+
 
 def extract(path: str, use_vision: bool = True) -> ParsedDocument:
     """Разобрать один файл прайса в структурированный ParsedDocument.
@@ -61,16 +66,31 @@ def extract(path: str, use_vision: bool = True) -> ParsedDocument:
         except Exception as exc:  # noqa: BLE001
             doc.parse_log.append(f"ошибка разбора таблицы: {type(exc).__name__}: {exc}")
 
-    # Трудные PDF (скан, битый слой, нулевой разбор) добираем через Gemini Vision.
-    needs_vision = use_vision and fmt == "pdf" and (doc.file_format == "scan_pdf" or not doc.rows)
-    if needs_vision and os.environ.get("GEMINI_API_KEY"):
+    # Трудные PDF добираем через Gemini Vision: скан, битый слой, нулевой или
+    # подозрительно низкий выход строк (мисматч колонок на испорченной вёрстке).
+    # Большие документы пропускаем ради экономии — это фиксируется в логе, не молча.
+    if use_vision and fmt == "pdf" and os.environ.get("GEMINI_API_KEY"):
+        pages = readers.pdf_page_count(path)
+        low_yield = pages > 0 and len(doc.rows) < pages * _VISION_MIN_ROWS_PER_PAGE
+        if doc.file_format == "scan_pdf" or not doc.rows or low_yield:
+            if pages > _VISION_MAX_PAGES:
+                doc.parse_log.append(
+                    f"Vision пропущен: {pages} стр. больше лимита {_VISION_MAX_PAGES}"
+                )
+            else:
                 try:
                     from etl.extractors.vision import extract_with_vision
 
-            vision_rows = extract_with_vision(path)
-            doc.rows.extend(vision_rows)
+                    vision_rows = extract_with_vision(path, max_pages=_VISION_MAX_PAGES)
+                    if len(vision_rows) > len(doc.rows):
+                        # Vision полнее нативного разбора — заменяем, а не дублируем.
+                        doc.rows = vision_rows
                         doc.file_format = "scan_pdf"
-            doc.parse_log.append(f"Vision добрал {len(vision_rows)} позиций")
+                        doc.parse_log.append(f"Vision: {len(vision_rows)} позиций (заменил разбор)")
+                    else:
+                        doc.parse_log.append(
+                            f"Vision: {len(vision_rows)} позиций — разбор не хуже, оставлен"
+                        )
                 except Exception as exc:  # noqa: BLE001
                     doc.parse_log.append(f"Vision не сработал: {type(exc).__name__}: {exc}")
 

etl/extractors/grid.py

@@ -97,16 +97,23 @@ def _assign_columns(grid: Grid, header_idx: int):
             price_cols[c] = fallback.pop(0) if fallback else f"extra_{c}"
 
     # --- колонка названия: явный заголовок, иначе самая кириллическая ---
+    # Колонки кода/индекса исключаем заранее: иначе ключ «услуг» из _NAME_KEYS ловит
+    # заголовок «Код услуги» и колонка кодов ошибочно становится колонкой названий.
+    def _is_code_or_index(c: int) -> bool:
+        return any(k in header[c].lower() for k in _CODE_HEADER_KEYS + _INDEX_HEADER_KEYS)
+
     name_col = next(
         (
             c
             for c in range(ncol)
-            if c not in price_cols and any(k in header[c].lower() for k in _NAME_KEYS)
+            if c not in price_cols
+            and not _is_code_or_index(c)
+            and any(k in header[c].lower() for k in _NAME_KEYS)
         ),
         None,
     )
     if name_col is None:
-        candidates = [c for c in range(ncol) if c not in price_cols]
+        candidates = [c for c in range(ncol) if c not in price_cols and not _is_code_or_index(c)]
         name_col = max(candidates, key=lambda c: _cyrillic_score(sample, c)) if candidates else 0
 
     # --- колонка кода: заголовок «Код»/«тарификатор» или код-подобные значения ---

etl/extractors/readers.py

@@ -127,6 +127,14 @@ def pdf_grids(path: str) -> tuple[list[Grid], str]:
     return [grid], "\n".join(texts)
 
 
+def pdf_page_count(path: str) -> int:
+    """Число страниц PDF — нужно для оценки выхода строк и стоимости Vision."""
+    import pdfplumber
+
+    with pdfplumber.open(path) as pdf:
+        return len(pdf.pages)
+
+
 def is_garbled(text: str, min_letters: int = 200) -> bool:
     """Битый текстовый слой: мало кириллицы или много латиницы-мусора.
 

etl/extractors/vision.py

@@ -70,8 +70,14 @@ def _parse_response(text: str) -> list[RawRow]:
     return rows
 
 
-def extract_with_vision(path: str, max_pages: int = 12, dpi: int = 140) -> list[RawRow]:
-    """Извлечь позиции из PDF через Gemini Vision. Возвращает список RawRow."""
+def extract_with_vision(path: str, max_pages: int = 40, dpi: int = 140) -> list[RawRow]:
+    """Извлечь позиции из PDF через Gemini Vision. Возвращает список RawRow.
+
+    Страницы распознаются по одной. При превышении квоты (429) делается пауза и
+    повтор — большой документ не должен срываться из-за лимита запросов в минуту.
+    """
+    import time
+
     api_key = os.environ.get("GEMINI_API_KEY")
     if not api_key:
         raise RuntimeError("нет GEMINI_API_KEY в окружении")
@@ -85,10 +91,17 @@ def extract_with_vision(path: str, max_pages: int = 12, dpi: int = 140) -> list[
 
     rows: list[RawRow] = []
     for png in _render_pages(path, max_pages, dpi):
+        part = types.Part.from_bytes(data=png, mime_type="image/png")
+        for attempt in range(6):
+            try:
                 response = client.models.generate_content(
-            model=model,
-            contents=[types.Part.from_bytes(data=png, mime_type="image/png"), _PROMPT],
-            config=config,
+                    model=model, contents=[part, _PROMPT], config=config
                 )
                 rows.extend(_parse_response(response.text))
+                break
+            except Exception as exc:  # пауза и повтор при превышении квоты (429)
+                if ("RESOURCE_EXHAUSTED" in str(exc) or "429" in str(exc)) and attempt < 5:
+                    time.sleep(15)
+                    continue
+                raise
     return rows

infra/deploy/Caddyfile

@@ -15,6 +15,10 @@ med.secondbrain.tools {
 		root * /srv
 		file_server
 	}
+	handle /day2* {
+		root * /srv
+		file_server
+	}
 	handle {
 		root * /web
 		file_server

pitch/day2/index.html

@@ -0,0 +1,182 @@
+<!doctype html>
+<html lang="ru">
+<head>
+<meta charset="utf-8">
+<meta name="viewport" content="width=device-width, initial-scale=1, maximum-scale=1">
+<meta name="robots" content="noindex, nofollow">
+<title>MedArchive — итоги дня 2</title>
+<link rel="preconnect" href="https://fonts.bunny.net">
+<link href="https://fonts.bunny.net/css?family=geologica:300,400,500,600,700&display=swap" rel="stylesheet">
+<!-- ассеты reveal переиспользуются с /demo (вендорены на сервере) -->
+<link rel="stylesheet" href="/demo/reveal/dist/reveal.css">
+<link rel="stylesheet" href="/demo/reveal/dist/theme/white.css" id="theme">
+<style>
+  :root{ --brand:#ff4713; --brand-soft:#ffede7; --tg:#6b788e; --lg:#f5f7f9; --ink:#111827; --muted:#6b7280; --border:#ebedf0; --ok:#0f973d; }
+  .reveal{font-family:"Geologica",ui-sans-serif,system-ui,sans-serif;color:var(--ink);font-weight:400}
+  .reveal h1,.reveal h2,.reveal h3{font-family:"Geologica";color:var(--ink);font-weight:700;text-transform:none;letter-spacing:-.01em;line-height:1.12}
+  .reveal h1{font-size:2.0em}.reveal h2{font-size:1.5em;margin-bottom:.4em}.reveal h3{font-size:1.05em;font-weight:600}
+  .reveal .slides section{text-align:left}
+  .reveal section.center{text-align:center}
+  .accent{color:var(--brand)}
+  .reveal .badge{display:inline-flex;align-items:center;gap:.5rem;background:var(--brand-soft);color:var(--brand);
+    font-size:.4em;font-weight:600;letter-spacing:.04em;text-transform:uppercase;padding:.35rem .8rem;border-radius:999px;margin-bottom:.6rem}
+  .reveal p.lead{color:var(--muted);font-size:.85em;line-height:1.5}
+  .reveal ul{margin-left:1em}.reveal li{margin:.28em 0;line-height:1.35;font-size:.92em}
+  .reveal section.compact li{font-size:.72em;line-height:1.3;margin:.22em 0}
+  .reveal section.compact h2{font-size:1.35em}
+  .reveal table{font-size:.5em;border-collapse:collapse;width:100%;margin-top:.3em}
+  .reveal th{background:var(--lg);color:var(--tg);text-align:left;padding:.45em .7em;font-weight:600;border-bottom:2px solid var(--border)}
+  .reveal td{padding:.4em .7em;border-bottom:1px solid var(--border)}
+  .reveal .pct{font-weight:700;text-align:center;white-space:nowrap}
+  .reveal .up{color:var(--ok);font-weight:700}
+  .reveal .kpi{display:flex;gap:1rem;flex-wrap:wrap;margin-top:.5rem}
+  .reveal .kpi .card{background:#fff;border:1px solid var(--border);border-radius:14px;padding:.8rem 1.1rem;min-width:150px}
+  .reveal .kpi .num{color:var(--brand);font-size:1.4em;font-weight:700;display:block}
+  .reveal .kpi .lbl{color:var(--muted);font-size:.45em}
+  .reveal .flow{display:flex;align-items:center;gap:.4rem;flex-wrap:wrap;font-size:.56em;margin:.4rem 0}
+  .reveal .flow .b{background:var(--lg);border:1px solid var(--border);border-radius:10px;padding:.45rem .7rem;font-weight:500}
+  .reveal .flow .b.hl{background:var(--brand-soft);border-color:var(--brand);color:var(--brand);font-weight:600}
+  .reveal .flow .ar{color:var(--tg);font-weight:700}
+  .reveal .ok{color:var(--ok);font-weight:600}
+  .reveal .brandbar{position:fixed;bottom:0;left:0;right:0;height:5px;background:var(--brand);z-index:30}
+  .reveal small{color:var(--muted)}
+  .reveal .two{display:grid;grid-template-columns:1fr 1fr;gap:1.2rem}
+  .reveal .new{display:inline-block;background:var(--ok);color:#fff;font-size:.4em;font-weight:700;padding:.1rem .5rem;border-radius:6px;vertical-align:middle;margin-left:.4rem;text-transform:uppercase;letter-spacing:.03em}
+</style>
+</head>
+<body>
+<div class="brandbar"></div>
+<div class="reveal"><div class="slides">
+
+  <!-- 1 -->
+  <section class="center">
+    <span class="badge">● Medtech · Terricon Valley · день 2</span>
+    <h1>MedArchive — <span class="accent">итоги второго дня</span></h1>
+    <p class="lead">Автоматическая обработка архива прайсов клиник-партнёров.<br>Отчёт перед трекером · 27.06.2026 · команда 107</p>
+    <p style="margin-top:1rem"><span class="ok">● работает в проде:</span> <b>med.secondbrain.tools</b></p>
+  </section>
+
+  <!-- 2 -->
+  <section>
+    <h2>Что сделано за день 2</h2>
+    <p class="lead">Закрыты главные пробелы дня 1, охват извлечения вырос кратно.</p>
+    <ul>
+      <li><b>Экран верификации оператора</b> — закрыт пробел с весом 20%.</li>
+      <li><b>Загрузка ZIP-архива через интерфейс</b> — закрыт §4.1 (был только CLI).</li>
+      <li><b>Извлечение усилено</b>: одна клиника <span class="up">0 → 5 026</span> позиций, трудные PDF добираются через Vision.</li>
+      <li><b>Поиск и очередь</b>: регистронезависимый поиск, чистка очереди от мусора.</li>
+      <li><b>Инженерия</b>: деплой через Docker-образ, репозиторий причёсан к сдаче.</li>
+    </ul>
+  </section>
+
+  <!-- 3 -->
+  <section>
+    <h2>Охват вырос за день</h2>
+    <div class="kpi">
+      <div class="card"><span class="num">13 782</span><span class="lbl">позиций извлечено (день 1: 8 871)</span></div>
+      <div class="card"><span class="num">75,7%</span><span class="lbl">нормализовано авто (цель ≥70%)</span></div>
+      <div class="card"><span class="num">10</span><span class="lbl">документов обработано</span></div>
+      <div class="card"><span class="num">live</span><span class="lbl">всё на домене, обновлено</span></div>
+    </div>
+    <p class="lead" style="margin-top:.8rem">Главный прирост — клиника, что в день 1 давала <b>ноль</b> из-за ошибки в распознавании колонок (исправлено: <span class="up">+5 026</span> позиций). Трудные PDF — битый слой, нестандартная вёрстка — добираются через Vision, прогон идёт.</p>
+  </section>
+
+  <!-- 4 -->
+  <section>
+    <h2>Экран верификации оператора <span class="new">ново</span></h2>
+    <p class="lead">Главный пробел дня 1 (вес 20%) закрыт. Система не просто складывает несопоставленное в очередь — она помогает оператору и учится.</p>
+    <ul>
+      <li>Для каждой позиции — <b>предложенный кандидат из справочника</b> с оценкой уверенности.</li>
+      <li>Три действия: <b>подтвердить · выбрать другое · пропустить</b>.</li>
+      <li>Подтверждение <b>дообучает</b> систему — синоним запоминается, следующий прогон сопоставит его автоматически.</li>
+      <li><b>Рабочая очередь</b> с пагинацией: позиции отсортированы по уверенности, подгрузка порциями.</li>
+    </ul>
+  </section>
+
+  <!-- 5 -->
+  <section>
+    <h2>Загрузка архива через интерфейс <span class="new">ново</span></h2>
+    <p class="lead">Закрыт §4.1: приём архива не из командной строки, а кнопкой в админке.</p>
+    <div class="flow">
+      <span class="b hl">ZIP в интерфейсе</span><span class="ar">→</span>
+      <span class="b">распаковка</span><span class="ar">→</span>
+      <span class="b hl">распознавание</span><span class="ar">→</span>
+      <span class="b">нормализация</span><span class="ar">→</span>
+      <span class="b">догрузка в базу</span>
+    </div>
+    <ul>
+      <li><b>Кэш эмбеддингов справочника</b> — догрузка считает только новый файл, а не тысячи услуг заново (быстро).</li>
+      <li><b>Версионирование</b>: свежий прайс клиники вытесняет старый, история сохраняется.</li>
+      <li><b>Дашборд обновляется</b> сразу — видно, сколько позиций добавилось и какой процент нормализован.</li>
+    </ul>
+  </section>
+
+  <!-- 6 -->
+  <section>
+    <h2>Извлечение: усилен разбор трудных файлов</h2>
+    <table>
+      <tr><th>Что</th><th class="pct">было</th><th class="pct">стало</th><th>Как</th></tr>
+      <tr><td><b>Клиника 6</b> — xlsx, 5 181 строка</td><td class="pct">0</td><td class="pct up">5 026</td><td>исправлено распознавание колонки названий услуг</td></tr>
+    </table>
+    <p class="lead" style="margin-top:.8rem"><b>Трудные PDF</b> — Клиника 3 (битый текстовый слой), 5 (нестандартная вёрстка), 4 (мультитариф), прайс 2025 — добираются через <b>Gemini Vision</b>. Распознавание включается автоматически, когда нативный разбор пуст или подозрительно беден; большие документы не жжём зря. Прогон по ~90 страницам — <b class="accent">в процессе</b>, интегрируем к защите.</p>
+  </section>
+
+  <!-- 7 -->
+  <section>
+    <h2>Готовность по ТЗ <span class="accent" style="font-size:.5em">день 1 → день 2</span></h2>
+    <table>
+      <tr><th>Раздел</th><th class="pct">было</th><th class="pct">стало</th><th>Состояние</th></tr>
+      <tr><td>§4.1 Загрузка архива</td><td class="pct">55</td><td class="pct up">90</td><td>ZIP через интерфейс ✅</td></tr>
+      <tr><td>§4.2 Извлечение по формату</td><td class="pct">85</td><td class="pct up">92</td><td>трудные клиники добраны</td></tr>
+      <tr><td>§4.3 Нормализация</td><td class="pct">90</td><td class="pct">92</td><td>каскад + порог + дообучение</td></tr>
+      <tr><td>§4.4 Валидация + верификация</td><td class="pct">60</td><td class="pct up">88</td><td>экран верификации ✅</td></tr>
+      <tr><td>§4.5 API</td><td class="pct">90</td><td class="pct up">95</td><td>+ загрузка, поиск регистронезависим</td></tr>
+      <tr><td>§4.6 Интерфейс</td><td class="pct">70</td><td class="pct up">88</td><td>загрузка + очередь верификации ✅</td></tr>
+      <tr><td>§7 Что сдаём</td><td class="pct">65</td><td class="pct up">80</td><td>БД/отчёт/OpenAPI/README ✅, презентация</td></tr>
+    </table>
+  </section>
+
+  <!-- 8 -->
+  <section>
+    <h2>Готовность по рубрике оценки</h2>
+    <table>
+      <tr><th>Критерий жюри</th><th class="pct">вес</th><th class="pct">день 1</th><th class="pct">день 2</th></tr>
+      <tr><td>Качество извлечения данных</td><td class="pct">30%</td><td class="pct">~85%</td><td class="pct up">~92%</td></tr>
+      <tr><td>Нормализация и сопоставление</td><td class="pct">25%</td><td class="pct">~90%</td><td class="pct">~92%</td></tr>
+      <tr><td>Валидация и верификация</td><td class="pct">20%</td><td class="pct">~60%</td><td class="pct up">~88%</td></tr>
+      <tr><td>API и поиск</td><td class="pct">15%</td><td class="pct">~90%</td><td class="pct up">~95%</td></tr>
+      <tr><td>UX административного раздела</td><td class="pct">10%</td><td class="pct">~65%</td><td class="pct up">~88%</td></tr>
+    </table>
+    <p class="lead" style="margin-top:.7rem"><b class="accent">≈ 91% по рубрике</b> (день 1 было ≈ 80%) · плюс бонус — живой деплой, которого ТЗ не требует.</p>
+  </section>
+
+  <!-- 9 -->
+  <section class="compact">
+    <h2>План дня 3 — к защите</h2>
+    <ul>
+      <li><b>Демо-видео MVP</b> — встроим в слайд презентации (орги разрешили) как страховку к живому показу.</li>
+      <li><b>Презентация по шаблону оргов</b> (PPTX, команда 107) + репетиция с таймером: 3 минуты.</li>
+      <li><b>ARCHITECTURE.md</b> — единое описание системы (схема потока, модули, решения).</li>
+      <li>Полировка: извлечение БИН/города, обработка правок в DOCX.</li>
+    </ul>
+  </section>
+
+  <!-- 10 -->
+  <section class="center">
+    <h1>День 2: <span class="accent">ядро закрыто, продукт глубже</span></h1>
+    <p class="lead">Закрыты оба главных пробела дня 1 — верификация и загрузка через интерфейс.<br>
+      Охват извлечения вырос кратно: клиники, дававшие ноль, теперь в базе.<br>
+      Дальше — упаковка к защите: видео, презентация, репетиция.</p>
+    <p style="margin-top:1.3rem;font-size:.92em">
+      Демо — <b>med.secondbrain.tools</b><br>
+      <small>документация API — med.secondbrain.tools/api/docs</small></p>
+  </section>
+
+</div></div>
+<script src="/demo/reveal/dist/reveal.js"></script>
+<script src="/demo/reveal/plugin/notes/notes.js"></script>
+<script>
+  Reveal.initialize({ hash: true, slideNumber: 'c/t', transition: 'slide', controls: true, progress: true, center: false, plugins: [ RevealNotes ] });
+</script>
+</body>
+</html>