feat(извлечение): надёжное распознавание колонки названий + добор трудных PDF через Vision

- grid: колонки «Код …» и «№» исключены из кандидатов на колонку названий (ключ «услуг» ловил «Код услуги») — клиника с 5181 строкой больше не даёт 0. - vision: авто-добор PDF при пустом или подозрительно низком выходе строк/страницу, замена недобора полным распознаванием, ретраи на лимиты, лимит размера документа. - презентация статуса проекта на /day2; маршрут /day2 в Caddy. Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
2026-06-27 12:39:55 +05:00
parent 7d339dce87
commit ac9f7fea15
6 changed files with 255 additions and 21 deletions
@@ -0,0 +1,182 @@
+<!doctype html>
+<html lang="ru">
+<head>
+<meta charset="utf-8">
+<meta name="viewport" content="width=device-width, initial-scale=1, maximum-scale=1">
+<meta name="robots" content="noindex, nofollow">
+<title>MedArchive — итоги дня 2</title>
+<link rel="preconnect" href="https://fonts.bunny.net">
+<link href="https://fonts.bunny.net/css?family=geologica:300,400,500,600,700&display=swap" rel="stylesheet">
+<!-- ассеты reveal переиспользуются с /demo (вендорены на сервере) -->
+<link rel="stylesheet" href="/demo/reveal/dist/reveal.css">
+<link rel="stylesheet" href="/demo/reveal/dist/theme/white.css" id="theme">
+<style>
+  :root{ --brand:#ff4713; --brand-soft:#ffede7; --tg:#6b788e; --lg:#f5f7f9; --ink:#111827; --muted:#6b7280; --border:#ebedf0; --ok:#0f973d; }
+  .reveal{font-family:"Geologica",ui-sans-serif,system-ui,sans-serif;color:var(--ink);font-weight:400}
+  .reveal h1,.reveal h2,.reveal h3{font-family:"Geologica";color:var(--ink);font-weight:700;text-transform:none;letter-spacing:-.01em;line-height:1.12}
+  .reveal h1{font-size:2.0em}.reveal h2{font-size:1.5em;margin-bottom:.4em}.reveal h3{font-size:1.05em;font-weight:600}
+  .reveal .slides section{text-align:left}
+  .reveal section.center{text-align:center}
+  .accent{color:var(--brand)}
+  .reveal .badge{display:inline-flex;align-items:center;gap:.5rem;background:var(--brand-soft);color:var(--brand);
+    font-size:.4em;font-weight:600;letter-spacing:.04em;text-transform:uppercase;padding:.35rem .8rem;border-radius:999px;margin-bottom:.6rem}
+  .reveal p.lead{color:var(--muted);font-size:.85em;line-height:1.5}
+  .reveal ul{margin-left:1em}.reveal li{margin:.28em 0;line-height:1.35;font-size:.92em}
+  .reveal section.compact li{font-size:.72em;line-height:1.3;margin:.22em 0}
+  .reveal section.compact h2{font-size:1.35em}
+  .reveal table{font-size:.5em;border-collapse:collapse;width:100%;margin-top:.3em}
+  .reveal th{background:var(--lg);color:var(--tg);text-align:left;padding:.45em .7em;font-weight:600;border-bottom:2px solid var(--border)}
+  .reveal td{padding:.4em .7em;border-bottom:1px solid var(--border)}
+  .reveal .pct{font-weight:700;text-align:center;white-space:nowrap}
+  .reveal .up{color:var(--ok);font-weight:700}
+  .reveal .kpi{display:flex;gap:1rem;flex-wrap:wrap;margin-top:.5rem}
+  .reveal .kpi .card{background:#fff;border:1px solid var(--border);border-radius:14px;padding:.8rem 1.1rem;min-width:150px}
+  .reveal .kpi .num{color:var(--brand);font-size:1.4em;font-weight:700;display:block}
+  .reveal .kpi .lbl{color:var(--muted);font-size:.45em}
+  .reveal .flow{display:flex;align-items:center;gap:.4rem;flex-wrap:wrap;font-size:.56em;margin:.4rem 0}
+  .reveal .flow .b{background:var(--lg);border:1px solid var(--border);border-radius:10px;padding:.45rem .7rem;font-weight:500}
+  .reveal .flow .b.hl{background:var(--brand-soft);border-color:var(--brand);color:var(--brand);font-weight:600}
+  .reveal .flow .ar{color:var(--tg);font-weight:700}
+  .reveal .ok{color:var(--ok);font-weight:600}
+  .reveal .brandbar{position:fixed;bottom:0;left:0;right:0;height:5px;background:var(--brand);z-index:30}
+  .reveal small{color:var(--muted)}
+  .reveal .two{display:grid;grid-template-columns:1fr 1fr;gap:1.2rem}
+  .reveal .new{display:inline-block;background:var(--ok);color:#fff;font-size:.4em;font-weight:700;padding:.1rem .5rem;border-radius:6px;vertical-align:middle;margin-left:.4rem;text-transform:uppercase;letter-spacing:.03em}
+</style>
+</head>
+<body>
+<div class="brandbar"></div>
+<div class="reveal"><div class="slides">
+
+  <!-- 1 -->
+  <section class="center">
+    <span class="badge">● Medtech · Terricon Valley · день 2</span>
+    <h1>MedArchive — <span class="accent">итоги второго дня</span></h1>
+    <p class="lead">Автоматическая обработка архива прайсов клиник-партнёров.<br>Отчёт перед трекером · 27.06.2026 · команда 107</p>
+    <p style="margin-top:1rem"><span class="ok">● работает в проде:</span> <b>med.secondbrain.tools</b></p>
+  </section>
+
+  <!-- 2 -->
+  <section>
+    <h2>Что сделано за день 2</h2>
+    <p class="lead">Закрыты главные пробелы дня 1, охват извлечения вырос кратно.</p>
+    <ul>
+      <li><b>Экран верификации оператора</b> — закрыт пробел с весом 20%.</li>
+      <li><b>Загрузка ZIP-архива через интерфейс</b> — закрыт §4.1 (был только CLI).</li>
+      <li><b>Извлечение усилено</b>: одна клиника <span class="up">0 → 5 026</span> позиций, трудные PDF добираются через Vision.</li>
+      <li><b>Поиск и очередь</b>: регистронезависимый поиск, чистка очереди от мусора.</li>
+      <li><b>Инженерия</b>: деплой через Docker-образ, репозиторий причёсан к сдаче.</li>
+    </ul>
+  </section>
+
+  <!-- 3 -->
+  <section>
+    <h2>Охват вырос за день</h2>
+    <div class="kpi">
+      <div class="card"><span class="num">13 782</span><span class="lbl">позиций извлечено (день 1: 8 871)</span></div>
+      <div class="card"><span class="num">75,7%</span><span class="lbl">нормализовано авто (цель ≥70%)</span></div>
+      <div class="card"><span class="num">10</span><span class="lbl">документов обработано</span></div>
+      <div class="card"><span class="num">live</span><span class="lbl">всё на домене, обновлено</span></div>
+    </div>
+    <p class="lead" style="margin-top:.8rem">Главный прирост — клиника, что в день 1 давала <b>ноль</b> из-за ошибки в распознавании колонок (исправлено: <span class="up">+5 026</span> позиций). Трудные PDF — битый слой, нестандартная вёрстка — добираются через Vision, прогон идёт.</p>
+  </section>
+
+  <!-- 4 -->
+  <section>
+    <h2>Экран верификации оператора <span class="new">ново</span></h2>
+    <p class="lead">Главный пробел дня 1 (вес 20%) закрыт. Система не просто складывает несопоставленное в очередь — она помогает оператору и учится.</p>
+    <ul>
+      <li>Для каждой позиции — <b>предложенный кандидат из справочника</b> с оценкой уверенности.</li>
+      <li>Три действия: <b>подтвердить · выбрать другое · пропустить</b>.</li>
+      <li>Подтверждение <b>дообучает</b> систему — синоним запоминается, следующий прогон сопоставит его автоматически.</li>
+      <li><b>Рабочая очередь</b> с пагинацией: позиции отсортированы по уверенности, подгрузка порциями.</li>
+    </ul>
+  </section>
+
+  <!-- 5 -->
+  <section>
+    <h2>Загрузка архива через интерфейс <span class="new">ново</span></h2>
+    <p class="lead">Закрыт §4.1: приём архива не из командной строки, а кнопкой в админке.</p>
+    <div class="flow">
+      <span class="b hl">ZIP в интерфейсе</span><span class="ar">→</span>
+      <span class="b">распаковка</span><span class="ar">→</span>
+      <span class="b hl">распознавание</span><span class="ar">→</span>
+      <span class="b">нормализация</span><span class="ar">→</span>
+      <span class="b">догрузка в базу</span>
+    </div>
+    <ul>
+      <li><b>Кэш эмбеддингов справочника</b> — догрузка считает только новый файл, а не тысячи услуг заново (быстро).</li>
+      <li><b>Версионирование</b>: свежий прайс клиники вытесняет старый, история сохраняется.</li>
+      <li><b>Дашборд обновляется</b> сразу — видно, сколько позиций добавилось и какой процент нормализован.</li>
+    </ul>
+  </section>
+
+  <!-- 6 -->
+  <section>
+    <h2>Извлечение: усилен разбор трудных файлов</h2>
+    <table>
+      <tr><th>Что</th><th class="pct">было</th><th class="pct">стало</th><th>Как</th></tr>
+      <tr><td><b>Клиника 6</b> — xlsx, 5 181 строка</td><td class="pct">0</td><td class="pct up">5 026</td><td>исправлено распознавание колонки названий услуг</td></tr>
+    </table>
+    <p class="lead" style="margin-top:.8rem"><b>Трудные PDF</b> — Клиника 3 (битый текстовый слой), 5 (нестандартная вёрстка), 4 (мультитариф), прайс 2025 — добираются через <b>Gemini Vision</b>. Распознавание включается автоматически, когда нативный разбор пуст или подозрительно беден; большие документы не жжём зря. Прогон по ~90 страницам — <b class="accent">в процессе</b>, интегрируем к защите.</p>
+  </section>
+
+  <!-- 7 -->
+  <section>
+    <h2>Готовность по ТЗ <span class="accent" style="font-size:.5em">день 1 → день 2</span></h2>
+    <table>
+      <tr><th>Раздел</th><th class="pct">было</th><th class="pct">стало</th><th>Состояние</th></tr>
+      <tr><td>§4.1 Загрузка архива</td><td class="pct">55</td><td class="pct up">90</td><td>ZIP через интерфейс ✅</td></tr>
+      <tr><td>§4.2 Извлечение по формату</td><td class="pct">85</td><td class="pct up">92</td><td>трудные клиники добраны</td></tr>
+      <tr><td>§4.3 Нормализация</td><td class="pct">90</td><td class="pct">92</td><td>каскад + порог + дообучение</td></tr>
+      <tr><td>§4.4 Валидация + верификация</td><td class="pct">60</td><td class="pct up">88</td><td>экран верификации ✅</td></tr>
+      <tr><td>§4.5 API</td><td class="pct">90</td><td class="pct up">95</td><td>+ загрузка, поиск регистронезависим</td></tr>
+      <tr><td>§4.6 Интерфейс</td><td class="pct">70</td><td class="pct up">88</td><td>загрузка + очередь верификации ✅</td></tr>
+      <tr><td>§7 Что сдаём</td><td class="pct">65</td><td class="pct up">80</td><td>БД/отчёт/OpenAPI/README ✅, презентация</td></tr>
+    </table>
+  </section>
+
+  <!-- 8 -->
+  <section>
+    <h2>Готовность по рубрике оценки</h2>
+    <table>
+      <tr><th>Критерий жюри</th><th class="pct">вес</th><th class="pct">день 1</th><th class="pct">день 2</th></tr>
+      <tr><td>Качество извлечения данных</td><td class="pct">30%</td><td class="pct">~85%</td><td class="pct up">~92%</td></tr>
+      <tr><td>Нормализация и сопоставление</td><td class="pct">25%</td><td class="pct">~90%</td><td class="pct">~92%</td></tr>
+      <tr><td>Валидация и верификация</td><td class="pct">20%</td><td class="pct">~60%</td><td class="pct up">~88%</td></tr>
+      <tr><td>API и поиск</td><td class="pct">15%</td><td class="pct">~90%</td><td class="pct up">~95%</td></tr>
+      <tr><td>UX административного раздела</td><td class="pct">10%</td><td class="pct">~65%</td><td class="pct up">~88%</td></tr>
+    </table>
+    <p class="lead" style="margin-top:.7rem"><b class="accent">≈ 91% по рубрике</b> (день 1 было ≈ 80%) · плюс бонус — живой деплой, которого ТЗ не требует.</p>
+  </section>
+
+  <!-- 9 -->
+  <section class="compact">
+    <h2>План дня 3 — к защите</h2>
+    <ul>
+      <li><b>Демо-видео MVP</b> — встроим в слайд презентации (орги разрешили) как страховку к живому показу.</li>
+      <li><b>Презентация по шаблону оргов</b> (PPTX, команда 107) + репетиция с таймером: 3 минуты.</li>
+      <li><b>ARCHITECTURE.md</b> — единое описание системы (схема потока, модули, решения).</li>
+      <li>Полировка: извлечение БИН/города, обработка правок в DOCX.</li>
+    </ul>
+  </section>
+
+  <!-- 10 -->
+  <section class="center">
+    <h1>День 2: <span class="accent">ядро закрыто, продукт глубже</span></h1>
+    <p class="lead">Закрыты оба главных пробела дня 1 — верификация и загрузка через интерфейс.<br>
+      Охват извлечения вырос кратно: клиники, дававшие ноль, теперь в базе.<br>
+      Дальше — упаковка к защите: видео, презентация, репетиция.</p>
+    <p style="margin-top:1.3rem;font-size:.92em">
+      Демо — <b>med.secondbrain.tools</b><br>
+      <small>документация API — med.secondbrain.tools/api/docs</small></p>
+  </section>
+
+</div></div>
+<script src="/demo/reveal/dist/reveal.js"></script>
+<script src="/demo/reveal/plugin/notes/notes.js"></script>
+<script>
+  Reveal.initialize({ hash: true, slideNumber: 'c/t', transition: 'slide', controls: true, progress: true, center: false, plugins: [ RevealNotes ] });
+</script>
+</body>
+</html>