feat(ingest+поиск): приём ZIP через интерфейс, регистронезависимый поиск, чистка очереди

- Загрузка архива (§4.1): POST /ingest распаковывает ZIP, дораспознаёт и
  догружает прайсы в базу (append). Виджет в админке. Кэш эмбеддингов справочника
  (dict_emb.npy) — догрузка считает только новый файл, эмбеддинги best-effort с
  откатом на fuzzy при сбое Gemini.
- Поиск по name_norm (lowercase): «УЗИ» и «узи» дают одинаковый результат —
  SQLite LIKE не сворачивает регистр для кириллицы.
- Фильтр названий: код-мнемоники («МОЗО.15») больше не попадают в очередь.
- /stats считается из базы — цифры на дашборде обновляются после загрузки.
- Деплой через Dockerfile (зависимости в образе, код монтируется томом).
- ruff: ядро и весь репозиторий проходят проверку.

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
This commit is contained in:
2026-06-27 11:35:12 +05:00
parent 89928511ba
commit 69a9884db5
25 changed files with 2217 additions and 182 deletions
+24
View File
@@ -0,0 +1,24 @@
# Образ API MedArchive: зависимости ставятся один раз в слой образа, код проекта
# монтируется томом (/root/medarchive:/app) — правки кода не требуют пересборки.
# Тяжёлые зависимости (pdfplumber, pymupdf, google-genai) нужны для приёма ZIP через
# интерфейс (/ingest): распаковка, распознавание и нормализация идут прямо на сервере.
FROM python:3.12-slim
WORKDIR /app
# Зависимости рантайма. Версии — как в pyproject.toml.
RUN pip install --no-cache-dir \
"fastapi>=0.115" \
"uvicorn[standard]>=0.32" \
"pydantic>=2.9" \
"python-multipart>=0.0.12" \
"openpyxl>=3.1" \
"xlrd>=2.0" \
"python-docx>=1.1" \
"pdfplumber>=0.11" \
"pymupdf>=1.24" \
"rapidfuzz>=3.10" \
"numpy>=2.0" \
"google-genai>=1.0"
CMD ["uvicorn", "api.main:app", "--host", "0.0.0.0", "--port", "8000"]
+30 -7
View File
@@ -1,19 +1,42 @@
# Деплой MedArchive
Лёгкая схема: контейнер API (FastAPI на готовой SQLite-базе) за общим Caddy на Selectel KZ.
Рантайму не нужны ни Gemini, ни модель — эмбеддинги и Vision отработали на этапе сборки базы.
Контейнер API (FastAPI) за общим Caddy на Selectel KZ. Read-only поиск работает на
готовой SQLite-базе; приём ZIP через интерфейс (`/ingest`) дораспаковывает и нормализует
новые прайсы прямо на сервере, поэтому в образ включены тяжёлые зависимости (pdfplumber,
pymupdf, google-genai), а контейнеру нужен ключ Gemini.
## Раскладка на сервере
- `/root/medarchive/` — код и данные, монтируется в контейнер как `/app`:
- `api/`, `contracts/`, `etl/` — код (правки кода не требуют пересборки образа);
- `web/` — статический фронт (его же отдаёт Caddy);
- `data/medarchive.db` — собранная база, `data/quality_report.json` — отчёт сборки;
- `data/dict_emb.npy` — кэш эмбеддингов справочника (чтобы догрузка не пересчитывала его);
- `data/reference/dictionary.xlsx` — эталонный справочник услуг для нормализации.
- `/root/med-hackathon/` — каталог Caddy: `docker-compose.yml`, `Dockerfile`, `Caddyfile`,
`site/` (презентации) и `.env` с `GEMINI_API_KEY` (в публичный репозиторий не попадает).
## Шаги
1. Залить на сервер: код (`api/`, `contracts/`), фронт (`web/`), базу (`data/medarchive.db`) и
отчёт (`data/quality_report.json`) — в `/root/medarchive/`.
2. Положить `docker-compose.yml` и `Caddyfile` из этой папки в каталог с Caddy.
3. `docker compose up -d` — поднимется `medarchive-api` (ставит зависимости и запускает uvicorn).
4. Маршруты Caddy: `/api/*` → контейнер API, `/` → фронт, `/demo` → презентация.
1. Залить код и данные в `/root/medarchive/` (см. раскладку выше).
2. Положить `docker-compose.yml`, `Dockerfile`, `Caddyfile` в `/root/med-hackathon/`.
3. Создать `/root/med-hackathon/.env`:
```
GEMINI_API_KEY=…
```
4. Собрать образ и поднять стек:
```bash
cd /root/med-hackathon
docker compose build api
docker compose up -d
```
5. Маршруты Caddy: `/api/*` → контейнер API, `/` → фронт, `/demo` и `/day1` → презентации.
## Проверка
```bash
curl https://med.secondbrain.tools/api/health
curl https://med.secondbrain.tools/api/stats
# приём архива через интерфейс:
curl -X POST https://med.secondbrain.tools/api/ingest -F "file=@archive.zip"
```
+8 -2
View File
@@ -14,7 +14,10 @@ services:
- caddy_config:/config
api:
image: python:3.12-slim
build:
context: .
dockerfile: Dockerfile
image: medarchive-api:latest
container_name: medarchive-api
restart: unless-stopped
working_dir: /app
@@ -22,7 +25,10 @@ services:
- /root/medarchive:/app
environment:
MEDARCHIVE_DB: /app/data/medarchive.db
command: sh -c "pip install --quiet --no-cache-dir fastapi 'uvicorn[standard]' pydantic && uvicorn api.main:app --host 0.0.0.0 --port 8000"
# Ключ Gemini для распознавания и эмбеддингов при загрузке архива (/ingest).
# Значение — из .env рядом с этим файлом (в публичный репозиторий не попадает).
GEMINI_API_KEY: ${GEMINI_API_KEY:-}
command: ["uvicorn", "api.main:app", "--host", "0.0.0.0", "--port", "8000"]
volumes:
caddy_data: