lab.kzbrd.ru как машины читают документы

OCR-модель на VLM · 4B

LightOnOCR-3-4B

Лучшая специализированная OCR-модель на наборе. Почти уровень 27B-моделей на печатных документах и в десятки раз быстрее их.

место в лидерборде3 из 20открыть лидерборд →
все 120 страниц0.802медиана 0.884
печатные, 900.879ниже 0.2: 3 стр. из 120
рукопись, 300.5711.03 стр/с

Коротко

  • Третье место. На печатных страницах уступает Glimmer примерно 0.03, на рукописи — заметно больше.
  • Кроме текста, отдаёт таблицы в HTML и рамки блоков (режим grounding). Структура таблиц на синтетике — TEDS 0.97, рамки — IoU 0.92.
  • 1.03 страницы в секунду в режиме plain и 0.49 в режиме grounding, при 64 параллельных запросах.

Как запускали

vLLM v0.30.0, bf16, --gpu-memory-utilization 0.75, --max-num-seqs 64. Рецепт взят из кода вендора, а не только из карточки модели:

  • запрос: сначала картинка; в режиме plain больше ничего, в режиме grounding — текст grounding;
  • temperature 0.2, top_p 1.0 (в карточке указано 0.9, это значение для прошлых поколений), enable_thinking: false, max_tokens 12288;
  • картинка только уменьшается до 2048 px по длинной стороне (LANCZOS), не увеличивается.

Что важно знать

  • Короткие петли («в том числе, в том числе, …») на 2–5 % страниц. Стандартный детектор повторов vLLM с параметрами Jina их не ловит. Работает repetition_detection: {min_pattern_size: 1, max_pattern_size: 64, min_count: 20}. Без него одна петля в 12 тысяч токенов задаёт время всего пакета.
  • Режим grounding даёт чуть больше баллов, чем plain, на всех размерах модели.
  • Мелкие фото стоит увеличивать до 2048 px: на фото справки 2-НДФЛ 752×1020 ключевые поля распознаются полностью только после увеличения.
  • Своей уверенности модель не отдаёт. Вероятности токенов из vLLM помогают найти «словарные догадки» в ФИО и ИНН, но уверенную ошибку в сумме не ловят.
  • Печати и логотипы модель «описывает» и придумывает в них текст. Блоки image и stamp лучше выбрасывать.

Когда брать

Основной кандидат для потока документов на одной видеокарте: качество почти как у больших VLM, плюс таблицы и рамки. Для рукописи она слабее Glimmer и Qwen3.8.

По типам страниц

Синяя полоса — LightOnOCR-3-4B, серая — медиана всех 20 моделей лидерборда на том же типе.

00.250.50.751скан или фото печатного61 стр.0.910рукопись30 стр.0.571без метки10 стр.0.772бланк, форма8 стр.0.775чистый текст6 стр.0.937текст с графикой4 стр.0.850скриншот1 стр.0.689

Распределение по страницам

Сколько страниц попало в каждый диапазон балла. Красным — почти полный провал (ниже 0.2).

20.0–0.110.1–0.220.2–0.330.3–0.440.4–0.580.5–0.690.6–0.7110.7–0.8240.8–0.9560.9–1.0

Все прогоны

ВариантВсеПечатныеРукописьДата
grounding (текст + рамки блоков) в лидерборде
results/lighton3-4b-144-grounding		 0.8020.8790.57109.10.2026
plain (только текст)
results/lighton3-4b-144-plain		 0.8010.8760.57609.10.2026

Где модель ошибается

Страницы с самым низким баллом в основном прогоне: две печатные и одна рукописная. Слева эталон, справа ответ модели (первые 700 знаков).

Страница MWS 1161, бланк, форма

Страница 1161 · бланк, форма · балл 0.181

Эталон

                                                                                                               Выписной эпикриз №

Наименование медицинской организации (фамилия, имя, отчество (при наличии) индивидуального предпринимателя, осуществляющего медицинскую деятельность), ОГРН (ОГРНИП)

" "
______________________________________________________________________________________________

Наименование отделения (структурного подразделения): Отделение противоопухолевой лекарственной терапии №2 (химиотерапевтическое)
Номер медицинской карты: " "_____________________________________________
Сведения о пациенте: " "
Фамилия, имя, отчество (при наличии): " "
Дата рождения: " "                …

LightOnOCR-3-4B

# Выписной эпикриз №

Наименование медицинской организации (фамилия, имя, отчество (при наличии) индивидуального предпринимателя, осуществляющего медицинскую деятельность), ОГРН (ОГРНИП)

Наименование отделения (структурного подразделения): Отделение противоопулевой лекарственной терапии №2 (химиотерапевтическое)

Номер медицинской карты:

Сведения о пациенте:

Фамилия, имя, отчество (при наличии):

Дата рождения: г. ... ... ... ... ... ... Пол: мужской

Регистрация по месту жительства:

Регистрация по месту пребывания:

... Санкт-Петербург

Поступил: в Стационар

Период нахождения: с ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
Страница MWS 1145, без метки

Страница 1145 · без метки · балл 0.241

Эталон

Первый Санкт-Петербургский государственный медицинский университет им. акад. И.П.Павлова
Отдел функциональной диагностики легких клиники госпитальной терапии
им. М.В.Черноруцкого. 197098, Санкт-Петербург, ул. Л. Толстого, 6/8, тел. 3387829

ИССЛЕДОВАНИЕ ДЫХАТЕЛЬНОЙ ФУНКЦИИ ЛЕГКИХ
=======================================

Дата обследования: 30.10.2015
Пол: Ж
Возраст:

| Параметр | Должные | Исходные величины | После вентолина | Измен. |
|-------------------|---------|-------------------|-----------------|--------|
| | Клемент Р. и др. 84 г., 94 г. | Фактич. | % в дол. | Фактич. | % в дол. | % |
| Статические легочные объемы | | | | | | |
| ОЕЛ (л) | 4,73 | 5,18 | 109,8 | Н | 5,63 | 119,1 | У | …

LightOnOCR-3-4B

Первый Санкт-Петербургский государственный медицинский университет им. акад. И.П.Павлова Отдел функциональной диагностики легких клиники госпитальной терапии им. М.В.Черноручского. 197098, Санкт-Петербург, ул. Л. Толстого, 6/8, тел. 3387829

**ИССЛЕДОВАНИЕ ДЫХАТЕЛЬНОЙ ФУНКЦИИ ЛЕГКИХ**

Дата обследования: 30.10.2015.

Пол: Ж Возраст:

<table>
  <thead>
    <tr>
      <th rowspan="2">Параметр</th>
      <th rowspan="2">Должные Клемент Р. и др. 84 г., 94 г.</th>
      <th colspan="2">Исходные величины</th>
      <th colspan="2">После вентолина</th>
      <th rowspan="2">Измен. % к исх.</th>
    </tr>
    <tr>
      <th>Фактич.</th>
      <th>% к дол.</th>
      <th>Фактич.</th>
      <th>% к до …
Страница MWS 936, рукопись

Страница 936 · рукопись · балл 0.035

Эталон

Ростово-Суздальские земли.
1) Междуречье оки и Волги. Немного севернее Киева.
2) Ополье - участок с плодородными лесными почвами на территории Владимирской области.
3) Кривичи и Вятичи.
4) Новгородцы, в поисках плодородной земли.
5)

ЮРИЙ Долгорукий
🞄 1125-1157;
🞄 Получил прозвище за стремление к Киеву;
🞄 1147 - основание Москвы. Впервые была упомянута Москва в летописи;
🞄 "Вырастил" и обогатил Суздаль и Ростов;
🞄 Всю жизнь мечтал править Киевом. Правил, но горожане его не любили.

АНДРЕЙ Боголюбский
🞄 1149-1174
🞄 Приходился сыном Юрию Долгорукому;
🞄 Получил прозвище за преданность Богу, любовь к семье и патриотизм;
🞄 Сделал столицей Боголюбово, свой город;
🞄 Украл икону Божьей матери из Кие …

LightOnOCR-3-4B

$\text{Ромео-Гюггелиус}$

$\text{Зенуи}$

$\text{Д) Alexygeres om u beore. Hymeno celebree}$

$\text{Kuleb.}$

$\text{2) Onoue - yamnae magedogymu reetenu}$

$\text{3) Kralium u bannum.}$

$\text{3) Hoberogye, & noueas magedogus zulum.}$

$\text{HOPUS Dologymus}$

$\text{• 1125–1152;}$

$\text{• Poygum nysbiumg za impeliume u Kuleby;}$

$\text{• 1142 – oxobanue olooubel. Enogbie obela ymoumugr}$

$\text{dleanba & umoumugri;}$

$\text{• “Bypaum” u oboumum cygdamu u Poynd;}$

$\text{• Bzo kuybi umum nysbium Kulebki. Tpebium, no}$

$\text{zopobane eno ne ymabim.}$

$\text{AHAPEN Bologabim}$

$\text{• 1142–1174;}$

$\text{• Poyzegmua cymom Hymu Dologymugri;}$

$\text{• Poygum ppebiumg za pregymu …