lab.kzbrd.ru как машины читают документы

OCR-модель на VLM · 0.63B

Nemotron-3.5-Parse

Парсер от NVIDIA на 0.63B. Печатные страницы почти как у LightOnOCR-3-0.8B, а рукописная кириллица превращается в латиницу.

место в лидерборде14 из 20открыть лидерборд →
все 120 страниц0.680медиана 0.843
печатные, 900.834ниже 0.2: 16 стр. из 120
рукопись, 300.2181.74 стр/с

Коротко

  • На печатных страницах близок к LightOnOCR-3-0.8B, рукопись — около 0.22.
  • Многопроходный режим (дополнительные запросы на кропы таблиц) качества не добавляет и замедляет.
  • 1.74 страницы в секунду при 32 параллельных запросах, одна страница — 1.97 с.

Как запускали

vLLM v0.30.0 с плагином вендора, bf16. На RTX 3090 вместо FlashAttention 3 работает FA2: FA3 есть только для Hopper. Однопроходный режим, DocumentParser вендора.

Что важно знать

  • Параметры вендора по умолчанию (temperature 0.2, repetition_penalty 1.05, top_k 50) уже оптимальны. Рецепт из vllm_example.py (repetition_penalty 1.1) хуже, а 1.2 роняет балл почти на 0.09, сильнее всего на рукописи.
  • Режимы single, double и triple различаются в пределах шума повторного прогона (±0.004).
  • Таблицы отдельно не мерились, для них многопроходный режим может оказаться полезен.

Когда брать

Вместо LightOnOCR-3 — нет: медленнее 0.8B при том же качестве на печатных и хуже на рукописи.

По типам страниц

Синяя полоса — Nemotron-3.5-Parse, серая — медиана всех 20 моделей лидерборда на том же типе.

00.250.50.751скан или фото печатного61 стр.0.865рукопись30 стр.0.218без метки10 стр.0.675бланк, форма8 стр.0.783чистый текст6 стр.0.870текст с графикой4 стр.0.776скриншот1 стр.0.915

Распределение по страницам

Сколько страниц попало в каждый диапазон балла. Красным — почти полный провал (ниже 0.2).

120.0–0.140.1–0.260.2–0.360.3–0.450.4–0.530.5–0.620.6–0.7120.7–0.8360.8–0.9340.9–1.0

Все прогоны

ВариантВсеПечатныеРукописьДата
single, DocumentParser вендора в лидерборде
results/nemotron-parse-144		 0.6800.8340.21823.10.2026

Где модель ошибается

Страницы с самым низким баллом в основном прогоне: две печатные и одна рукописная. Слева эталон, справа ответ модели (первые 700 знаков).

Страница MWS 1145, без метки

Страница 1145 · без метки · балл 0.110

Эталон

Первый Санкт-Петербургский государственный медицинский университет им. акад. И.П.Павлова
Отдел функциональной диагностики легких клиники госпитальной терапии
им. М.В.Черноруцкого. 197098, Санкт-Петербург, ул. Л. Толстого, 6/8, тел. 3387829

ИССЛЕДОВАНИЕ ДЫХАТЕЛЬНОЙ ФУНКЦИИ ЛЕГКИХ
=======================================

Дата обследования: 30.10.2015
Пол: Ж
Возраст:

| Параметр | Должные | Исходные величины | После вентолина | Измен. |
|-------------------|---------|-------------------|-----------------|--------|
| | Клемент Р. и др. 84 г., 94 г. | Фактич. | % в дол. | Фактич. | % в дол. | % |
| Статические легочные объемы | | | | | | |
| ОЕЛ (л) | 4,73 | 5,18 | 109,8 | Н | 5,63 | 119,1 | У | …

Nemotron-3.5-Parse

Первый CaHKt-Петербургский rocyдарственный meдицинский yHHBepcитet HM. akad. И.П.Павлoba OTдел qyHKцiHOhaJьной днагностики JегKих KJHHHKи roспитальной tepaIHи им. M.B.Черноpyцкoro. 197098, CaHKt-Петербург, yn. JI. ToJCToro, 6/8, teл. 3387829

ИССЛЕДОBAHME JBIXATEJЬHOЙ ΦYHKЦИИ JEFKIX

Дata обследования: 30.10.2015.

Пол: Ж Bозраст:

Cтруктура общей emkocти JегKих HE изменеHa. Πризнаки φиксированной экстратopakajь- HOй обструкции верхних дыхateJьных nyteй. CKpытые нарушения проходимости 6роhxов за счет 6роhxocna3MA. Yмеренный 6роhxocna3M.

ЗAKJIIOVEHHIE:

Pectpиктивных нарушений net. Yмеренные обструктивные нарушения вентиляционной способности JегKих. Yмеренный 6роhxocna3M.

Дежурный врач: 30. …
Страница MWS 1175, скан или фото печатного

Страница 1175 · скан или фото печатного · балл 0.220

Эталон

ГРАМОТА

Управление образования
муниципального образования
Динской район

НАГРАЖДАЕТ

команду Брюховецкого р-н

занявшую III место

3-4 классы
в зональном этапе краевого
фестиваля «Весёлые старты»

Начальник
управления образования  ""

ст. Динская, 2024 г.

Nemotron-3.5-Parse

**ГРАМОТА**

**_Управление образования_**
**_муниципального образования_**
**_Финской район_**

**_Н Я Т Р Я Ж Д Я Е П_**

**_команду_** _Брюховецлого р-ч_

**_занявшую_** _место_**

_3-4 классы_
**_в зональном этапе краевого_**
**_фестиваля «Весёлые старты»_**

**_Начальник_**
**_управления образования_**

**_ст.Финская, 2024г._**
Страница MWS 1078, рукопись

Страница 1078 · рукопись · балл 0.033

Эталон

С Днём Рождения, мой ненаглядный!
...Потом и кровью, насилием и... кхм, в общем, от моего крайне упорного поднятия задницы, но достаточно длительного, письмо, скорее всего, запоздает (кто зараза? я зараза). Благо, леденцы были куплены заранее, да и чего мелочиться, правда? Меня очень тронуло твое трепетное отношение к съестным подаркам. Надеюсь, все это доедет целым.
Вот и тебе довелось лицезреть мои малые художественные способности. Это эльф, кстати. И задумывался как портотип твоего ролевого персонажа. Как можно было заметить самая боль в струнах
Помнишь, в один из вечеров я обещала подарить что-то теплое. Надеюсь, совенок тебе понравится. Надеюсь, когда будет совсем одиноко - согреет. Дум …

Nemotron-3.5-Parse

C Dua Bonegens, mol menanleghusi!... Nomau u krobeso, macnieu u ... Keen,
S obusen om wero kpainne ynopnoo nognamie
zagnuyi, no goemomorno gumalshoro, nuceno,
ckopee beedo, zanozgaem (kmo zapaza? a zapaza).
Duan, negenya bumi kynareni zapanee, ga u
reo malorimsa, yraaga? Mess orens myonyo
mboe myenemnoe omhomenue k creemisen podajukan
Mugeroce, bce znogodgem iselbii.

Bom u mede goberocs museprens mon manse
xygomeem berubse cnocodnocmi. Imo zbgo,
komami. U zagyusibales kan nomopnun mhoero
palebno repodnanca. Nak moxeno dino zanenums
canas dals b empymax :"D

Naimium, b oginu u berepob e obeuzala nogarima
mo-mo menioe. Nagerocs, cobenok mede nonpahmes
Magerocs, korga bygem cokcali ogunoko- co …