lab.kzbrd.ru как машины читают документы

OCR-модель на VLM · 1B

LightOnOCR-3-1B

Средний размер LightOnOCR-3 на старой архитектуре. Печатные страницы читает как 4B, рукопись хуже.

место в лидерборде7 из 20открыть лидерборд →
все 120 страниц0.773медиана 0.892
печатные, 900.882ниже 0.2: 5 стр. из 120
рукопись, 300.4451.50 стр/с

Коротко

  • На печатных страницах почти не отличается от 4B, разница набегает на рукописи.
  • 1.5 страницы в секунду в режиме plain, 1.1 в режиме grounding, при 64 параллельных запросах.
  • В отличие от 0.8B и 4B, построена на архитектуре LightOnOCR-2 (Mistral3/Pixtral), а не на Qwen3.5.

Как запускали

vLLM v0.30.0 с transformers 5.16.1 поверх (своя сборка образа), bf16. Картинка уменьшается до 1540 px по длинной стороне, --max-model-len 16384, кэш мультимодального препроцессора и prefix caching выключены. Остальное как у 4B: temperature 0.2, top_p 1.0.

Когда брать

Редко. По скорости она между 0.8B и 4B, но к 4B близка только на печатных страницах. Если видеокарта позволяет 4B — лучше 4B, если важна скорость — 0.8B.

По типам страниц

Синяя полоса — LightOnOCR-3-1B, серая — медиана всех 20 моделей лидерборда на том же типе.

00.250.50.751скан или фото печатного61 стр.0.904рукопись30 стр.0.445без метки10 стр.0.757бланк, форма8 стр.0.845чистый текст6 стр.0.931текст с графикой4 стр.0.855скриншот1 стр.0.907

Распределение по страницам

Сколько страниц попало в каждый диапазон балла. Красным — почти полный провал (ниже 0.2).

10.0–0.140.1–0.250.2–0.350.3–0.450.4–0.590.5–0.650.6–0.770.7–0.8240.8–0.9550.9–1.0

Все прогоны

ВариантВсеПечатныеРукописьДата
grounding в лидерборде
results/lighton3-1b-144-grounding		 0.7730.8820.44509.10.2026
plain
results/lighton3-1b-144-plain		 0.7530.8590.43409.10.2026

Где модель ошибается

Страницы с самым низким баллом в основном прогоне: две печатные и одна рукописная. Слева эталон, справа ответ модели (первые 700 знаков).

Страница MWS 246, скан или фото печатного

Страница 246 · скан или фото печатного · балл 0.110

Эталон

2.3. Услуга оказывается Потребителю после подписания настоящего Договора обеими Сторонами и с учетом п. 1.4. настоя
2.4. Договор считается исполненным надлежащим образом после оплаты Потребителем медицинской услуги и выдачи  результатов медицинской услуги надлежащего качества.
Результаты оказанной медицинской услуги предоставляются Потребителю на руки: на электронном носителе (CD/DVD,  бумажном носителе, порядок выдачи результата по каждой услуге предусмотрен в Прайс-листе Исполнителя.
2.5. Прошу направить результаты моего рентгенологического исследования (нужное подчеркнуть): КТ, ОПТГ, ТРГ, ОПТГ  рентгенограмма кисти, распечатка зоны интереса, разметка для планирования операции имплантации, …

LightOnOCR-3-1B

2.3. Услуга оказывается Потребителю после подписания настоящего Договора обеими Сторонами и с учетом п. 1.4. настоящего

2.4. Договор считается исполненным надлежащим образом после оплаты Потребителем медицинской услуги и выдачи на руки результатов медицинской услуги надлежащего качества.

Результаты оказанной медицинской услуги предоставляются Потребителю на руки: на электронном носителе (CD/DVD, карты памяти) на бумажном носителе, порядок выдачи результата по каждой услуге предусмотрен в Прайс-листе Исполнителя.

2.5. Прошу направить результаты моего рентгенологического исследования (нужное подчеркнуть): КТ, ОПТГ, ТРГ, ОПТГ ВИ, ОПТГ ВИ, ОПТГ ВИ, ОПТГ ВИ, ОПТГ ВИ, ОПТГ ВИ, ОПТГ ВИ, ОПТГ ВИ, …
Страница MWS 1145, без метки

Страница 1145 · без метки · балл 0.257

Эталон

Первый Санкт-Петербургский государственный медицинский университет им. акад. И.П.Павлова
Отдел функциональной диагностики легких клиники госпитальной терапии
им. М.В.Черноруцкого. 197098, Санкт-Петербург, ул. Л. Толстого, 6/8, тел. 3387829

ИССЛЕДОВАНИЕ ДЫХАТЕЛЬНОЙ ФУНКЦИИ ЛЕГКИХ
=======================================

Дата обследования: 30.10.2015
Пол: Ж
Возраст:

| Параметр | Должные | Исходные величины | После вентолина | Измен. |
|-------------------|---------|-------------------|-----------------|--------|
| | Клемент Р. и др. 84 г., 94 г. | Фактич. | % в дол. | Фактич. | % в дол. | % |
| Статические легочные объемы | | | | | | |
| ОЕЛ (л) | 4,73 | 5,18 | 109,8 | Н | 5,63 | 119,1 | У | …

LightOnOCR-3-1B

Первый Санкт-Петербургский государственный медицинский университет им. акад. И.П.Павлова Отдел функциональной диагностики легких клиники госпитальной терапии им. М.В.Черноруцкого. 197098, Санкт-Петербург, ул. Л. Толстого, 6/8, тел. 3387829

**ИССЛЕДОВАНИЕ ДЫХАТЕЛЬНОЙ ФУНКЦИИ ЛЕГКИХ**

Дата обследования: 30.10.2015.

Пол: Ж Возраст:

<table>
  <thead>
    <tr>
      <th rowspan="2">Параметр</th>
      <th rowspan="2">Должные Клемент Р. и др. 84 г., 94 г.</th>
      <th colspan="2">Исходные величины</th>
      <th colspan="2">После вентолина</th>
      <th rowspan="2">Измен. % к исх.</th>
    </tr>
    <tr>
      <th>Фактич.</th>
      <th>% к дол.</th>
      <th>Фактич.</th>
      <th>% к дол …
Страница MWS 1129, рукопись

Страница 1129 · рукопись · балл 0.009

Эталон

У меня дома живёт большой чёрный кот шама. У него густая длинная шерсть и длинный пушистый хвост. Он вместа мурчаний часто смешно хрюкает. А ещё он громко храпит когда спит. Я его очень люблю.

LightOnOCR-3-1B

٢١٠٠٠٠ عهدا مكذبٌّ مكذبٌّ كم مكذبا. ٢١٠٠٠٠٠٠٠٠٠٠٠٠٠٠٠٠٠٠٠٠