lab.kzbrd.ru как машины читают документы

OCR-модель на VLM · 3.3B

Unlimited-OCR-2

Вторая версия парсера Baidu. На нашем наборе она не лучше первой, а на рукописи и страницах с петлями ломается так же.

место в лидерборде13 из 21открыть лидерборд →
все 120 страниц0.713медиана 0.909
печатные, 900.888ниже 0.2: 19 стр. из 120
рукопись, 300.18811.6 с/стр

Коротко

  • 0.713 на 120 страницах. У первой версии 0.721, то есть заметного улучшения нет.
  • На печатных страницах медиана 0.93, на рукописи среднее 0.19.
  • Около шести страниц ушли в петлю (вывод до десятков килобайт одного повтора), одна страница выдала только пустой блок image.
  • 11.6 секунды на страницу при 4 параллельных запросах.

Как запускали

Рецепт вендора из README: сервер SGLang из их wheel, промпт <PAGE><image>Multi page parsing., режим gundam (тайлы), процессор логитов от n-грамм-повторов (окно 128, размер 35). Температура 0, бюджет 16 000 токенов на страницу. Из ответа вырезаются метки блоков <BLOCK>тип[bbox]<FORK>; без этого балл на первых 20 страницах был 0.76, после очистки 0.94.

Защиту от петель (повтор с повышенной температурой) не запускали: при таком качестве на рукописи она не меняет вывод.

Что важно знать

  • Первая версия работала на vLLM, вторая только на SGLang из wheel вендора. Скорости двух версий получены на разных движках и между собой не сравниваются.
  • Скорость снята одним прогоном при 4 запросах, без перебора параллельности и без повторов.
  • Рукописные страницы модель читает как псевдорусский текст: слова похожи на настоящие, но не совпадают.
  • Заявленное преимущество версии 2 (бесконечная длина документа, много страниц в одном запросе) этим набором не проверялось: у нас одна страница на запрос.

Когда брать

Для одностраничного русского OCR нет причин брать её вместо LightOnOCR-3 или Surya. Имеет смысл вернуться к ней для длинных многостраничных документов в одном запросе: там её главное отличие, и мы его не мерили.

Что отдаёт

  • рамки блоки
  • уверенность нет
  • разметка есть
  • таблицы ?
  • порядок чтения есть
  • markdown/HTML нет
  • формулы есть
  • PDF на входе нет

Выход — поток блоков <BLOCK>тип[bbox]<FORK>текст с уровнями заголовков; метки и координаты приходится вырезать перед сравнением с эталоном. Формулы выходят как LaTeX, confidence нет. Таблицы на этом наборе не проверяли.

По типам страниц

Синяя полоса — Unlimited-OCR-2, серая — медиана всех 21 моделей лидерборда на том же типе.

00.250.50.751скан или фото печатного61 стр.0.920рукопись30 стр.0.188без метки10 стр.0.692бланк, форма8 стр.0.849чистый текст6 стр.0.945текст с графикой4 стр.0.862скриншот1 стр.0.926

Распределение по страницам

Сколько страниц попало в каждый диапазон балла. Красным — почти полный провал (ниже 0.2).

100.0–0.190.1–0.2110.2–0.30.3–0.410.4–0.530.5–0.610.6–0.740.7–0.8190.8–0.9620.9–1.0

Все прогоны

ВариантВсеПечатныеРукописьДата
рецепт вендора (SGLang), без защиты от петель в лидерборде
results/unlimited-ocr2		 0.7130.8880.18829.10.2026

Где модель ошибается

Страницы с самым низким баллом в основном прогоне: две печатные и одна рукописная. Слева эталон, справа ответ модели (первые 700 знаков).

Страница MWS 1026, без метки

Страница 1026 · без метки · балл 0.000

Эталон

ГРАМОТА
=======

СОРЕВНОВАНИЯ ПО ЛЁГКОЙ АТЛЕТИКЕ
===============================

На первенство спортивной школы олимпийского резерва
«Академия лёгкой атлетики Санкт-Петербурга»

Награждается


за II место
в толкании ядра
среди юношей 2009-2010 г.р.
с результатом 9м 43см

Директор: [Подпись]

18-20 ноября 2022 года

Unlimited-OCR-2

(пустой ответ)
Страница MWS 1318, без метки

Страница 1318 · без метки · балл 0.197

Эталон

МОСКОВСКИЙ ФИЛИАЛ ПАО КБ "ВОСТОЧНЫЙ", ДО №7742
МОСКОВСКОГО ФИЛИАЛА ПАО КБ "ВОСТОЧНЫЙ"
Наименование уполномоченного банка (филиала) и ВСП

115172,г Москва,,г Москва,ул Гончарная,дом 38,,,

Местонахождение банка (филиала) или подразделения

Регистрационный номер (порядковый номер филиала)

СПРАВКА-ПОДТВЕРЖДЕНИЕ

Выдана
Фамилия, имя, отчество
при осуществлении операции с наличной иностранной валютой и чеками по

№

| Порядковый номер операции | Дата и время совершения операции | Код вида операции | Курс (кросс-курс) иностранной валюты |
|---------------------------|----------------------------------|------------------|--------------------------------------|
| 1 | 2 | 3 | 4 |
|------------------ …

Unlimited-OCR-2

МОСКОВСКИЙ ФИЛИАЛ ПАО КБ "ВОСТОЧНЫЙ", ДО №7742
МОСКОВСКОГО ФИЛИАЛА ПАО КБ "ВОСТОЧНЫЙ"
115172, г Москва, г Москва, ул Гончарная, дом 38...
Наименование уполномоченного банка (филиала) и ВСП
Местонахождение банка (филиала) или подразделения
Регистрационный номер (порядковый номер филиала) ___
СПРАВКА-ПОДТВЕРЖДЕНИЕ
Выдана
Фамилия, имя, отчество
при осуществлении операции с наличной иностранной валютой и чеками по
No
наименование документа
<table><tr><td>Порядковый номер операции</td><td>Дата и время совершения операции</td><td>Код вида операции</td><td>Курс (кросс-курс) иностранной валюты</td></tr><tr><td>1</td><td>2</td><td>3</td><td>4</td></tr><tr><td>4</td><td>12.07.2019 14:13:33</td><td>02< …
Страница MWS 936, рукопись

Страница 936 · рукопись · балл 0.018

Эталон

Ростово-Суздальские земли.
1) Междуречье оки и Волги. Немного севернее Киева.
2) Ополье - участок с плодородными лесными почвами на территории Владимирской области.
3) Кривичи и Вятичи.
4) Новгородцы, в поисках плодородной земли.
5)

ЮРИЙ Долгорукий
🞄 1125-1157;
🞄 Получил прозвище за стремление к Киеву;
🞄 1147 - основание Москвы. Впервые была упомянута Москва в летописи;
🞄 "Вырастил" и обогатил Суздаль и Ростов;
🞄 Всю жизнь мечтал править Киевом. Правил, но горожане его не любили.

АНДРЕЙ Боголюбский
🞄 1149-1174
🞄 Приходился сыном Юрию Долгорукому;
🞄 Получил прозвище за преданность Богу, любовь к семье и патриотизм;
🞄 Сделал столицей Боголюбово, свой город;
🞄 Украл икону Божьей матери из Кие …

Unlimited-OCR-2

Секретарь - Генерал
Генерал - Генерал
1. Пожарные
2. Пожарные
Сервер
1. Огне - 1
2. Огне - 1
Сервер
2. Огне - 1
2. Огне - 1
Сервер
2. Огне - 1
2. Огне - 1
Сервер
2. Огне - 1
2. Огне - 1
Сервер
2. Огне - 1
2. Огне - 1
Сервер
2. Огне - 1
2. Огне - 1
Сервер
2. Огне - 1
2. Огне - 1
Сервер
2. Огне - 1
2. Огне - 1
2. Огне - 1
2. Огне - 1
2. Огне - 1
2. Огне - 1
2. Огне - 1
2. Огне - 1
2. Огне - 1
2. Огне - 1
2. Огне - 1
2. Огне - 1
2. Огне - 1
2. Огне - 1
2. Огне - 1
2. Огне - 1
2. Огне - 1
2. Огне - 1
2. Огне - 1
2. Огне - 1
2. Огне - 1
2. Огне - 1
2. Огне - 1
2. Огне - 1
2. Огне - 1
2. Огне - 1
2. Огне - 1
2. Огне - 1
2. Огне - 1
2. Огне - 1
2. Огне - 1
2. Огне - 1
2. Огне - 1
2. Огне - 1
2. Огн …