lab.kzbrd.ru как машины читают документы

OCR-модель на VLM · 3B

Jina-OCR-v1

Быстрая 3B-модель с качеством Surya на печатных страницах. Рукопись почти не читает, результат сильно зависит от промпта.

место в лидерборде11 из 20открыть лидерборд →
все 120 страниц0.726медиана 0.905
печатные, 900.882ниже 0.2: 15 стр. из 120
рукопись, 300.2561.37 стр/с

Коротко

  • На печатных страницах на уровне Surya OCR 2 и Unlimited-OCR, на рукописи — 0.26.
  • 1.37 страницы в секунду при 32 параллельных запросах: в 2.7 раза быстрее Surya.
  • Заявленные производителем 2.57 страницы в секунду на RTX 3090 не воспроизводятся, потолок — около 1.4.

Как запускали

vLLM, MTP (ускорение за счёт предсказания нескольких токенов) выключен, temperature 0. В лидерборд идёт строгий промпт из карточки модели: обычный текст, таблицы в HTML, формулы в LaTeX, без колонтитулов.

Что важно знать

  • Промпт решает. У модели три промпта. Строгий даёт заметно больше, чем рекомендованный по умолчанию, и весь прирост — это вылеченные петли: с ним зациклилось 14 страниц вместо 21. На незацикленных страницах балл не меняется.
  • MTP на RTX 3090 замедляет: 0.21 против 0.34 страницы в секунду на один запрос. Из 4 предсказанных токенов принимается в среднем 0.3, а лишний проход головы MTP не окупается.
  • Параметры декодирования брать из кода модели, а не из примера в README: там repetition_penalty 1.05 и детектор повторов. Но со строгим промптом детектор повторов вредит — обрезает законные повторы в таблицах.

Когда брать

Если нужна скорость на печатных документах и нет возможности держать LightOnOCR-3. Для рукописи — нет.

По типам страниц

Синяя полоса — Jina-OCR-v1, серая — медиана всех 20 моделей лидерборда на том же типе.

00.250.50.751скан или фото печатного61 стр.0.917рукопись30 стр.0.256без метки10 стр.0.752бланк, форма8 стр.0.729чистый текст6 стр.0.956текст с графикой4 стр.0.867скриншот1 стр.0.918

Распределение по страницам

Сколько страниц попало в каждый диапазон балла. Красным — почти полный провал (ниже 0.2).

90.0–0.160.1–0.250.2–0.360.3–0.430.4–0.540.5–0.660.6–0.740.7–0.8160.8–0.9610.9–1.0

Все прогоны

ВариантВсеПечатныеРукописьДата
строгий промпт из карточки модели в лидерборде
results/_lb/jina-ocr-144-strict		 0.7260.8820.25625.10.2026
декод-параметры вендора из кода
results/_lb/jina-ocr-144-vendor		 0.7200.8760.25025.10.2026
строгий промпт + детектор повторов
results/_lb/jina-ocr-144-strict-repdet		 0.7160.8760.23725.10.2026
промпт по умолчанию
results/_lb/jina-ocr-144		 0.7080.8740.21225.10.2026
промпт по умолчанию + детектор повторов
results/_lb/jina-ocr-144-repdet		 0.7080.8680.22725.10.2026

Где модель ошибается

Страницы с самым низким баллом в основном прогоне: две печатные и одна рукописная. Слева эталон, справа ответ модели (первые 700 знаков).

Страница MWS 1304, бланк, форма

Страница 1304 · бланк, форма · балл 0.146

Эталон

РОССИЙСКАЯ ФЕДЕРАЦИЯ

СПб Институт дополнительного профессионального
образования «Смольный»
(ООО СПб ИДПО «Смольный»)
www.institutsmolnyj.ru

УДОСТОВЕРЕНИЕ
о повышении квалификации
""

Документ о квалификации

Регистрационный номер
""

Город
Санкт-Петербург

Дата выдачи
05.10.2023 г.

Настоящее удостоверение свидетельствует о том, что

""

прошел(а) обучение

с 12.09.2023 г. по 05.10.2023 г.

в СПб Институте дополнительного 
профессионального образования «Смольный»
по программе дополнительного профессионального образования
(повышение квалификации):

"Современные педагогические технологии и специфические особенности преподавания предмета "Основы религиозных культур и светской этики" в условия …

Jina-OCR-v1

УДОСТОВЕРЕНИЕ
УАОСТОВРЕДНИЕ
ОСИ Институт тютюнничество прибоження (ООО СИИПО «Сюмний»)
www.instituznostroy.ru
Приводи(а) обучение
С 12.09.2023г. по 05.10.2023г.
в ССИ Институте тютюнничество
прибоження обновление документа
подробнее о подготовке и сюмний
проведение тютюнничество в Сюмний
(Повышение квалификации).
Содержание педагогического
технологического подхода
в тютюнничество в Сюмний
"Содержание педагогического
подхода в тютюнничество в Сюмний
основном направлено на
улучшую и качественную подготовку
в тютюнничество в Сюмний"
Санкт-Петербург
Группа
Санкт Петербург
05.10.2023 г.
Акт. выдано
05.10.2023 г.
Приложение
Страница MWS 1318, без метки

Страница 1318 · без метки · балл 0.186

Эталон

МОСКОВСКИЙ ФИЛИАЛ ПАО КБ "ВОСТОЧНЫЙ", ДО №7742
МОСКОВСКОГО ФИЛИАЛА ПАО КБ "ВОСТОЧНЫЙ"
Наименование уполномоченного банка (филиала) и ВСП

115172,г Москва,,г Москва,ул Гончарная,дом 38,,,

Местонахождение банка (филиала) или подразделения

Регистрационный номер (порядковый номер филиала)

СПРАВКА-ПОДТВЕРЖДЕНИЕ

Выдана
Фамилия, имя, отчество
при осуществлении операции с наличной иностранной валютой и чеками по

№

| Порядковый номер операции | Дата и время совершения операции | Код вида операции | Курс (кросс-курс) иностранной валюты |
|---------------------------|----------------------------------|------------------|--------------------------------------|
| 1 | 2 | 3 | 4 |
|------------------ …

Jina-OCR-v1

| Порядковый номер операции | Дата и время совершения операции | Код вида операции | Курс (кросс-курс) иностранной валюты |
|---------------------------|----------------------------------|------------------|----------------------------------|
| 1                         | 2                               | 3                | 4                                |
| 4                         | 12.07.2019 14:13:33               | 02               | 9.2350                           |
**Принято:**
1. Наличная валюта: 810 / Российский рубль / 10158.50 (Десять тысяч сто пятьдесят восемь рублей 50 копеек)
   - код наименование валюты: /
   - сумма цифрами и прописью: /
2. Чеки: / / / / / / / / / / / / / …
Страница MWS 999, рукопись

Страница 999 · рукопись · балл 0.009

Эталон

03.02.21
Пакеты прикладных программ.

ППП служат программным инструмен-тарием решения функциональных задач и являются самым многочисленным классом программных продуктов.

> В данных класс входят программные продукты, выполняющие обработку информации различных предметных областей.

ППП - комплекс взаимосвязанных программ для решения задач определенного класса конкретной предметной области

Классификация ППП:

- Проблемно-ориентированные ППП
- Методо-ориентированные
- ППП общего назначения
- Интеллектуальные системы
- ППП автоматизированного проектирования
- Офисные ППП.
- Программные средства мультимедиа
- Настольные издательские системы.

Проблемно-ориентированные ППП это наиболее развитая в …

Jina-OCR-v1

Понятие "политическая ситуация" в науке и практике возникла в 20-е годы XX века. В научном literature began to use this term in the 60-ies of the last century. In the scientific community, the term "political situation" began to be used in the 70-ies of the last century. In the 80-ies of the last century, the term "political situation" began to be used in the 90-ies of the last century. In the 21st century, the term "political situation" began to be used in the 2000s of the last century. In the 21st century, the term "political situation" began to be used in the 2010s of the last century. In the 21st century, the term "political situation" began to be used in the 2020s of the last century. I …