Коротко
- Около 0.51 в среднем: ниже простого PaddleOCR и на 0.35 ниже лидера.
- Высокая пропускная способность: 2 страницы в секунду при 32 параллельных запросах, одна страница — 4.1 с.
- 9.9 ГБ видеопамяти.
Как запускали
vLLM v0.20.1, промпт OCR:, temperature 0, max_tokens 10000.
Что важно знать
- Плотные страницы зацикливаются. Если ответу не хватает лимита токенов, модель обрывается и уходит в повтор абзаца. Для полностраничного разбора вендор рассчитывает на свой пайплайн с разметкой страницы (
pipeline_version="v1.6"). Здесь мерили простой запрос на всю страницу. - Высокий результат на OmniDocBench на русский язык не переносится.
Когда брать
Для русских документов — нет.
По типам страниц
Синяя полоса — PaddleOCR-VL-1.6, серая — медиана всех 20 моделей лидерборда на том же типе.
Распределение по страницам
Сколько страниц попало в каждый диапазон балла. Красным — почти полный провал (ниже 0.2).
Все прогоны
| Вариант | Все | Печатные | Рукопись | Дата |
|---|---|---|---|---|
промпт OCR:, max_tokens 10000 в лидербордеresults/paddleocr-vl-1.6-ocr-10000 |
0.507 | 0.618 | 0.175 | 08.09.2026 |
Где модель ошибается
Страницы с самым низким баллом в основном прогоне: две печатные и одна рукописная. Слева эталон, справа ответ модели (первые 700 знаков).
Страница 183 · бланк, форма · балл 0.009
Эталон
Акт приема-передачи город 01 июня 2018 г. Общество с ограниченной ответственностью « » (ООО »), именуемое в дальнейшем «Арендодатель», в лице генерального директора , действующего на основании Устава, с одной стороны, и Общество с ограниченной ответственностью « » (ООО « »), именуемое в дальнейшем «Арендатор», в лице Генерального директора , действующей на основании Устава, с другой стороны, при совместном упоминании в тексте именуемые «Стороны», составили и подписали настоящий Акт приема-передачи арендуемой площади в соответствии с условиями Договора аренды нежилого помещения № от 01 июня 2018 г. (далее – Договор) о нижеследующем: 1. Арендодатель передает, а Арендатор принимает во вре …
PaddleOCR-VL-1.6
Акт приема-передачи
Страница 159 · бланк, форма · балл 0.022
Эталон
По месту требования от гражданина Российской Федерации ____________________________, являющегося собственником квартиры по адресу:__________________ ЗАЯВЛЕНИЕ (от имени продавца) На основании приказа МВД России от 30 сентября 2017 г. № 752 «Об утверждении Административного регламента Министерства внутренних дел Российской Федерации по предоставлению государственной услуги по предоставлению адресно-справочной информации», а также справки____________ (МФЦ, Мои документы и т.д.) об отсутствии возможности предоставления сведений о зарегистрированных на объекте лицах, заявляю, что на момент заключения договора купли-продажи зарегистрированные третьи лица (в том числе временно прописанные / в …
PaddleOCR-VL-1.6
По месту требования
Страница 918 · рукопись · балл 0.011
Эталон
Политология 15.09.09 Теория политической системы. В центре полит иссл-й вопрос о власти. Одни исс-ли видят во власти позит. черты, др. — отрицат. "Нет той чел. души, кот. выдерж. бы искушение властью" — Платон. Власть и влияние — разные категории. Власть производная от влияния. И то и др. осн-ся на неравенстве партнеров. Объект влияния облад. возм-ми альтернат. повед. , ст. его подчин. связана с силой влияния. Властные отн. строятся на правовом нерав-ве партнёра. Объект власт. воздейств. никакими возм-ми альтерн. повед-я не обладает. власт Власть означ. ситуацию, при кот.: субъект А облад. правом и спос-ю менять повед. суб-та В выгодным для себя образом и принуждать делать то, что …
PaddleOCR-VL-1.6
Документ поклику с стеми: