Коротко
- На печатных страницах на уровне лучших VLM: вровень с Qwen3.6 и чуть выше LightOnOCR-3-4B, Jina и Unlimited-OCR.
- Рукопись — 0.3, вдвое ниже VLM-лидеров.
- В пакетном режиме vLLM выходит на плато около 0.5 страницы в секунду уже при 16 параллельных запросах. Один запрос — 4.7 с.
Как запускали
Четыре прогона разными способами (таблица ниже). В лидерборд идёт лучший: vLLM на GPU, пакетная обработка. Вариант через llama.cpp с защитой от петель и родными промптами заданий получился ниже.
Что важно знать
- Модель зацикливается. Через llama.cpp без защиты петли были на 7.6 % страниц. Защита: детектор повторов на хвосте ответа и повтор запроса со ступенчатым повышением температуры (0.2 → 0.4 → 0.6 → 0.8). Даже после 4 попыток две страницы остались зацикленными.
- В пакетном режиме упирается в собственную обвязку, а не в GPU: дальше 16 параллельных запросов скорость не растёт.
- В сравнении на одних и тех же 24 страницах Jina-OCR-v1 быстрее в 2.7 раза при близком качестве.
Когда брать
Для печатных документов, если важны маленький размер и стабильный текст. Для рукописи — нет. По сочетанию скорости и качества её обходят LightOnOCR-3-0.8B и Jina.
По типам страниц
Синяя полоса — Surya OCR 2, серая — медиана всех 20 моделей лидерборда на том же типе.
Распределение по страницам
Сколько страниц попало в каждый диапазон балла. Красным — почти полный провал (ниже 0.2).
Все прогоны
| Вариант | Все | Печатные | Рукопись | Дата |
|---|---|---|---|---|
vLLM на GPU, пакетно в лидербордеresults/surya-vllm-gpu |
0.750 | 0.890 | 0.328 | 21.07.2026 |
родная библиотека suryaresults/surya-ocr-bench |
0.737 | 0.876 | 0.322 | 21.07.2026 |
второй прогон на GPUresults/surya2-gpu |
0.697 | 0.837 | 0.277 | 20.08.2026 |
llama.cpp, с защитой от петель и своими промптамиresults/surya-live-144 |
0.694 | 0.839 | 0.261 | 20.08.2026 |
Где модель ошибается
Страницы с самым низким баллом в основном прогоне: две печатные и одна рукописная. Слева эталон, справа ответ модели (первые 700 знаков).
Страница 1026 · без метки · балл 0.373
Эталон
ГРАМОТА ======= СОРЕВНОВАНИЯ ПО ЛЁГКОЙ АТЛЕТИКЕ =============================== На первенство спортивной школы олимпийского резерва «Академия лёгкой атлетики Санкт-Петербурга» Награждается за II место в толкании ядра среди юношей 2009-2010 г.р. с результатом 9м 43см Директор: [Подпись] 18-20 ноября 2022 года
Surya OCR 2
ГРАМОТА СОРЕВНОВАНИЯ ПО ЛЁГКОЙ АТЛЕТИКЕ НА ПЕРВЕНСТВО СПОРТИВНОЙ ШКОЛЫ ОЛИМПИЙСКОГО РЕЗЕРВА «АКАДЕМИЯ ЛЁГКОЙ АТЛЕТИКИ САНКТ-ПЕТЕРБУРГА» НАГРАЖДАЕТСЯ За II место В Макании Здра среди гоночей 2009-2016 год с результатом Gri 43gm Директор _____ 12.02.2022 майра 2022 года
Страница 1145 · без метки · балл 0.474
Эталон
Первый Санкт-Петербургский государственный медицинский университет им. акад. И.П.Павлова Отдел функциональной диагностики легких клиники госпитальной терапии им. М.В.Черноруцкого. 197098, Санкт-Петербург, ул. Л. Толстого, 6/8, тел. 3387829 ИССЛЕДОВАНИЕ ДЫХАТЕЛЬНОЙ ФУНКЦИИ ЛЕГКИХ ======================================= Дата обследования: 30.10.2015 Пол: Ж Возраст: | Параметр | Должные | Исходные величины | После вентолина | Измен. | |-------------------|---------|-------------------|-----------------|--------| | | Клемент Р. и др. 84 г., 94 г. | Фактич. | % в дол. | Фактич. | % в дол. | % | | Статические легочные объемы | | | | | | | | ОЕЛ (л) | 4,73 | 5,18 | 109,8 | Н | 5,63 | 119,1 | У | …
Surya OCR 2
Первый Санкт-Петербургский государственный медицинский университет им. акад. И.П.Павлова
Отдел функциональной диагностики легких клиники госпитальной терапии
им. М.В.Черноруцкого, 197098, Санкт-Петербург, ул. Л. Толстого, 6/8, тел. 3387829
ИССЛЕДОВАНИЕ ДЫХАТЕЛЬНОЙ ФУНКЦИИ ЛЕГКИХ
Дата обследования: 30.10.2015.
Пол: Ж Возраст:
Параметр
Должные Клемент Р. н др. 84 г., 94 г.
Исходные величины
После вентолина
Измен. % к исх.
Фактич.
% к дол.
Фактич.
% к дол.
Статические легочные объемы
ОЕЛ (л)
4,73
5,19
109,8
Н
5,63
119,1
У 8,48
ЖЕЛ (л)
3,33
4,08
122,6
Н
4,02
120,8
Н -1,47
РО вд (л)
2,34
2,37
…
Страница 1070 · рукопись · балл 0.002
Эталон
М. Цветаева Вы, чьи широкие шинели, Напоминали паруса, Чьи шпоры весело звенели И голоса. И чьи глаза, как бриллианты, На сердце оставляли след, - Очаровательные франты Минувших лет. Одним ожесточеньем воли Вы брали сердце и скалу - Цари на каждом бранном поле И на балу. Вам все вершины были малы И мягок самый черствый хлеб, О, молодые генералы Своих судеб! О, как мне кажется, могли б вы Рукою, полною перстней, И кудри дев ласкать, и гривы - Своих коней. В одной невероятной скачке Вы прожили свой краткий век… И ваши кудри, ваши бачки Засыпал снег. Вы побеждали и любили Любовь и сабли острие... И весело переходили В небытье... <Генералам войны 12 года>
Surya OCR 2
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 …