Коротко
- Отстаёт от Glimmer на 0.015 в среднем, на печатных страницах разница около 0.01.
- На рукописи второе место после Glimmer, все специализированные OCR-модели заметно ниже.
- 93 секунды на страницу при 4 параллельных запросах, на холодную — 161 с.
Как запускали
llama.cpp через llama-swap, квант Q4_K_M, около 22 ГБ видеопамяти. Промпт — вопрос задания из бенча, рассуждения не отключались.
Что важно знать
- Зацикливаний на этом наборе не было, защита от повторов не понадобилась.
- Тернарная упаковка той же модели, Ternary Bonsai 2 27B, весит втрое меньше, но теряет около 0.08 балла.
- Время уходит в основном на генерацию длинного ответа: на плотных страницах ответ — 3–5 тысяч токенов.
Когда брать
Как запасную модель общего назначения, если она уже развёрнута для других задач. Только ради OCR её держать нет смысла: Glimmer лучше и быстрее, LightOnOCR-3-4B почти так же хороша на печатном и на порядки быстрее.
По типам страниц
Синяя полоса — Qwen3.8-27B, серая — медиана всех 20 моделей лидерборда на том же типе.
Распределение по страницам
Сколько страниц попало в каждый диапазон балла. Красным — почти полный провал (ниже 0.2).
Все прогоны
| Вариант | Все | Печатные | Рукопись | Дата |
|---|---|---|---|---|
llama.cpp Q4_K_M, 4 потока в лидербордеresults/qwen3.8-27b-ocr |
0.840 | 0.898 | 0.665 | 15.08.2026 |
Где модель ошибается
Страницы с самым низким баллом в основном прогоне: две печатные и одна рукописная. Слева эталон, справа ответ модели (первые 700 знаков).
Страница 298 · скан или фото печатного · балл 0.340
Эталон
В компетентные органы от рождения, место рождения: г. Вологда, гражданство: Российская Федерация, пол: женский, паспорт гражданина Российской Федерации , выданный УВД г. Вологды паспорт гражданина Российской Федерации, удостоверяющий личность гражданина Российской Федерации за пределами территории Российской Федерации ыданный МВД 0566 года, зарегистрированного в Российской Федерации по месту жительства по адресу: Вологодская область, город Вологда, : ЗАЯВЛЕНИЕ Я, ,настоящим заявлением подтверждаю, что года рождения, паспорт гражданина Российской Федерации , выданный УМВД России по Вологодской области 25 апреля 2022 года, код подразделения 350-002; паспорт гражданина Российской Федерации, …
Qwen3.8-27B
В компетентные органы от рождения, место рождения: г.Вологда, гражданство: Российской Федерации, пол: женский, паспорт гражданина Российской Федерации, выданный УВД г.Вологды гражданина Российской Федерации, удостоверяющий личность гражданина Российской Федерации за пределами территории Российской Федерации, выданный МВД 0566 Федерации по месту жительства по адресу: Вологодская область, город Вологда, ЗАЯВЛЕНИЕ Я, , года рождения, паспорт гражданина Российской Федерации, выданный УМВД России по Вологодской области 25 апреля 2022 года, код подразделения 350-002; паспорт гражданина Российской Федерации, удостоверяющий личность гражданина Российской Федерации за пределами территории Российск …
Страница 1161 · бланк, форма · балл 0.529
Эталон
Выписной эпикриз № Наименование медицинской организации (фамилия, имя, отчество (при наличии) индивидуального предпринимателя, осуществляющего медицинскую деятельность), ОГРН (ОГРНИП) " " ______________________________________________________________________________________________ Наименование отделения (структурного подразделения): Отделение противоопухолевой лекарственной терапии №2 (химиотерапевтическое) Номер медицинской карты: " "_____________________________________________ Сведения о пациенте: " " Фамилия, имя, отчество (при наличии): " " Дата рождения: " " …
Qwen3.8-27B
Выписной эпикриз № Наименование медицинской организации (фамилия, имя, отчество (при наличии) индивидуального предпринимателя, осуществляющего медицинскую деятельность), ОГРН (ОГРИП): Наименование отделения (структурного подразделения): Отделение противоопухолевой лекарственной терапии №2 (химиотерапевтическое) Номер медицинской карты: Сведения о пациенте: Фамилия, имя, отчество (при наличии): Дата рождения: Пол: мужской Регистрация по месту жительства: Регистрация по месту пребывания: Санкт-Петербург Поступил: в Стационар Период нахождения: Количество дней нахождения в медицинской организации: 1 Исход госпитализации: Без перемен Результат госпитализации: выписан Форма оказания медицинск …
Страница 936 · рукопись · балл 0.076
Эталон
Ростово-Суздальские земли. 1) Междуречье оки и Волги. Немного севернее Киева. 2) Ополье - участок с плодородными лесными почвами на территории Владимирской области. 3) Кривичи и Вятичи. 4) Новгородцы, в поисках плодородной земли. 5) ЮРИЙ Долгорукий 🞄 1125-1157; 🞄 Получил прозвище за стремление к Киеву; 🞄 1147 - основание Москвы. Впервые была упомянута Москва в летописи; 🞄 "Вырастил" и обогатил Суздаль и Ростов; 🞄 Всю жизнь мечтал править Киевом. Правил, но горожане его не любили. АНДРЕЙ Боголюбский 🞄 1149-1174 🞄 Приходился сыном Юрию Долгорукому; 🞄 Получил прозвище за преданность Богу, любовь к семье и патриотизм; 🞄 Сделал столицей Боголюбово, свой город; 🞄 Украл икону Божьей матери из Кие …
Qwen3.8-27B
Ποιηλο-Συγκλητικα 3εμινιου. 1) Αλεξανδρος αυτ ι Βασιλ. Πιτυχοπο σεβαστε Υιολο. 2) Ορνεο - γιαννακα ε μαγνητικαυ νεκροταυ πορδαλλυ κα περιπτερυγιου διακριτικαταυ οδον 3) Κραδινυ ι Βασιλλυ. 4) Ηλιοπορογιοι ε ποικιλας πυρογραφοις χιολυ. ΙΟΡΥΣ Διογυριυς • 1115-1157; • Γαυριλυ πρεσβευτ. κα σπερματικαυ ι Υιολογ; • 1147 - εκκλησια οδολογ. διακριτα οδολα γιαννακα ιλεολο ι ιλεμοταυ; • "Βασιλικι" ι οδολαυιυ γιαννακα ι Ποιηλο; • Εκαο κωρα υιολαυ περικοι Υιολολι. Περικοι, πο ποροκαμε ενο τε ιεολοι. ΑΗΜΡΕΣ Βοιωτοδολυ • 1149-1175; • Πρασογυλα σεμινυ Πιτυχο Διογυριυλ; • Πιτυχοι περικοι. κα περιπτεροκαμε Βοιγ, ιρεολοβι ι κακε ι περικοπολιτυ; • Εγιναν ανωτατα Βοιωτοδολοι, δλας περ; • Σιγαλ ιιολοι Βολεα ιι …