Коротко
- На печатных страницах на уровне Qwen3.6-35B-A3B, на рукописи немного слабее.
- 54 секунды на страницу при одном запросе за раз.
- Следующее поколение, Qwen3.8-27B, лучше на 0.05, в основном за счёт рукописи.
Как запускали
llama.cpp через llama-swap, около 23 ГБ видеопамяти. Есть второй прогон через слот qwen3.6, который в то время указывал на модель по умолчанию. Какая именно сборка там была, не записано, поэтому в лидерборд идёт прогон через явный слот qwen3.6-27b.
Когда брать
Нет причин брать её для OCR: MoE-версия того же поколения не хуже и втрое быстрее.
По типам страниц
Синяя полоса — Qwen3.6-27B, серая — медиана всех 20 моделей лидерборда на том же типе.
Распределение по страницам
Сколько страниц попало в каждый диапазон балла. Красным — почти полный провал (ниже 0.2).
Все прогоны
| Вариант | Все | Печатные | Рукопись | Дата |
|---|---|---|---|---|
слот qwen3.6-27b, 1 поток в лидербордеresults/qwen3.6-27b-ocr |
0.789 | 0.890 | 0.483 | 16.07.2026 |
слот qwen3.6 (модель слота по умолчанию, сборка не записана)results/qwen3.6-ocr |
0.796 | 0.906 | 0.466 | 15.07.2026 |
Где модель ошибается
Страницы с самым низким баллом в основном прогоне: две печатные и одна рукописная. Слева эталон, справа ответ модели (первые 700 знаков).
Страница 63 · скан или фото печатного · балл 0.000
Эталон
представляющей угрозу жизни и здоровью людей, о случаях хищения и порчи имущества Работодателя, о невыполнении норм труда, техники безопасности, а также о любых случаях нарушения правил внутреннего трудового распорядка; - в трехдневный срок представлять Работодателю информацию об изменении фамилии, семейного положения, места жительства, смены паспорта, иного документа, удостоверяющего личность, утере страхового свидетельства пенсионного государственного страхования; - возвратить при прекращении трудовых отношений все документы, образовавшиеся в процессе выполнения работ, а также материально-технические средства, переданные ему Работодателем для выполнения трудовых обязанностей; - знать и соб …
Qwen3.6-27B
ERROR in getting response
Страница 1161 · бланк, форма · балл 0.000
Эталон
Выписной эпикриз № Наименование медицинской организации (фамилия, имя, отчество (при наличии) индивидуального предпринимателя, осуществляющего медицинскую деятельность), ОГРН (ОГРНИП) " " ______________________________________________________________________________________________ Наименование отделения (структурного подразделения): Отделение противоопухолевой лекарственной терапии №2 (химиотерапевтическое) Номер медицинской карты: " "_____________________________________________ Сведения о пациенте: " " Фамилия, имя, отчество (при наличии): " " Дата рождения: " " …
Qwen3.6-27B
ERROR in getting response
Страница 908 · рукопись · балл 0.000
Эталон
◦ Хакерские утилиты - программы сокрытия кода зараженных файлов от антивирусной проверки (шифровальщики файлов), автоматизации создания сетевых червей, комп. вирусов и троянов, наборы программ для скрытого взятия под контроль взломанной системы (Root Kit) и т.д. ◦ Мистификации - программы, вводящие пользов. в заблуждение путём показа уведомлений, например о форматировании диска, хотя на самом деле ничего не происходит. Текст таких сообщений зависит от фантазии автора программы. ◦ Спам - нежелательная почтовая корреспонденция рекламного характера, загружающая трафик и отнимающая время у пользователя. Самые эффективные средства защиты от вирусов, - спец. программы, способные распознавать и …
Qwen3.6-27B
ERROR in getting response