Коротко
- Чуть лучше плотной Qwen3.6-27B при примерно втрое большей скорости: активных параметров около 3B из 35B.
- На печатных страницах почти на уровне Qwen3.8-27B, на рукописи заметно слабее.
- 20.6 секунды на страницу при 4 параллельных запросах.
Как запускали
llama.cpp через llama-swap, около 23 ГБ видеопамяти, 4 параллельных запроса. Промпт — вопрос задания из бенча.
Что важно знать
- MoE выигрывает у плотной модели того же размера по скорости OCR: 91 против 34 токенов в секунду.
- Петель на этом наборе не было.
Когда брать
Если нужна VLM общего назначения, которая ещё и сносно читает документы, и важна скорость. Для чистого OCR её обгоняет LightOnOCR-3-4B при меньших затратах.
По типам страниц
Синяя полоса — Qwen3.6-35B-A3B, серая — медиана всех 20 моделей лидерборда на том же типе.
Распределение по страницам
Сколько страниц попало в каждый диапазон балла. Красным — почти полный провал (ниже 0.2).
Все прогоны
| Вариант | Все | Печатные | Рукопись | Дата |
|---|---|---|---|---|
llama.cpp, 4 потока в лидербордеresults/qwen3.6-35b-ocr |
0.801 | 0.895 | 0.518 | 16.07.2026 |
Где модель ошибается
Страницы с самым низким баллом в основном прогоне: две печатные и одна рукописная. Слева эталон, справа ответ модели (первые 700 знаков).
Страница 286 · скан или фото печатного · балл 0.000
Эталон
2.2 Указанная в п. 2.1. сумма вносится Потребителем или Плательщиком наличным или безналичным методом на счет Испо подписания настоящего Договора обеими сторонами и оказанной медицинской услуги, если иное не предусмотрено Договором. Плательщиком по данному Договору выступает (нужное выделить): - Сам Пациент; - Заказчик оказываемых услуг Пациенту; - Иные физические лица (муж, сестра, брат, сын и др.) и (или) юридические лица (страховые компании и др.); Плательщик (ФИО/наименование юридического лица; ИНН/КПП): 2.3 Услуга оказывается потребителю после подписания настоящего Договора обеими Сторонами и с учетом п. 1.4. настоящего Договора. 2.4 Договор считается исполненным надлежащим образом посл …
Qwen3.6-35B-A3B
(пустой ответ)
Страница 403 · чистый текст · балл 0.000
Эталон
ОСНОВНАЯ ИНФОРМАЦИЯ
по отчёту об оценке №
Оцениваемый объект: квартира
Адрес объекта оценки: Российская Федерация, Ленинградская область, Всеволожский муниципальный район,
Муринское городское поселение, город Мурино,
Общая площадь: 20.90 кв.м
без учета балкона/лоджии (согласно данным выписки из ЕГРН или акта приема-передачи)
Состояние ремонта объекта: Отделка не учитывается
это соответствует требованиям Банка - в рамках проекта «Оценка без осмотра» осмотр объекта не проводится, поэтому состояние определяется как «Без отделки».
Рыночная стоимость объекта оценки: 3 579 241 ру …Qwen3.6-35B-A3B
(пустой ответ)
Страница 893 · рукопись · балл 0.000
Эталон
№6 И.п. (13 683) Тринадцать тысяч шестьсот восемьдесят три v Р.п. (нет) тринадцати тысячь шесьтисот восьмидесяти трёх Д.п. (дам) тринадцати тысячам шестистам восьмидесяти трём v В.п. (виню) тринадцать тысяч шестьсот восемьдесят три v Т.п. (творю) тринадцатью тысячами шестьюстами восемьдесят тремя П.п. (говорю) о тринадцати тысячах шестиста восьмидесяти трёх v (51' 869) Р.п. пятьдесят одной тысячи восемьсот шестьдесят девяти Д.п. пятьдесят одной тысяче восьмиста шестидесяти девяти В.п. пятьдесят одну тысячу восемьсот шестьдесят девять v Т.п. пятидесетью одной тысячью восьмьюстами шестьдесят девятью П.п. о пятьдесяти одной тысяче восьмиста шестидесят девяти (95 324) Р.п. девяноста пяти тысяч …
Qwen3.6-35B-A3B
(пустой ответ)