lab.kzbrd.ru как машины читают документы

VLM общего назначения · 27B, тернарная 2.13 bpw

Ternary Bonsai 2 27B

Тернарная упаковка Qwen3.8-27B в 6.7 ГБ. Сжатие стоит около 0.08 балла на OCR, извлечению фактов из текста почти не вредит.

место в лидерборде8 из 20открыть лидерборд →
все 120 страниц0.758медиана 0.865
печатные, 900.846ниже 0.2: 9 стр. из 120
рукопись, 300.49363.8 с/стр

Коротко

  • Те же 27B параметров, что у Qwen3.8-27B, но 2.13 бита на вес: 6.7 ГБ вместо 15.9.
  • Потеря на OCR — около 0.08 балла. Это совпадает с заявлением производителя: на тестах зрения тернаризация бьёт сильнее всего.
  • По запросу примерно в 1.5 раза быстрее полной модели: 64 с против 93 с на страницу при 4 параллельных запросах.

Как запускали

Формат PQ2_0 не читается обычным llama.cpp. Нужен форк производителя (PrismML-Eng/llama.cpp), образ собран из его готовых бинарников. Контекст 262K, KV-кэш q8_0, всего 19.2 ГБ видеопамяти.

Что важно знать

  • Форк обязателен: другой пак той же модели (-gguf-dev Q2_0) обычным llama.cpp загружается без ошибок, но выдаёт мусор. Проверять модель нужно ответами на вопросы, а не фактом загрузки.
  • Рассуждения не выключать: модель вытягивает качество именно на них, бюджет вывода нужен от 16 тысяч токенов.

Когда брать

Для OCR — нет: при той же видеопамяти Qwen3.8-27B в Q4 лучше. Модель интересна там, где важен длинный контекст на одной карте и извлечение фактов из текста.

По типам страниц

Синяя полоса — Ternary Bonsai 2 27B, серая — медиана всех 20 моделей лидерборда на том же типе.

00.250.50.751скан или фото печатного61 стр.0.850рукопись30 стр.0.493без метки10 стр.0.826бланк, форма8 стр.0.794чистый текст6 стр.0.907текст с графикой4 стр.0.850скриншот1 стр.0.861

Распределение по страницам

Сколько страниц попало в каждый диапазон балла. Красным — почти полный провал (ниже 0.2).

40.0–0.150.1–0.210.2–0.320.3–0.440.4–0.570.5–0.6120.6–0.7140.7–0.8260.8–0.9450.9–1.0

Все прогоны

ВариантВсеПечатныеРукописьДата
PQ2_0, 4 потока в лидерборде
results/bonsai2-27b		 0.7580.8460.49324.09.2026

Где модель ошибается

Страницы с самым низким баллом в основном прогоне: две печатные и одна рукописная. Слева эталон, справа ответ модели (первые 700 знаков).

Страница MWS 131, скан или фото печатного

Страница 131 · скан или фото печатного · балл 0.131

Эталон

""
Исполнитель уведомляет Потребителя (Пациента) о том, что несоблюдение указаний (рекомендаций) Исполнителя (медицинского работника, предоставляющего платную медицинскую услугу), в том числе назначенного режима лечения, могут снизить качество предоставляемой платной медицинской услуги, повлечь за собой невозможность ее завершения в срок или отрицательно сказаться на состоянии здоровья Потребителя (Пациента), а также уведомляет Потребителя (Пациента) о возможности получения медицинской помощи в рамках программы государственных гарантий бесплатного оказания гражданам медицинской помощи и территориальных программ государственных гарантий бесплатного оказания гражданам медицинской помощи в меди …

Ternary Bonsai 2 27B

Исполнитель уведомляет Потребителя (Пациента) о том, что несоблюдение указаний (рекомендаций) Исполнителя (медицинского работника, предоставляющего платную медицинскую услугу), в том числе назначенного режима лечения, могут снизить качество предоставляемой платной медицинской услуги, повлечь за собой невозможность ее завершить в срок или отрицательно сказаться на состоянии здоровья Потребителя (Пациента), а также уведомляет Потребителя (Пациента) о возможности получения бесплатной медицинской помощи в рамках государственных гарантий бесплатного оказания гражданам медицинской помощи и в рамках программ государственных гарантий бесплатного оказания гражданам медицинской помощи в территориальны …
Страница MWS 298, скан или фото печатного

Страница 298 · скан или фото печатного · балл 0.140

Эталон

В компетентные органы от

рождения, место рождения: г. Вологда, гражданство: Российская Федерация, пол: женский, паспорт гражданина Российской Федерации , выданный УВД г. Вологды
паспорт гражданина Российской Федерации, удостоверяющий личность гражданина Российской Федерации за пределами территории Российской Федерации ыданный МВД 0566 года, зарегистрированного в Российской Федерации по месту жительства по адресу: Вологодская область, город Вологда, :

ЗАЯВЛЕНИЕ

 Я, ,настоящим заявлением подтверждаю, что года рождения, паспорт гражданина Российской Федерации , выданный УМВД России по Вологодской области 25 апреля 2022 года, код подразделения 350-002; паспорт гражданина Российской Федерации, …

Ternary Bonsai 2 27B

В компетентные органы от

рождения, место рождения: г. Вологда, гражданство: Российская Федерация, пол: женский, паспорт гражданина Российской Федерации, выданный УВД г.Вологды
гражданина Российской Федерации, удостоверяющий личность гражданина Российской Федерации за пределами территории Российской Федерации, выданный МВД 0566
зарегистрированной в Российской Федерации по месту жительства по адресу: Вологодская область,
город Вологда,

ЗЯВЛЕНИЕ

Я, ______________________, ______________________, ______________________, ______________________, ______________________, ______________________, ______________________, ______________________, ______________________, ______________________, _______ …
Страница MWS 900, рукопись

Страница 900 · рукопись · балл 0.000

Эталон

Семнадцатое января.
Домашняя работа.
1. Красивый – красивее, приятный – приятнее, счастливый – счастливее, спокойный – спокойнее, удобный – удобнее, ужасный – ужаснее, прекрасный – прекраснее, приятный – приятнее, причудливый – причудливее, привлекательный – привлекательнее, призрительный – призрите-льнее, старый – старее, свободный – свободнее.
2. Дорогой – дороже, сухой – суше, твёрдый – твёрже, богатый – богаче, крутой – круче, густой – гуще, простой – проще, толстый – толще, чистый – чисще, громкий – громче, мелкий – мельче, горький – горьче, сладкий – слаще, мягкий – мягче, лёгкий – легче.
3. Долгий – дольше, ранний – раньше, тонкий – тоньше, далёкий – дальше.
4. Малый – меньше, плохой  …

Ternary Bonsai 2 27B

(пустой ответ)