Коротко
- Первое место и на печатных страницах, и на рукописи. На рукописи отрыв от специализированных OCR-моделей большой: у них от 0.1 до 0.6.
- Модель общего назначения от Meta (dense 29.6B + визуальный энкодер), OCR для неё — побочное умение.
- Цена — время: при 4 параллельных запросах около 80 секунд на страницу на RTX 3090.
Как запускали
llama.cpp через llama-swap, квант UD-Q4_K_XL (15.9 ГБ) и визуальный проектор Q8_0 (2 ГБ). На момент выхода модели готовый образ llama.cpp её не поддерживал, образ собирался из исходников. Вопрос к каждой странице — родной промпт задания из бенча.
Что важно знать
- Рассуждения для OCR не нужны. Выключить их полностью нельзя, но
reasoning_strength: noneвchat_template_kwargsдаёт то же качество (F1 0.693 против 0.695) вдвое быстрее: 26 с против 53 с на страницу. Флаг--reasoning offв llama-server не помогает, шаблон всё равно добавляет «Reasoning strength: high». - Одна страница (900) стабильно падает с ошибкой парсера llama.cpp, от температуры не зависит. Влияние на балл около 0.005.
- Модель и KV-кэш на 131K занимают 19.2 ГБ, на карте остаётся около 5 ГБ.
Когда брать
Когда нужен максимум качества на сложных страницах и рукописи, а время не критично: разбор спорных случаев, разметка эталона, проверка других моделей. Для потока документов дешевле LightOnOCR-3-4B: на печатных она отстаёт на 0.03, а работает на порядки быстрее.
По типам страниц
Синяя полоса — Muse Glimmer 30B, серая — медиана всех 20 моделей лидерборда на том же типе.
Распределение по страницам
Сколько страниц попало в каждый диапазон балла. Красным — почти полный провал (ниже 0.2).
Все прогоны
| Вариант | Все | Печатные | Рукопись | Дата |
|---|---|---|---|---|
llama.cpp Q4_K_XL, 4 потока в лидербордеresults/glimmer-30b-ocr |
0.854 | 0.910 | 0.688 | 11.08.2026 |
Где модель ошибается
Страницы с самым низким баллом в основном прогоне: две печатные и одна рукописная. Слева эталон, справа ответ модели (первые 700 знаков).
Страница 1145 · без метки · балл 0.484
Эталон
Первый Санкт-Петербургский государственный медицинский университет им. акад. И.П.Павлова Отдел функциональной диагностики легких клиники госпитальной терапии им. М.В.Черноруцкого. 197098, Санкт-Петербург, ул. Л. Толстого, 6/8, тел. 3387829 ИССЛЕДОВАНИЕ ДЫХАТЕЛЬНОЙ ФУНКЦИИ ЛЕГКИХ ======================================= Дата обследования: 30.10.2015 Пол: Ж Возраст: | Параметр | Должные | Исходные величины | После вентолина | Измен. | |-------------------|---------|-------------------|-----------------|--------| | | Клемент Р. и др. 84 г., 94 г. | Фактич. | % в дол. | Фактич. | % в дол. | % | | Статические легочные объемы | | | | | | | | ОЕЛ (л) | 4,73 | 5,18 | 109,8 | Н | 5,63 | 119,1 | У | …
Muse Glimmer 30B
Первый Санкт-Петербургский государственный медицинский университет им. акад. И.П.Павлова
Отдел функциональной диагностики легких клиники госпитальной терапии
им. М.В.Черноруцкого. 197098, Санкт-Петербург, ул. Л. Толстого, 6/8, тел. 3387829
ИССЛЕДОВАНИЕ ДЫХАТЕЛЬНОЙ ФУНКЦИИ ЛЕГКИХ
Дата обследования: 30.10.2015.
Пол: Ж Возраст:
Параметр Должные Клемент Р. и др. 84 г., 94 г. Исходные величины После вентиолина Измен.
Фактич. % к дол. Фактич. % к дол. % к исх.
Статические легочные объемы
ОЕЛ (л) 4,73 5,19 109,8 Н 5,63 119,1 У 8,48
ЖЕЛ (л) 3,33 4,08 122,6 Н 4,02 120,8 Н -1,47
РО вд (л) 2,34 2,34 2,37
РО выд (л) 0,58 0,52 …
Страница 1026 · без метки · балл 0.578
Эталон
ГРАМОТА ======= СОРЕВНОВАНИЯ ПО ЛЁГКОЙ АТЛЕТИКЕ =============================== На первенство спортивной школы олимпийского резерва «Академия лёгкой атлетики Санкт-Петербурга» Награждается за II место в толкании ядра среди юношей 2009-2010 г.р. с результатом 9м 43см Директор: [Подпись] 18-20 ноября 2022 года
Muse Glimmer 30B
ГРАМОТА СОРЕВНОВАНИЯ ПО ЛЁГКОЙ АТЛЕТИКЕ НА ПЕРВЕНСТВО СПОРТИВНОЙ ШКОЛЫ ОЛИМПИЙСКОГО РЕЗЕРВА «АКАДЕМИЯ ЛЁГКОЙ АТЛЕТИКИ САНКТ-ПЕТЕРБУРГА» НАГРАЖДАЕТСЯ за II место в толкании ядра среди юношей 2009-2010 г.р с результатом 9м 43см Директор ________ 22 ноября 2022 года
Страница 900 · рукопись · балл 0.000
Эталон
Семнадцатое января. Домашняя работа. 1. Красивый – красивее, приятный – приятнее, счастливый – счастливее, спокойный – спокойнее, удобный – удобнее, ужасный – ужаснее, прекрасный – прекраснее, приятный – приятнее, причудливый – причудливее, привлекательный – привлекательнее, призрительный – призрите-льнее, старый – старее, свободный – свободнее. 2. Дорогой – дороже, сухой – суше, твёрдый – твёрже, богатый – богаче, крутой – круче, густой – гуще, простой – проще, толстый – толще, чистый – чисще, громкий – громче, мелкий – мельче, горький – горьче, сладкий – слаще, мягкий – мягче, лёгкий – легче. 3. Долгий – дольше, ранний – раньше, тонкий – тоньше, далёкий – дальше. 4. Малый – меньше, плохой …
Muse Glimmer 30B
ERROR in getting response