MWS-Vision-Bench · 120 страниц

Какая модель лучше читает русские документы

20 моделей распознают одни и те же 120 страниц: сканы и фото печатных документов (90) и рукопись (30). Балл от 0 до 1 — насколько текст модели совпадает с эталоном. Как он считается и чем плох эталон — в методике.

лучшая модельMuse Glimmer 30B0.854 · llama.cpp (llama-swap), UD-Q4_K_XL

лучшая специализированная OCR-модельLightOnOCR-3-4B0.802 · 4B

лучшая без GPUIndra OCR0.649 · печатные 0.826

Общий балл

все 120 печатные рукопись настроена на этом бенче

Таблица

#	Модель	Все 120	Печатные 90	Рукопись 30	Размер, запуск	Скоростьусловия разные
1	Muse Glimmer 30BVLM общего назначения	0.854	0.910	0.688	29.6B dense llama.cpp (llama-swap), UD-Q4_K_XL	79.6 с/стр 4 параллельных запроса, 0.084 стр/с суммарно, reasoning по умолчанию
2	Qwen3.8-27BVLM общего назначения	0.840	0.898	0.665	27B dense llama.cpp (llama-swap), Q4_K_M	93 с/стр 4 параллельных запроса, прогретая модель (161 с на холодную)
3	LightOnOCR-3-4BOCR-модель на VLM	0.802	0.879	0.571	4B vLLM v0.30, bf16	1.03 стр/с plain, 64 параллельных запроса; grounding 0.49 стр/с
4	Qwen3.6-35B-A3BVLM общего назначения	0.801	0.895	0.518	35B MoE, ~3B активных llama.cpp (llama-swap)	20.6 с/стр 4 параллельных запроса
5	Наш PP-OCRv6классический OCRнастроена на этом бенче	0.800	0.897	0.509	PP-OCRv6 medium + PP-DocLayoutV3 PaddlePaddle, GPU	не замерялась целиком распознавание строк 0.23 с/стр на GPU, без layout и выпрямления
6	Qwen3.6-27BVLM общего назначения	0.789	0.890	0.483	27B dense llama.cpp (llama-swap)	54.3 с/стр 1 запрос за раз
7	LightOnOCR-3-1BOCR-модель на VLM	0.773	0.882	0.445	1B vLLM v0.30 + transformers 5.16.1, bf16	1.50 стр/с plain, 64 параллельных запроса; grounding 1.11 стр/с
8	Ternary Bonsai 2 27BVLM общего назначения	0.758	0.846	0.493	27B, тернарная 2.13 bpw llama.cpp (форк prism), PQ2_0	63.8 с/стр 4 параллельных запроса
9	Surya OCR 2OCR-модель на VLM	0.750	0.890	0.328	650M vLLM / llama.cpp	0.51 стр/с vLLM, 32 параллельных запроса, плато с 16; один запрос 4.7 с
10	LightOnOCR-3-0.8BOCR-модель на VLM	0.735	0.859	0.365	0.8B vLLM v0.30, bf16	4.62 стр/с plain, 64 параллельных запроса; grounding 3.73 стр/с при 48
11	Jina-OCR-v1OCR-модель на VLM	0.726	0.882	0.256	3B vLLM, MTP выключен	1.37 стр/с 32 параллельных запроса; один запрос 2.9 с
12	Unlimited-OCROCR-модель на VLM	0.721	0.881	0.243	3.3B vLLM (свой образ)	10.7 с/стр 4 параллельных запроса
13	LightOnOCR-2-1BOCR-модель на VLM	0.681	0.810	0.295	1B vLLM, bf16	0.91 стр/с пик в общем замере с Jina и Surya; один запрос 1.3 с (медиана)
14	Nemotron-3.5-ParseOCR-модель на VLM	0.680	0.834	0.218	0.63B vLLM v0.30 + плагин вендора, bf16	1.74 стр/с 32 параллельных запроса; одна страница 1.97 с
15	Indra OCRклассический OCR	0.649	0.826	0.116	~7M, ONNX ONNX Runtime, CPU	7.5–8.5 стр/с CPU Ryzen 9 5950X, 8 процессов; одна страница 0.23–0.34 с
16	OvisOCR2-0.8BOCR-модель на VLM	0.574	0.708	0.174	0.8B llama.cpp (llama-swap), Q5_K_M	~11 с/стр llama.cpp
17	PaddleOCR PP-OCRv5классический OCR	0.543	0.677	0.142	mobile rec, cyrillic PaddlePaddle 3.3, GPU	1.2 с/стр 3 потока на GPU
18	PaddleOCR-VL-1.6OCR-модель на VLM	0.507	0.618	0.175	0.9B vLLM v0.20.1	2.0 стр/с 32 параллельных запроса; один запрос 4.1 с
19	PP-StructureV3классический OCR	0.459	0.571	0.123	layout + PP-OCRv5 PaddleX, GPU	~5 с/стр PP-StructureV3.yaml, 1–2 процесса
20	GLM-OCROCR-модель на VLM	0.294	0.335	0.171	0.9B vLLM v0.20.1	23 с/стр официальный SDK, layout на CPU + регионы в 8 потоков

Скорость снята в разных условиях: разные движки (llama.cpp, vLLM, ONNX на CPU), кванты и число параллельных запросов. Это ориентир для своего запуска, а не рейтинг. Все замеры — RTX 3090 24 ГБ. Качество посчитано одним скорером на одних и тех же 120 страницах, его сравнивать можно.