Задача
Нужны размеченные страницы для дообучения OCR: изображение, эталонный текст в порядке чтения и bbox каждого блока. Исходных страниц с разметкой нет, а реальные документы содержат персональные данные, поэтому их нельзя ни публиковать, ни использовать в открытом виде.
Схема работы
- Шаблон. Vision-LLM смотрит на скан и описывает страницу списком блоков: bbox в шкале 0..1000, тип блока, выравнивание, строки текста. Переменные данные внутри строк помечаются как
[[тип|значение]]: ФИО, адрес, суд, дата, номер дела, ИНН. - Новые значения. Для каждого поля генерируется новое значение того же типа и формата: ФИО сохраняет падеж и формат инициалов (pymorphy3, Faker ru_RU), даты и номера сохраняют маску цифр.
- Верстка. HTML собирается детерминированно: каждый блок ставится по своему bbox, размер шрифта подбирается в браузере так, чтобы текст влез в исходный прямоугольник.
- Рендер и разметка. Страница рисуется в Chromium на 180 dpi. Строки и блоки снимаются из DOM через
Range.getBoundingClientRect, поэтому bbox совпадает с реально отрисованными глифами, а не с тем, что модель написала в HTML. - «Скан». Augraphy добавляет чернила, фактуру бумаги, шум копира и перспективу фото. Четыре пресета:
clean,scan,copy,photo. Геометрия пересчитывается в полигоны. - Выход. На каждый вариант: изображение, чистая версия без искажений, JSON со строками, блоками и полями, и
.mdс эталонным текстом.
Данные
- 5 шаблонов: извещения и определения суда, по 20 вариантов на шаблон, 100 страниц.
- Персональные данные. Все ФИО, адреса, номера дел и номера договоров в шаблонах размечены как поля и заменены. В выходных
.mdи на картинках исходных значений нет: проверено поиском по фамилиям и номерам из исходных образцов. Выборка картинок проверена глазами. - Публичные реквизиты судов и учреждений (адреса, телефоны, сайты) оставлены как в оригинале: это данные органов, а не частных лиц.
Примеры
Три варианта из разных шаблонов, v01:
Извещение, шапка суда и 8 адресатов (шаблон t1)

Извещение о привлечении третьего лица, две колонки (шаблон t3, пресет с сильными полосами)

Определение об отмене судебного приказа, сплошной текст (шаблон t4)
