1 Отредактировано Voldemar0 (18-11-2025 20:58)

Тема: Обработка сканов чертежей и схем

Привет!

Имеются довольно сильно выцветшие сканы схем.
На самой бумаге видно всё достаточно плохо, на сканах - чуть лучше.
Если просто пытаться подкрутить контрастность, то видно, что уровень шума вполне (по амплитуде) достигает уровня печати.
Т.е. любые игры с преобразованием уровней тут не слишком хорошо решают задачу.
С другой стороны, глядя глазами, удаётся чётко отлавливать элементы схемы и подписей от фона. Особенно если немного накрутить контрастность (использую "кривые").
Т.е. вручную "ластиком" можно было бы вычистить всё почти в идеал. Но лень: очень много ручной работы.

Я задал вопрос нескольким нейронкам на тему автоматизации процесса. Все они утверждают, что решения есть, основанные на обучении по "хорошим" чертежам свёрточных нейросетей.
Фрагмент одного из ответов (qwen3, наиболее интересный) здесь:

=====

Для неконтрастного текста и чертежей лучше всего подходят:

Онлайн-инструменты (с нейросетями), подходящие для задачи:
{ Название , Описание , Подходит для текста/чертежей? }

Let's Enhance
Использует EDSR и другие модели. Увеличивает, убирает шум, улучшает чёткость. Есть бесплатный тариф (5 изображений/неделю).
✅ Отлично — особенно для текста и чертежей.

ImageColorizer
Включает DeOldify для улучшения Ч/Б изображений. Может повысить читаемость.
✅ Средне — больше для фото, но может помочь.

Topaz Denoise AI
Мощный инструмент на базе нейросетей. Удаляет шумы, сохраняя текстуры. Есть пробная версия.
✅ Отлично — особенно для шумных сканов.

Deep Image (от Vance AI)
Улучшает резкость и контрастность. Подходит для документов.
✅ Хорошо — прост в использовании.

PhotoPea
Онлайн-Photoshop. Не нейросеть, но позволяет вручную улучшать контраст, яркость, использовать фильтры.
✅ Хорошо — при ручной обработке.

Alibaba DAMO-Document Restoration
Новейший инструмент от Alibaba (2023). Специально для документов: удаляет шум, виньетирование, улучшает текст. Открытый демо-сервис.
✅ Отлично — самый подходящий для текста и чертежей.

Remini
Популярен для фото. Улучшает детализацию, но может "искусственно" натягивать текст.
⚠️ Осторожно — может исказить текст.

Fotor (Image Sharpener)
Простое улучшение резкости.
✅ Базово — для лёгкой очистки.


Итого:
Alibaba DAMO DocRepair — самый целевой.
Let's Enhance — самый удобный.
Topaz Denoise AI — самый мощный (но платный).
Если задача — просто улучшить читаемость, начните с Let's Enhance или DAMO.

=====

Мне удалось попробовать только Remini: да, прикольный сервис для фотографий, почти без настроек.
Особенно впечатляет на портретах: судя по всему, он распознаёт части лица и пытается привести их к некоему идеальному варианту (буквально дорисывывает). Хотя иногда прикольно ошибается. При этом весь остальной фон пытается замылить и, порой, это плохо.
Но это всё таки сервис обработки фотографий.

letsenhance: удалось закинуть туда картинку, но итоговый результат околонулевой. Я не заметил разницы вообще.

Alibaba DAMO DocRepair: кажется, даже гугл не знает, что это.

С остальными сервисами какая-то засада: либо недоступы, либо уже сдохи (переименовались?), либо просят залить изображение и написать пожелания, но, судя по всему, дальше это уйдёт куда-то то ли на ручную обработку, то ли под управлением живых операторов... В общем, результат получится увидеть может быть когда нибудь.

Самый рекомендуемый Topaz Denoise AI вроде открывается, даёт загрузить изображение и на попытку render отвечает "Failed to process image, please try again. You will not be charged for failed processes.". Попытка 2: загрузил изображения, обработал, но результат ни чем не отличается от оригинала.

Если ли у кого-то опыт решения таких задач или возможность это сделать ?

2 Отредактировано Voldemar0 (19-11-2025 09:28)

Re: Обработка сканов чертежей и схем

Идём дальше:
Контора CSoft выпускает некий наворочанный графредактор для чертежей SpotLight, который имеет функцию очистки сканов. Но лицензия стоит много монеток, а демки нет вообще. Т.е. совсем не ясно, стоит ли связываться.

Есть советы взять FineReader и там попробовать их функционал по предварительной очистке.

Есть пара любопытных статей с довольно конкретными советами по использованию нейронок.
https://habr.com/en/companies/smartengi … es/344550/
https://habr.com/en/articles/429328/
Но это - не готовый продукт, а путь самурая.
Самое главное, что там хороший результат достигается сперва обучением нейронок на примерах, нужно много хороших примеров, а потом уже нейронка выдаёт попиксельный результат, который указывает, является ли конкретный пиксель хорошим или плохим. Плохой превращаем в фон, хороший сохраняем как есть.

Ещё есть aurivus solution. Они тоже умеют чистить чертежи после лазерного сканирования зданий.
Но даже прайс там засекречен. Об онлайн сервисе и не заикаются.


Итого: все признают, что проблема есть и она может решаться и что есть те, кому её нужно решать.
Казалось бы: если нейронки требуют обучения, то проект: "предоставь 5 чистых чертежей и мы очистим 100 грязных" как будто бы должен был бы хорошо работать именно на сообществах, но пока его нет. А всё что есть - заточено под фотографии пляжного отдыха.

--

Значит пойдём опять старым путём: скан с высоким разрешением, потом выравнивание яркости по уровню фона и потом обычные "кривые" и расслоение на RGB. В каком из слоёв результат лучше - тот конвертируем в итоговый grayscale. Результат будет среднепаршивый, но читаемый.

3

Re: Обработка сканов чертежей и схем

Мне кажется, тут дело в том, что количество людей, заинтересованных в очистке чертежей, невелико. А решение проблемы при этом требует заметного количества денег.

Нейронка ведь не понимает, что на чертеже, это для нее просто некий узор. Чтобы она начала улавливать какой-то смысл и выдавать приличный результат, ей нужно скормить очень много данных. Думаю, тысяч 10 чертежей как минимум. Причем, не просто чертежей, а пар чистый/грязный для одного и того же чертежа. В теории, нейронка может и сама разобраться, без парных чертежей, но тогда их нужно еще больше, скажем тысяч 100.

Обучение на таком количестве чертежей потребует приличных вычислительных ресурсов (кластер с GPU ускорителями). Это денег стоит.

В чем еще засада - при обучении на фотографиях пляжного отдыха есть возможность сэкономить (например, используя пониженное разрешение картинок). Да, это может давать артефакты, типа рук с семью пальцами, но время обучения должно сокращать заметно.
А вот с чертежами это не пройдет, тут нужны детали и высокое разрешение.

Ну вот и получаем то, что имеем.

4

Re: Обработка сканов чертежей и схем

Да, я тоже так примерно себе это представляю.


> Причем, не просто чертежей, а пар чистый/грязный для одного и того же чертежа.

Как я понял, берётся чистый чертёж и немного автоматически портится: поворот, шум, контрастность, сдвиг - любые сочетания этого.
Причем берется не весь, а режется на куски и с ними уже идёт обучение.


> кластер с GPU ускорителями

Если делаем пляжную фотку, результат нужен быстро. Но если частным образом делаем собственные работы, то нет же проблем комп и на неделю включенным оставить. Ну и аренда как GPU удаленная возможна, так и ... как бы .. зайти, попросить, в соседний отдел, погонять на выходные :) Короче, у коллег и знакомых.


> В теории, нейронка может и сама разобраться, без парных чертежей, но тогда их нужно еще больше, скажем тысяч 100.

Как я понял : может , но так неэффективно. Результаты существенно хуже.


> Думаю, тысяч 10 чертежей как минимум.

Вот тут самый вопрос. На одном форуме как раз об этом обсуждали, речь шла о том, что нужно скармливать что-то похожее на то, что будет чистится. Насколько похожее - вопрос. Там речь о книгах шла, вроде того, что сколько -то страниц найдём чистых, на них обучимся, а потом всю книгу целиком обработам. Но другую книгу нужно опять учится разбирать.
Можно было бы взять чистые схемы в том же стиле, которые у нас на сайте уже лет 15 лежат.
Но можно ещё добавить всяких схем бытовой техники - их тоже есть у меня.

Но, пожалуй, именно поскольку тут много ещё мне не ясного, и разбираться не быстро, я пока это отложу.

В статьях были ссылки на конкретные исходники сети, точнее - должны быть.

5

Re: Обработка сканов чертежей и схем

Для демонстрации сути проблемы:
в аттаче источник и попытка получить более-менее результат
Оба уменьшены в 8 раз.

Post's attachments

dst0.png, 279.72 kb, 501 x 291
dst0.png 279.72 kb, 89 downloads since 2025-11-20 

src0.png, 257.34 kb, 491 x 275
src0.png 257.34 kb, 113 downloads since 2025-11-20 

6 Отредактировано Voldemar0 (26-03-2026 12:27)

Re: Обработка сканов чертежей и схем

Закончил эту тему: толстая папка, полсотни листов A1 (или A0, порезанных на два A1), почти столько же A3, чуть меньше A4, но там наименее интересное.

Что такое A0, которое склеивается обратно из пары A1 ? Это одеяло, которым можно полностью накрыться на пляже в солнечный день. В разрешении 600 DPI это больше 40000 точек по длиной стороне. Это уже не любой софт умеет. Я использовал GIMP 2.10, под Linux Debian, 16 Гиг ОЗУ, при этом файл подкачки самого GIMP (распухавший ещё на 8-16 Гиг) был закинут на NVME-SSD со скоростью доступа примерно в 3 Гиг/сек. По другому с этими листами работать не получается.

▼Spoiler

На самом деле, 600 DPI - это хорошее разрешение для того, чтобы потом обрабатывать его с помощью DJVU-шного компрессора cjb2. Но он работает только с битональным изображением и использовать его имеет смысл на хороших изображениях.

В моей папке хороших не было. Были средние, плохие и очень плохие.

Для средних можно было бы использовать компрессор cpaldjvu - он на входе ожидает число цветов, которые реально нужно сохранить и картинку. Но он довольно тормознутый.

А поскольку средних изображений было примерно листов 5 или меньше, я выбрал для всех файлов компрессор c44. Он полноцветный, по результату отдалённо похожий на jpeg с той разницей, что jpeg теряет мелкие детали изображения, а c44 старается терять крупные (т.е. фон), а мелкие - наоборот - вывозит. В целом, если нужно сохранить максимум деталей, то jpeg немного переигрывает c44, но если нужно только сохранить читаемость текста и чертежа, то c44 переигрывает jpeg.

Хотя, возможно, всё зависит от реализации конкретного кодера, от версии и т.д.

Но c44 не нуждается в настолько высоком разрешении, поэтому перед сжатием разрешение снижалось до 150 DPI.

--

Итого, в архивах предлагается два варианта:

- agat-docs-2026.rar
https://disk.yandex.ru/d/_teuspHmBFXryA
Тут есть как новые так и старые документы в форматах JPEG и DJVU. 600 Мб.
Новые документы в разрешении 150 DPI, спрессованные в DJVU.

Тут делалась цветокоррекция. Возможно, результат вам не понравится.
Я всё делал так, чтобы сделать быстро (не обрабатывая отдельные области листа по отдельности), но получить более-менее читаемый результат и не потерять отдельных элементов (взгляните на подписи снизу слева: они делались в разное время и имеют очень разную чёткость даже на соседних строчках).
Поэтому иногда тут будет цвет, иногда не будет, иногда будет серо-чёрная картинка, иногда рыже-белая и т.д.

- agat-docs-src-2026.rar
Многотомный архив, только новые документы, 600 DPI, формат png, до цветокоррекции (исходники). 32 тома, по 1 Гигу каждый.

--

Исторически документы интересные, технически - не очень.
Почти всё это у нас уже было на сайте, хотя это были другие экземпляры.

Но, всё таки, любопытно сравнивать те и другие. Например, у нас было две версии схем 840кб-контроллера флопика,
сейчас появилась третья - более поздняя. У неё не изменился номер, но видно, что кой что кой где почёркано.
И видно, что это тот же чертёж, но немного дорисованный, дополненный надписями.
Изучая лет 10 назад реальное железо, мы уже знали, что есть, минимум, три версии этого контроллера (ЯБ3.089.023).
http://agatcomp.ru/agat/Hardware/DZU/fl840k_.shtml
И у нас уже были срисованные схемы 2-й и 3-й версии. Но в виде заводских чертежей были только 1-я и 2-я. Теперь есть 3-я.
Наверное. А может она 4-я или ещё какая-то :))

Из отмеченного нового:
Фг3.089.118  Ячейка памяти и интерфейса - это главная плата Агат-7. Её схема была в книжке Мымрина, но там ошибок было много, да и это - всего один экземпляр. В реальности было несколько версий этих плат. У нас пока заводских чертежей не было ни на одну из версий.

МЦ4.035.002  Блок клавиатуры - редкая клавиатура, судя по всему с сенсорными (конденсаторными) клавишами, но не мс7004а.
Не содержит микропроцессора. Я её живьём не видел, хотя на сайте есть фотографии чего-то похожего.

Без Мерфи не обошлось: обе эти схемы имеют наихудшее качество.

--

Обращаю внимание на то, что некоторых листов некоторых документов пока нет.
Например, может быть так что "Карты рабочих режимов" (обычно это 5-10 листов) будут иметь пропуски страниц.
Значит пока у меня их нет.

Как и в прошлый раз, благодарим Научную Библиотеку ТГУ за содействие в сканировании (поближе никого не нашлось).

Post's attachments

DSC04382s.jpg, 76.95 kb, 600 x 338
DSC04382s.jpg 76.95 kb, 93 downloads since 2026-01-24