Улучшение звука Фонографа

А какой алгоритм используется "Фонографом" при оцифровке? С фиксированной частотой захватывает бит магнитофонного порта и складывает в память? Может использоваться ШИМ, может - сигма-дельта...

Три соображения.

1) Стандарт для цифровых телефонных линий - это дискретизация звука на частоте 8 КГц (максимальная частота звука - 4 КГц) с 256 возможными уровнями сигнала (8-битный АЦП, динамический диапазон 48 Дб).
"Фонограф", насколько я понял его формат (http://forum.agatcomp.ru//viewtopic.php?id=100), дискретизирует звук на частоте около 30 КГц (максимальная частота звука - 15 КГц) с 2 уровнями сигнала (1-битный АЦП, динамический диапазон 0 Дб).

То есть, основная причина потери качества - в 8 раз меньшая разрядность по сравнению с телефонной линией, и при воспроизведении ее уже никак не восстановить.

"Фонограф" еще применяет RLE к оцифрованным данным, но это сжатие без потерь и на качество оно не влияет.

2) Психоакустические модели точно ничем тут не помогут, потому что они про спектральный состав сигнала. Вот если бы "Фонограф" синтезировал звук из простых синусов, то да, модели могли бы сказать - вот из этих двух синусов второй можно нафиг выкинуть, потому что человек его вообще не услышит на фоне первого.

3) Улучшить качество можно, но не сильно. Магнитофонный вход Агата распознает сигнал амплитудой примерно от 50 милливольт как "1", все что ниже - как "0" (тишину). При этом стандартное напряжение на линейном входе 0,3 В.

Первое, что можно сделать - поиграться с этим пороговым уровнем (слишком сильно снижать не стоит, потому что начнут оцифровываться шумы).

Вторая проблема - одинаковый звук с разными уровнями громкости цифруется по разному. На картинке три одинаковых синуса с разной амплитудой. Первый после оцифровки пропал, у второго и третьего разная скважность, а из-за этого будет отличаться тембр.

Чтобы с этим побороться нужно сжать динамический диапазон. В звуковых редакторах есть такой эффект - "компрессор". Он делает тихие звуки громче, а громкие - оставляет как есть. С его помощью можно улучшить разборчивость тихих звуков.

Еще можно сделать программную оцифровку с учетом ошибки квантования. Проблема 1-битного АЦП в том, что он весь диапазон напряжений от 50 до 300 мВ превратит в "1", а диапазон от -300 мВ до 49 мВ - в "0".

Если представить, что выход АЦП сразу идет на ЦАП, то получается, что у нас на входе АЦП 50 мВ, а на выходе ЦАП сразу 300 мВ. На входе АЦП 0, а на выходе ЦАП -300 мВ.

Если на каждом шагу вычитать из входного сигнала сигнал с "как бы выхода ЦАП", то у нас будет напряжение ошибки. Это напряжение нужно прибавить к входному сигналу на следующем шаге оцифровки и тогда ошибка будет учтена. Разрядность АЦП это не повысит, но ошибка будет "размазана" по соседним отсчетам и будет менее заметна на слух.

Ну да, если найти способ хорошо сравнивать спектры, то автоподбор можно сделать просто "в лоб" - перебором параметров. Правда это будет нехилая такая вычислительная задача. Допустим, у нас регулятор тембра с двумя ручками ("верхи" и "басы") и две ручки в компрессоре ("порог" и "степень компресии"). У каждой ручки для простоты 10 положений. Итого 10 в 4 четвертой степени вариантов.

Со сравнением спектров заковыка в том, что вариант, где расхождений меньше, вполне может звучать хуже. Какие-то мелкие погрешности в громкости одних частей спектра могут быть заметнее на слух, чем полное пропадание других.

Наверно, психоакустические модели можно было бы применить именно тут, для обработки спектров перед сравнением.

Но вообще, у меня сомнения, что овчинка стоит такой капитальной выделки. Вот если бы "Фонографом" записывать речь - тут да, можно было отрезать лишние частоты, уменьшить динамический диапазон до минимума и тогда возможно качество было бы сносным. Но если так обработать музыку, от нее мало что останется.

У каждого музыкального звука есть два ключевых параметра - высота тона и громкость. После компрессирования и прохождения через 1-битный АЦП останется, по сути, только высота тона :) А если все звуки одинаковой громкости, то музыка превратится в кашу. И тут как ручки не крути, Hi-Fi качества все равно не добиться.

Отдельная головная боль будет с этими фреймами. Наверняка ведь на каждый фрейм параметры будут получаться разными. И если фрейм по отдельности может и будет звучать сносно, то когда фреймы начнут воспроизводиться подряд, то получится эффект, будто кто-то крутит ручки 50 раз в секунду.

В радиостанциях компрессия голосового сигнала используется с 60-х. Так что ничего удивительного. По-моему, даже в журнале "Радио" про это писали.

Кстати, почитал внимательно инструкцию к фонографу и понял, что автор практически и добился эффекта компрессора :) Потому что с выхода для наушников уровень сигнала в несколько раз выше, чем с линейного выхода, и проблема слишком высокого порогового уровня в Агате решается. А дальше операционник в Агате перегружается :)

> Но вообще, у меня сомнения, что овчинка стоит такой капитальной выделки.

"Капитальность" - это дело здесь субъективное. Возможно, для кого-то это неделя возни с кодом и первоначальные проверки в mathlab.
Тут же даже знания по агату особо не нужны. Я опубликовал этот пост только как интересную идею, может кто-то найдёт её занимательной и попробует реализовать.

> Наверно, психоакустические модели можно было бы применить именно тут, для обработки спектров перед сравнением.

Именно это я и имел ввиду в первом сообщении: выкинуть из спектра заранее всё, что для музыки будет иметь минимальную (и даже среднюю) ценность.

И ещё: предполагаю, что задача близка к тому, что наверняка пытались делать в 90-е с AdLib: там же тоже были вопросы о том, можно ли автоматически преобразовать WAV в MOD, STM и прочие "нотные" форматы. Больших успехов не достигли, но может что-то всё таки удалось ?

> Впрочем, есть шанс, что эмулятор не идеально реализует работу динамика и на реальном железе звучало бы иначе.

Если послушать jukebox на реале (а может и в эмуляторе это будет слышно?) - слышен тихий постоянный свист.
То же есть и в musiceditor'е.

Но этого нет в простых звуковых прогах.

Думаю, в jukebox как раз и пытались сделать какой-то нетипичный синтез звука, возможно, что-то вроде PWM.
Но код их я не копал, так что не знаю что внутри. Если кому интересно: misiceditor сохраняет музыку в виде исполняемого файла (ноты + минимальный плейер) - если такой файл ковырнуть станет сразу видно, что там внутри.

> Э... Возможно, я что-то не понял, но тут как бы совсем разные вещи вместе смешаны.

Я имел ввиду именно абстрактную задачу: преобразовать WAV в некий формат отдельных нот. Не важно, как это воспроизводится: FM-генератор или библиотека семплов через DAC - всё равно они не могут воспроизвести WAV напрямую (если исключить случай, когда из исходного WAV собирается новая библиотека инструментов. Или весь WAV загоняется в библиотеку как одна нота :).

> Да и копать не надо, автор сам это все с картинками описал https://arachnoid.com/electric_duet/.

Статья супер ! Особенно img 2 :)