Отличить сигнал от шума
От: pva  
Дата: 25.04.24 06:06
Оценка: +1
Привет,

немного заблудился в теории. Подскажите, каким методом можно отличить сигнал от шума? (зеленые точки — просто опорные для себя в редакторе ставил).

Дисперсия/Вариабельность здесь не работает, поскольку высокоамплитудный сигнал будет давать те же значения как и низкоамплитудный шум.
Нужна какая-то характеристика плотности/равномерности заполнения.

Как вариант, суммировать количество точек в проекции на ось Y и оценивать равномерность полученного ряда. Но может есть какой-то стандартный статпоказатель?
newbie
Re: Отличить сигнал от шума
От: Vzhyk2  
Дата: 25.04.24 06:20
Оценка: 4 (1) +3
Здравствуйте, pva, Вы писали:

pva>Как вариант, суммировать количество точек в проекции на ось Y и оценивать равномерность полученного ряда. Но может есть какой-то стандартный статпоказатель?

В твоем случае спектр сработает — спектры шума и сигнала будут ну очень разные.
Re: Отличить сигнал от шума
От: kov_serg Россия  
Дата: 25.04.24 06:21
Оценка:
Здравствуйте, pva, Вы писали:


pva>Подскажите, каким методом можно отличить сигнал от шума?

Какая-то хреновая постановка вопроса.
фильтр -> детектор -> profit
Re: Отличить сигнал от шума
От: Maniacal Россия  
Дата: 25.04.24 06:25
Оценка:
Здравствуйте, pva, Вы писали:

pva>Как вариант, суммировать количество точек в проекции на ось Y и оценивать равномерность полученного ряда. Но может есть какой-то стандартный статпоказатель?

Если сигнал шифрованный длинным ключом неизвестной длины с частотной модуляцией, как сигналы военных каналов ГЛОНАСС и GPS, то они выглядят как шум и при этом устойчивее к воздействию РЭБ
Re: Отличить сигнал от шума
От: Pzz Россия https://github.com/alexpevzner
Дата: 25.04.24 06:32
Оценка:
Здравствуйте, pva, Вы писали:

pva>Дисперсия/Вариабельность здесь не работает, поскольку высокоамплитудный сигнал будет давать те же значения как и низкоамплитудный шум.

pva>Нужна какая-то характеристика плотности/равномерности заполнения.

Частотная характеристика. Сигнал (в твоем понимании) будет занимать узкую полосу или несколько их. Шум будет более-менее равномерно размазан.

Но, примечание, я не знаю, какова природа твоего источника сигнала, но любой зашифрованный (или даже просто закомпрессованный) сигнал будет выглядеть, как шум. Любоая современная крутая модуляция выдает шумоподобный сигнал, но укладывающийся в отведенный диапазон.
Re: Отличить сигнал от шума
От: viellsky  
Дата: 25.04.24 06:40
Оценка:
Здравствуйте, pva, Вы писали:

pva>Привет,


pva>немного заблудился в теории. Подскажите, каким методом можно отличить сигнал от шума? (зеленые точки — просто опорные для себя в редакторе ставил).

Дык тебе ЦОС нужна.

pva>Нужна какая-то характеристика плотности/равномерности заполнения.

Эта характеристика называется АЧХ. У белого шума это будет в среднем ровная линия. Получить АЧХ можно с помощью БПФ.
Потом — автокорреляция как вариант.

Задача то практическая какая? То что ты нарисовал — это вообще говоря не факт, что зеленым — шум. Может, у тебя вообще есть задача тупо детектировать наличие какой-то синусоиды с известной частотой. Тогда вообще все просто.
Re[2]: Отличить сигнал от шума
От: pva  
Дата: 25.04.24 06:43
Оценка:
Здравствуйте, Vzhyk2, Вы писали:

pva>>Как вариант, суммировать количество точек в проекции на ось Y и оценивать равномерность полученного ряда. Но может есть какой-то стандартный статпоказатель?

V>В твоем случае спектр сработает — спектры шума и сигнала будут ну очень разные.
Кстати, да.. можно FFT попробовать. Но по сути, я получу тот же вектор, в котором нужно будет делать оценку.
И что делать если частота полезного сигнала а) колеблется, б) меньше сканирующего окна? Допустим, в окно попадает 1-2 волны.
Кстати, а можно как-то определить границы зашумленного сигнала? Окно с перекрытием (например, ширина — 10с, а шаг — 1с)? Или есть еще какие-то методы?
newbie
Re[2]: Отличить сигнал от шума
От: pva  
Дата: 25.04.24 06:45
Оценка:
Здравствуйте, Maniacal, Вы писали:

M>Если сигнал шифрованный длинным ключом неизвестной длины с частотной модуляцией, как сигналы военных каналов ГЛОНАСС и GPS, то они выглядят как шум и при этом устойчивее к воздействию РЭБ

Не, таких сложностей у меня нет. Только гражданское применение.
newbie
Re[2]: Отличить сигнал от шума
От: pva  
Дата: 25.04.24 06:52
Оценка:
Здравствуйте, viellsky, Вы писали:

V>Задача то практическая какая?

Ну вот, анализ дыхания пациентов с апноэ, например. На фоне общих шумов будет периодический сигнал: вдох-задержка-выдох-задержка. При этом частота дыхания и задержек — вариабельна в зависимости от нагрузки и т.д. Шумы тоже имеют различную природу. И вопрос сейчас даже не в фильтрации, а в выделении участков где анализ нецелесообразен вообще.
newbie
Re[3]: Отличить сигнал от шума
От: viellsky  
Дата: 25.04.24 09:35
Оценка: 4 (1) +1
Здравствуйте, pva, Вы писали:

pva>Ну вот, анализ дыхания пациентов с апноэ, например. На фоне общих шумов будет периодический сигнал: вдох-задержка-выдох-задержка. При этом частота дыхания и задержек — вариабельна в зависимости от нагрузки и т.д. Шумы тоже имеют различную природу. И вопрос сейчас даже не в фильтрации, а в выделении участков где анализ нецелесообразен вообще.


Как понимаю стоит датчик (чего-то), который выдает значения.
Опрашиваешь его с какой-то частотой, получаешь выборку во временнОм домене. Применяешь БПФ — получаешь выборку в частотном домене (АЧХ). Дыхание пациента будет лежать в области низких частот. Значит, если там амплитуды высокие — дышит. А если примерно те же, что в других частотах — не дышит.
Если надо отфильтровать шумы, сгладить график дыхания — то применяешь фильтр по БПФ. Т.е. тупо зануляешь бины на тех частотах, которые тебе не нужны, оставляешь нужные (низкие) — далее обратно БПФ-ом во временнОй домен перегоняешь. Получишь ровный график без шумов.
Ну и конечно не забываем про оконную функцию и перекрытие. Используй Ханна и перекрытие в 50 или 75%

pva>И вопрос сейчас даже не в фильтрации, а в выделении участков где анализ нецелесообразен вообще.

А зачем? Т.е. конечная задача какая?
Re[4]: Отличить сигнал от шума
От: pva  
Дата: 25.04.24 10:49
Оценка:
Здравствуйте, viellsky, Вы писали:

V>А зачем? Т.е. конечная задача какая?

Конечная задача — получить статистически значимые параметры дыхания (частоту, амплитуду, профиль волны и т.д.). Если анализировать поверх шумов, то начинают подмешиваться ошибки. А для клиники проще выкинуть шумные участки, оставив только значимые и анализировать "там где светлей".
newbie
Re[4]: Отличить сигнал от шума
От: pva  
Дата: 25.04.24 12:02
Оценка:
Здравствуйте, viellsky, Вы писали:

V>Ну и конечно не забываем про оконную функцию и перекрытие. Используй Ханна и перекрытие в 50 или 75%

Интересно, а нельзя ли получить аналогичную же статистику по частотному распределению (АЧХ), но на вейвлетах?
newbie
Re[5]: Отличить сигнал от шума
От: viellsky  
Дата: 25.04.24 13:04
Оценка:
Здравствуйте, pva, Вы писали:

pva>Интересно, а нельзя ли получить аналогичную же статистику по частотному распределению (АЧХ), но на вейвлетах?


Да, под описанную тобой задачу вейвлеты будут лучше — т.к. ты хочешь получить характеристики нестационарного сигнала. Вот как именно применить — не подскажу, практического опыта с ними не имел, но в гугле наверняка найдешь
Re[3]: Отличить сигнал от шума
От: Vzhyk2  
Дата: 25.04.24 15:18
Оценка:
Здравствуйте, pva, Вы писали:

pva>Кстати, да.. можно FFT попробовать. Но по сути, я получу тот же вектор, в котором нужно будет делать оценку.

Почитай таки книжки по ЦОС. Рассказывать тебе здесь пол книжки мне лень.
Re[3]: Отличить сигнал от шума
От: Vzhyk2  
Дата: 25.04.24 15:20
Оценка:
Здравствуйте, pva, Вы писали:

pva>Ну вот, анализ дыхания пациентов с апноэ, например. На фоне общих шумов будет периодический сигнал: вдох-задержка-выдох-задержка.

А вот тут будет всё сильно сложнее, чем ты нарисовал выше.
Тут без наличия реальных снятых сигналов и экспериментов с ними ничего сказать не выйдет.
Re[5]: Отличить сигнал от шума
От: Skorodum Россия  
Дата: 03.05.24 08:38
Оценка:
Здравствуйте, pva, Вы писали:

pva>Конечная задача — получить статистически значимые параметры дыхания (частоту, амплитуду, профиль волны и т.д.). Если анализировать поверх шумов, то начинают подмешиваться ошибки. А для клиники проще выкинуть шумные участки, оставив только значимые и анализировать "там где светлей".

Наш радар для подобных задач используют и есть довольно много публикаций с теорией. Например. Ключевые слова: "uwb" + "breath".
Re[6]: Отличить сигнал от шума
От: Vzhyk2  
Дата: 03.05.24 14:19
Оценка:
Здравствуйте, Skorodum, Вы писали:

S>Наш радар для подобных задач используют и есть довольно много публикаций с теорией. Например. Ключевые слова: "uwb" + "breath".

Интересная штука. Где продается и сколько стоит девкит ваш?
Re[7]: Отличить сигнал от шума
От: Skorodum Россия  
Дата: 03.05.24 21:24
Оценка:
Здравствуйте, Vzhyk2, Вы писали:

V>Интересная штука. Где продается и сколько стоит девкит ваш?

5 лет частным лицам не продавали, но скоро снова будет доступен для всех желающих через дестрибьютеров электронники по довольно низкой цене. Наверняка будет анонс в линкедине, может я в разделе "о работе" напишу.
Re[8]: Отличить сигнал от шума
От: Vzhyk2  
Дата: 05.05.24 07:14
Оценка:
Здравствуйте, Skorodum, Вы писали:

S>5 лет частным лицам не продавали, но скоро снова будет доступен для всех желающих через дестрибьютеров электронники по довольно низкой цене. Наверняка будет анонс в линкедине, может я в разделе "о работе" напишу.

Жду, пиши здесь, на линкедине меня нет. Он последние 3 года окончательно скатился в УГ.
 
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.