Re[6]: округление младшего разряда
От: Аноним  
Дата: 08.07.08 10:58
Оценка:
Здравствуйте, Кодт, Вы писали:

К>Здравствуйте, <Аноним>, Вы писали:


А>>Исходная задача, есть итерационный алгоритм, и он накапливает погрешность,

А>>надо время от времени можно и на каждом шаге, отбрасывать ненужные знаки после запятой,

К>Но ведь округление только увеличивает погрешность?

К>А кстати, что за формула?

цифровой фильтр, сглаживает экспериментальные данные, точность в 10^-3 недостижима из-за инструментальной погрешности,
формула довольно большая, типа
x_вспомогательная_1 = сумма произведений
x_вспомогательная_2 = сумма произведений
x_результат = ...

те кто спроектировали этот фильтр (подобрали формулу и коэфиценты)
высказали предположение что фильтр будет накапливать погрешность,
и хорошо бы незначимые разряды обнулять.
 
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.