Re[9]: Несколько дурацких вопросов по теории информации
От: SergH Россия  
Дата: 20.01.09 11:41
Оценка: 1 (1)
Здравствуйте, Voblin, Вы писали:

V>Рискую.


Ты ещё не понял, насколько

V>Да уж, сложно найти разум (или хотя бы какой другой обработчик информации) внутри футбольного мяча. Тем не менее, малые отклонения направления импульса, получаемого мячом от ноги, совершенно равнозначные как по веществу, так и по передаваемой энергии, приводят к существенным различиям в направлении движения мяча. Отклонение на несколько несчастных градусов может привести к ликованию или разочарованию трибун, к возникновению или не возникновению погромов, к изменению психологического климата в стране, и даже к изменению в ней демографической ситуации.


Конечно.

V>А сам мячик — нет, он никаких решений не принимает. Его природная сущность — получить импульс и двигаться в том направлении, в котором его послали.


А дверь с замком и ключом? А турникет в метро?

Имхо, понятие "информация" без "решения" неотличимо от понятия "воздействие". Т.е. либо ты все воздействия обзываешь информационными и тогда теория становится вырожденной, либо надо как-то различать.
Делай что должно, и будь что будет
Re[6]: Несколько дурацких вопросов по теории информации
От: Voblin Россия http://maslyaew.narod.ru/
Дата: 20.01.09 11:45
Оценка:
Спасибо, Tilir, Вы писали:

T>Ну и что? Костёр горит, а вражеской конницы всё нет и нет. Твоя исходная посылка была что для информации нужен физический носитель. Смотри сколько информации ты получил не задействуя никаких носителей. Включая ложную, разумеется. Осталось придумать надёжный метод отличать истинную информацию от ложной, ну так это техническая задача.


Ну что, первое свойство (то, которое "Информация не существует сама по себе отдельно от своего носителя") можно считать опровергнутым? Действительно, отсутствие чего-то тоже ведь можно воспринять как информацию. А отсутствие сложно назвать физическим объектом

Но свойство это опровергнуто не насовсем. Оно просто потребовало переформулирования.

Ушёл думать.
Re[10]: Несколько дурацких вопросов по теории информации
От: Voblin Россия http://maslyaew.narod.ru/
Дата: 20.01.09 11:50
Оценка:
Здравствуйте, SergH, Вы писали:

SH>Имхо, понятие "информация" без "решения" неотличимо от понятия "воздействие". Т.е. либо ты все воздействия обзываешь информационными и тогда теория становится вырожденной, либо надо как-то различать.


Очень даже отличимо. Если в результате воздействия система не изменила состояния (подкачали мощность, направление, продолжительность или характер воздействия), то "воздействие" есть, а "информации" нет.
Re[11]: Несколько дурацких вопросов по теории информации
От: SergH Россия  
Дата: 20.01.09 11:56
Оценка:
Здравствуйте, Voblin, Вы писали:

V>Очень даже отличимо. Если в результате воздействия система не изменила состояния (подкачали мощность, направление, продолжительность или характер воздействия), то "воздействие" есть, а "информации" нет.


А что такое "состояние"? Изменение импульса -- катит?
Делай что должно, и будь что будет
Re[7]: Несколько дурацких вопросов по теории информации
От: Tilir Россия http://tilir.livejournal.com
Дата: 20.01.09 13:00
Оценка:
Здравствуйте, Voblin, Вы писали:

V>Но свойство это опровергнуто не насовсем. Оно просто потребовало переформулирования.


Так я и возражал в общем-то только по формулировке. Мне самому кажется что есть две ортогональные вещи -- событие объективного мира и условная умозрительная связь двух или более событий которая и порождает информацию. Сам по себе костёр ничего не значит. Так же и число пи само по себе это просто число. Но вот мы связываем два факта "моя автобиография" и "её положение в числе пи" и говорим что одно несёт информацию о другом. Связываем "костёр" и "конницу". Связываем пять вольт и понятие "истина", два вольта и понятие "ложь". Связь может объективно существовать и тогда информация истинная, может не существовать, тогда она как правило ложная и истинная только по совпадению. И вот чтобы она была истинной всегда связь должна быть измеримой и данной в ощущениях (физический канал) иначе и получаем извлечение бесконечных будущих из числа пи и гадание на звёздах о судьбе. То есть ваш физический канал нужен не для существования информации а для её истинности.
Re[12]: Несколько дурацких вопросов по теории информации
От: Voblin Россия http://maslyaew.narod.ru/
Дата: 20.01.09 13:15
Оценка:
Здравствуйте, SergH, Вы писали:

SH>А что такое "состояние"? Изменение импульса -- катит?


А вот этот вопрос сложнее чем кажется.
Изменение импульса может быть изменением состояния, а может им и не быть.

Думаю, именно в понятии "состояние" и кроется значительная часть рассматриваемой здесь проблемы.

С точки зрения болельщиков самое существенное изменение состояния мяча — это когда он пересекает линию ворот.
Уход человека в состояние запоя — это безусловно изменение состояния для его семьи и коллег, но для паспортного стола это не изменение состояния. Вот если бы он выписался, вот тогда с точки зрения паспортного стола состояние человека изменилось бы.

Кстати, определения понятий "состояние" и "информация" можно попытаться рекурсивно завязать друг на друга. Получится красиво.
Re[13]: Несколько дурацких вопросов по теории информации
От: SergH Россия  
Дата: 20.01.09 13:25
Оценка:
Здравствуйте, Voblin, Вы писали:

V>А вот этот вопрос сложнее чем кажется.

V>Изменение импульса может быть изменением состояния, а может им и не быть.

V>Думаю, именно в понятии "состояние" и кроется значительная часть рассматриваемой здесь проблемы.


Нет. Не совсем так. Доводя твои взгляды до некоторого абсурда, и не встречая никаких ограничений (т.к. речь о "всеобщей теории всего" -- какие нафиг ограничения?) я прижал тебя к стенке, на которой написано "состояние". И теперь ты говоришь "да, возможно здесь кроется тайна". Сутки назад была такая же стенка с надписью "информация". Что изменилось?

Ты распространил понятие "информация" настолько широко, что оно потеряло всякий смысл. Этот смысл пришлось передать кому-то следующему, в данном случае -- "состоянию". Ты мог дать другое различие между воздействием и информацией, мог счесть, что его нет -- разные были варианты.

V>С точки зрения болельщиков самое существенное изменение состояния мяча — это когда он пересекает линию ворот.

V>Уход человека в состояние запоя — это безусловно изменение состояния для его семьи и коллег, но для паспортного стола это не изменение состояния. Вот если бы он выписался, вот тогда с точки зрения паспортного стола состояние человека изменилось бы.

Вот попёр субъективизм, от которого ты всячески отгораживался, стараясь ввести "объективное строгое понятие 'информация'". Он попёр неслучайно, он является неотчуждаемой спецификой рассматриваемой области. Поэтому вытеснение его из одного места привело к появлению его в другом.

V>Кстати, определения понятий "состояние" и "информация" можно попытаться рекурсивно завязать друг на друга. Получится красиво.


Чтоб вообще никто ничего не понял, ага.
Делай что должно, и будь что будет
Re[13]: Несколько дурацких вопросов по теории информации
От: deniok Россия  
Дата: 20.01.09 13:43
Оценка: +2
Здравствуйте, Voblin, Вы писали:

V>Кстати, определения понятий "состояние" и "информация" можно попытаться рекурсивно завязать друг на друга. Получится красиво.


Поздравляю, в результате долгой дискуссии вы близки к рождению классического определения информации, как логарифма количества состояний (равновозможных, в противном случае можно слегка поднормировать на вероятности).
Re[10]: Несколько дурацких вопросов по теории информации
От: Sinclair Россия https://github.com/evilguest/
Дата: 20.01.09 13:54
Оценка:
Здравствуйте, SergH, Вы писали:

SH>А если не разделить, а растянуть?

SH>Короче, сам факт мгновенной передачи -- подтверждаешь, или пусть Эйнштейн ещё поживёт?
Хм. Как бы так тебе объяснить...
Ну вот есть у нас, к примеру, лазер. Он построен на аналогичном бозонном эффекте — фотоны в нём сваливаются в небольшое количество мод (иногда даже в одну). С точки зрения квантовой механики, фотоны перестают "бегать" по
Это совершенно не означает, что лазер позволит хоть как-то обмануть скорость света

Конденсат, собственно, всего лишь означает, что а) частицы "распухают" (как ты совершенно верно заметил — с уменьшением неопределённости импульса растет неопределенность координат) и б) "взаимопроникают".
Тем не менее, частицы взаимодействуют совершенно отдельно. Например, квант света будет поглощен ровно одной частицей из ансамбля, а не распределится равномерно.
Я не могу придумать эксперимент с конденсатом, который бы позволил обойти принцип причинности и скорость света.
Ну вот предположим, что мы охладили атом рубидия настолько, что он стал занимать макроскопический размер. Проверить его наличие в "ловушке" можно только одним способом: провзаимодействовать с ним. Но как только мы провзаимодействовали с атомом, он "выскочит" из ловушки и станет непригоден для наблюдения.
Уйдемте отсюда, Румата! У вас слишком богатые погреба.
Re[11]: Несколько дурацких вопросов по теории информации
От: nikov США http://www.linkedin.com/in/nikov
Дата: 20.01.09 14:00
Оценка:
Здравствуйте, Sinclair, Вы писали:

S>Ну вот предположим, что мы охладили атом рубидия настолько, что он стал занимать макроскопический размер.


Ты имеешь в виду, что неопределенность его координат должна стать макроскопической?
Re[5]: Несколько дурацких вопросов по теории информации
От: Васильич  
Дата: 20.01.09 14:03
Оценка: 10 (1)
Здравствуйте, D. Mon, Вы писали:

V>>>Антропоцентризм — зло!

V>>>Если мы не будем слишком чванливыми и самодовольными, то обработку информации найдём не только у сиятельного Хомо Сапиенса, но и во всём остальном животном мире. И в растительном мире её можно встретить в каждом изгибе веточки. В конце концов, посмотрите на снежинки — почему они все, как сговорившись, имеют такую странную форму, и не хотят, собаки такие, принимать форму шара, единственную приличествующую объектам неживого мира?

К>>Я склоняюсь к тому, что об информации без субъекта её интерпретирующего (т.е. хомо сапиенса) рассуждать нет никакого смысла.


DM>Для определения (количества) информации нужен субъект, но необязательно субъектом должен быть человек. Мой кот совершенно точно воспринимает информацию о том, готовится ли ужин. А архиватор FreeArc замечательно извлекает и использует информацию из одних данных для сжатия других. А вот примеры со снежинкой и растением мимо кассы — они просто следуют физическим законам, никаких решений не принимают и информацию не обрабатывают.


Я, кстати, в изначальном сообщении не писал про конкретно человека, а скорее имел в виду любое мыслящее существо. Вокруг определения "мыслящий" уже сломано куча копий и, в основном, человек его применят очень интуитивно. Причем, я склоняюсь к тому, что человек называет "мыслящим" или "живым" того, кто как раз умеет перерабатывать информацию. Это может быть человек, кошка, слон, разумный океан с Соляриса и может быть даже амебы, деревья (вот не могу сказать точно, насколько они разумны)

А вопрос с информацией в компьютерном смысле — очень даже интересен. Вот есть архиватор FreeArc, который сжимает и распаковывает файлы. Перерабатывает ли он информацию? Думаю, что нет. В этом случае он сродни снежинке, следующей физическим законам. Только для архиватора эти законы писаны человеком. Архиватор можно сравнить с горной рекой, вход которой узкий и бурный, а выход — широкий и плавно-текучий. Река трансформирует воду. Но перерабатывает ли она при этом информацию? Нет. Она всего лишь течет в рамках берегов, заданных природой (а архиватор — в рамках алгоритмов, написанных человеком).

Теперь расширим наш пример. Возьмем архиватор с самообучением, скажем на нейронных сетях. Подав на его вход файл, мы не просто получим на выходе сжатый файл, но и вместе с ним архиватор с измененным состоянием. Будет ли это являться получением архиватором новых знаний и, следовательно, причислением его к классу перерабатывающих информацию? Предлагаю высказать свои мнения по этому поводу, ибо я сам тоже не готов дать точный ответ

Кстати, все проводят парралели между общим понятием информации и информацией "компьютерного" плана. А эквивалентны ли эти понятия? Напрашивается аналогия с инерционной и гравитационными массами.

PS. Читая топик, невольно напрашивается мысль, что в стандартный курс обучения программиста обязательно входят ядерная и квантовая физика, общая и специальные теории относительности, термодинамика и астрономия, философия и риторика. Аж завидно
Re[6]: Несколько дурацких вопросов по теории информации
От: D. Mon Великобритания http://thedeemon.livejournal.com
Дата: 20.01.09 14:16
Оценка:
Здравствуйте, Voblin, Вы писали:

V>Понятно, что растущая снежинка никаких решений не принимает. У неё просто нет принималки решений. Но формирование столь причудливой формы — чисто информационный процесс, основанный на том, что из триллионов возможных событий прирастания молекул воды к растущему кристаллу случаются миллиарды таких, которые наиболее вероятны по причине их немножко большей энергетической выгодности.


Я все же пока не могу увидеть в этом процессе информационности. Когда футбольный мяч падает вниз под действием гравитации, это тоже информационный процесс? Что такое вообще информационный процесс?
Re[6]: Несколько дурацких вопросов по теории информации
От: D. Mon Великобритания http://thedeemon.livejournal.com
Дата: 20.01.09 14:19
Оценка:
Здравствуйте, Tilir, Вы писали:

T>Ну и что? Костёр горит, а вражеской конницы всё нет и нет. Твоя исходная посылка была что для информации нужен физический носитель. Смотри сколько информации ты получил не задействуя никаких носителей. Включая ложную, разумеется. Осталось придумать надёжный метод отличать истинную информацию от ложной, ну так это техническая задача.


С тем же успехом можно пытаться черпать массу полезной информации о мире из /dev/random, нужно лишь уметь отличить истинную от ложной.
Проблема в том, что так мы можем извлекать данные (цифры), но не информацию, ибо эти данные сами по себе никак наше незнание о мире не уменьшают. Только тогда данные становятся информацией, когда уменьшают неопределенность (см. пример с Медведевым выше).
Re[6]: Несколько дурацких вопросов по теории информации
От: nikov США http://www.linkedin.com/in/nikov
Дата: 20.01.09 14:20
Оценка:
Здравствуйте, Васильич, Вы писали:

В>PS. Читая топик, невольно напрашивается мысль, что в стандартный курс обучения программиста обязательно входят ядерная и квантовая физика, общая и специальные теории относительности, термодинамика и астрономия,


В наши дни это все в той или иной мере впихнули даже в школьную программу, а здесь наверное не мало людей с высшим образованием.
Re[6]: Несколько дурацких вопросов по теории информации
От: D. Mon Великобритания http://thedeemon.livejournal.com
Дата: 20.01.09 14:22
Оценка:
Здравствуйте, Васильич, Вы писали:

В>А вопрос с информацией в компьютерном смысле — очень даже интересен. Вот есть архиватор FreeArc, который сжимает и распаковывает файлы. Перерабатывает ли он информацию? Думаю, что нет. В этом случае он сродни снежинке, следующей физическим законам. Только для архиватора эти законы писаны человеком. Архиватор можно сравнить с горной рекой, вход которой узкий и бурный, а выход — широкий и плавно-текучий. Река трансформирует воду. Но перерабатывает ли она при этом информацию? Нет. Она всего лишь течет в рамках берегов, заданных природой (а архиватор — в рамках алгоритмов, написанных человеком).


Интересная тема, пойду подумаю..

В>PS. Читая топик, невольно напрашивается мысль, что в стандартный курс обучения программиста обязательно входят ядерная и квантовая физика, общая и специальные теории относительности, термодинамика и астрономия, философия и риторика. Аж завидно


Ну, у нас на факультете (который готовит программистов) квантовая физика и философия изучались немного. Хотя, скорее, проходились — мимо.
Re[14]: Несколько дурацких вопросов по теории информации
От: Voblin Россия http://maslyaew.narod.ru/
Дата: 20.01.09 16:27
Оценка:
Здравствуйте, deniok, Вы писали:

D>Поздравляю, в результате долгой дискуссии вы близки к рождению классического определения информации, как логарифма количества состояний (равновозможных, в противном случае можно слегка поднормировать на вероятности).

D>

Тоже, кстати, неплохой результат

Остаётся только разобраться со свойствами этого самого логарифма количества состояний. Ну должны быть свойства, ну хотя бы одно!
И на закуску (чисто любопытства ради) совместно с физиками понять, почему логарифм количества состояний не может двигаться быстрее скорости света.
Re[14]: Несколько дурацких вопросов по теории информации
От: Voblin Россия http://maslyaew.narod.ru/
Дата: 20.01.09 17:15
Оценка:
Здравствуйте, SergH, Вы писали:

SH>Нет. Не совсем так. Доводя твои взгляды до некоторого абсурда, и не встречая никаких ограничений (т.к. речь о "всеобщей теории всего" -- какие нафиг ограничения?) я прижал тебя к стенке, на которой написано "состояние". И теперь ты говоришь "да, возможно здесь кроется тайна". Сутки назад была такая же стенка с надписью "информация". Что изменилось?


Ни сутки назад, ни сейчас никакой стенки не было. Меня можно было бы к чему-то прижать, если бы я пришёл сюда и принёс очередную "теорию всего". Но я её не принёс так как у меня её нет. У меня есть всего лишь "несколько дурацких вопросов по теории информации". Внимание публики было обращено на тот прискорбный факт, что мы, строя машины (а кое-кто и человеко-машинные системы), предназначенные для сбора, накопления и обработки информации, не имеем внятного представления о том, что же это собственно такое — информация, и каковы её свойства. Токарь может много рассказать о свойствах металлов, строитель — о свойствах бетона. А мы, инфотехнологи можем только что-то жалко пролепетать про то, что ОНО меряется в битах. Спасибо хоть, что не станем говорить, что ОНО лежит в папочке "Мои документы" или на рабочем столе. И я в этом смысле ничуть не лучше всех остальных собравшихся. Точно такая же муть в голове. Вот и задаю дурацкие вопросы.

Ну да, пришлось для начала разговора вбросить несколько утверждений (чтобы сразу не быть отосланным к школьному учебнику информатики). Вопрос не в том, что эти конкретные утверждения верны или не верны. Право слово, с точки зрения теории информации совершенно безразлично, есть ограничение скорости передачи информации, или его вовсе нет.

SH>Ты распространил понятие "информация" настолько широко, что оно потеряло всякий смысл. Этот смысл пришлось передать кому-то следующему, в данном случае -- "состоянию". Ты мог дать другое различие между воздействием и информацией, мог счесть, что его нет -- разные были варианты.


А понятие "информация" нельзя не распространять широко. В конце концов, мы ведь умеем и любим извлекать информацию из всего, до чего прямо или косвенно можем дотянуться. Даже если мысленно убрать человека-наблюдателя, всё равно останется живой мир, который ежемоментно перемалывает горы гигабайт информации в своих корыстных целях. Даже если мысленно убрать живой мир, всё равно останутся где-нибудь замкнутые системы, в которых энтропия (чисто информационное понятие!) почему-то сама растёт.

SH>Вот попёр субъективизм, от которого ты всячески отгораживался, стараясь ввести "объективное строгое понятие 'информация'". Он попёр неслучайно, он является неотчуждаемой спецификой рассматриваемой области. Поэтому вытеснение его из одного места привело к появлению его в другом.


Никакого понятия информации я не вводил. Ни объективного, ни субъективного, ни строгого, ни расплывчатого.

А субъективизм попёр именно потому, что в понятии "состояние" этот самый субъективизм и сидит. Попробую пояснить.
<Внимание! Дальше — вольная измышлятина!>
Та информация, которую извлекает субъект из объекта — это и есть состояние объекта. Информация — это воздействие, влияющее на состояние субъекта. Вот так вот, одно через другое и обратно. От объекта к субъекту, который сам при этом является объектом.

Бред? Возможно. А может быть, и нет.

Измерять количество информации, передаваемой в конкретном взаимодействии — бессмысленно. В примере с ногой и мячиком направление вектора удара не дискретно, и поэтому количество вариантов возможных воздействий (теоретически) бесконечно. Но эта бесконечная информационная ёмкость будет средуцирована в нечто вполне дискретное и не бесконечное: "Гооооол!"

Может быть, эти всегда и везде возникающие бесконечности количеств вариантов, помноженные на повсеместную разбросанность точек бифуркации и порождают тот самый первичный информационный поток, который затем уже при дальнейшей обработке только редуцируется? И, может быть, даже не нужно притягивать за уши квантовую механику и совать свою голову в Большой Взрыв?
Re[15]: Несколько дурацких вопросов по теории информации
От: deniok Россия  
Дата: 20.01.09 17:30
Оценка:
Здравствуйте, Voblin, Вы писали:

V>Остаётся только разобраться со свойствами этого самого логарифма количества состояний. Ну должны быть свойства, ну хотя бы одно!


Конечно — аддитивность!
Если мы соединяем две системы с количеством состояний M и N, то общее число состояний становится M*N, а вот информация складывается: log(M * N) = log M + log N. Собственно логарифм — именно для этого.
Re[15]: Несколько дурацких вопросов по теории информации
От: D. Mon Великобритания http://thedeemon.livejournal.com
Дата: 20.01.09 17:38
Оценка:
Здравствуйте, Voblin, Вы писали:

V>Остаётся только разобраться со свойствами этого самого логарифма количества состояний. Ну должны быть свойства, ну хотя бы одно!


Ну так учебники же не зря печатают, Шеннон сотоварищи немало интересных формул вывели, вот вам и свойства.
Re[2]: Несколько дурацких вопросов по теории информации
От: Voblin Россия http://maslyaew.narod.ru/
Дата: 20.01.09 17:47
Оценка:
Здравствуйте, D. Mon, Вы писали:

DM>Информацию почти всегда можно считать синонимом негэнтропии, т.е. информация есть уменьшение неопределенности. Если мне сообщат, что президентом России последние несколько месяцев был некто Медведев, это сообщит мне ровно 0 бит информации, несмотря на то, что само сообщение может занимать кучу мегабайт (например, в виде записи ТВ сигнала).


Вот именно, что "почти всегда". Если я вдруг получу из надёжнейшего источника информацию о том, что никакой человек по фамилии Медведев не является и никогда не являлся президентом России, то моя какая-никакая определённость в отношении государственного устройства РФ превратится в полную сумятицу. Т.е. информация вызвала увеличение неопределённости, хотя, по идее должна была её либо уменьшить, либо оставить прежней.

DM>Формула для энтропии неслучайно очень похоже выглядит в казалось бы разных областях — в теории информации, в квантах и в термодинамике. Она во всех этих случаях описывает меру нашего незнания о системе. И связь информации с вероятностями совершенно логична: вероятности используются для описания систем и событий, где мы не знаем точного состояния.


Вероятность — такая странная штука, что применять её надо осторожно. Например считается, что если вероятность события стремится к нулю (т.е. меньше любого наперёд заданного e), то событие не случается. А вот и нет. Случаются, притом постоянно. Простой пример. Представим себе горизонтальную плоскость, представим себе идеально круглый шар. Количество точек на поверхности шара — бесконечно. Вероятность того, что шар приземлится на какую-то конкретную точку — единица, делённая на бесконечность. И так для всех точек. Бросаем шар, и он (о чудо!) приземляется на точку, вероятность приземления на которую ещё недавно была равна нулю. Вообще считается, что измерять вероятность уже произошедшего события — некорректно.

DM>Из занимательной литературы на эту тему есть как минимум Пенроуз и книжка "Динамика и информация" (забыл авторов). Рекомендую также курить кванты, описание квантовой энтропии и вопросов измерения (коллапс волновой функции, декогеренция и т.п.).

Б.Б.Кадомцев. Динамика и информация. Скачал, посмотрел. В основном физика. По части информации и её свойств — мизер.

Ой, боюсь, что физика здесь не поможет. Притом никаким своим разделом. Информация и всё, что с ней связано — это чистая абстракция в духе математики и логики. Думаю, информация осталась бы информацией и её движение подчинялось бы тем же самым законам, если бы мы жили в четырёхмерном пространстве и двумерном времени.
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.