С удивлением обнаружил, что не смотря на то, что вспахиваю ниву информационных технологий, о самом понятии "информация" имею довольно мутные представления. Самое печальное, что попытки найти внятную литературу по этой теме пока успехом не увенчались.
Ситуация выглядит весьма забавно. Мы научились искать, воспринимать, перерабатывать, копировать, накапливать, использовать информацию. Довольно часто у нас получается уничтожать информацию. Худо-бедно научились измерять её количество (либо тупо через потребную ёмкость канала, в битах, либо более точно, через колмогоровскую сложность). Не понятно, можем ли мы создавать информацию, но об этом позже. А вот о том, что это собственно такое — информация и каковы её свойства — полные непонятки.
У информации весьма сложные взаимоотношения с объективной реальностью. С одной стороны, бывает так, что информация объективно существует, и бывает так, что она объективно не существует. Например, я твёрдо уверен, что существует информация, называемая "А.С.Пушкин. Повести Белкина.", хотя, к своему стыду, в свой мозг через органы чувств я её не впитывал. Я могу купить эту книжку сегодня, могу — завтра, могу скачать её из Интернета, могу прослушать аудиокнигу. В любом случае, это будет один и тот же текст. Потому что этот текст когда-то был написан и сумел до нас дойти через множество материальных носителей в неизменном виде. А вот информации "А.С.Пушкин. Повести Грелкина." не существует. Объективно не существует. И даже бесполезно пытаться её найти.
Несмотря на то, что, казалось бы, информация может объективно существовать, объективность её существования — под большим вопросом. Например, существуют ли тексты, написанные на ронго-ронго? Таблички есть. Неровности на этих табличках тоже есть. Извлечь информацию, сохранённую когда-то в этих неровностях, пока не удалось. И не факт, что когда-либо удастся. Т.е. существование информационного объекта зависит от того, существует ли объект или субъект, который может её воспринять.
Считается, что при копировании информации её количество не изменяется. Считается, что обработка информации не увеличивает её количества. Информация может исчезать (те, кто кусал себе локти, не сделав вовремя бэкап, меня поймут). Вопрос: откуда информация берётся, если не существует операций, увеличивающих количество информации, зато есть масса обстоятельств, при которых она исчезает? Или всё-таки существуют явления, увеличивающие количество информации? Кто-то может сказать, что первичный информационный поток порождается квантовыми явлениями и радиоактивным распадом. Но ведь даже если бы мир был устроен строго механистично, в нём что, кончилась бы информация?
В привычной шенноновской триаде "передатчик -> канал -> приёмник" тоже что-то не так. Полярная звезда, тупо разбрасывая вокруг себя кванты электромагнитной энергии, не посылает путешественникам информацию о том, где находится север. То есть в передатчике информации вроде бы и нет, но приёмник её получает. При этом сам её, заметьте, не создаёт.
Понятие количества информации — это вообще та ещё сказка. Количество информации хоть и может быть выражено числом, но оно не аддитивно. Например, берём zip-файлы размером 100 и 50КБ, сжимаем их двоих, и получаем 120КБ. Бывает так, что информационный объект помещается сам в себя целиком, и даже остаётся место для какой-нибудь ерунды (которая тоже оказывается бесконечное количество раз рекурсивно включена в состав этого объекта).
В общем случае информационные объекты нельзя точно локализовать ни в пространстве, ни во времени. Возьмём, например, такой объект как "причины увеличения курса доллара". Нормальный такой инфообъект. Где он находится? И когда?
Может быть, "информация" — это целиком и полностью искусственное понятие, и рассуждать о его свойствах — это не многим лучше чем спорить о количестве демонов, помещающихся на кончике иглы? Однако, похоже, что сама суть понятия "информация" прошита куда-то вглубь структуры пространства-времени:
1. Есть мнение, что скорость света в вакууме ограничена именно скоростью распространения информации. Если бы информация распространялась мгновенно, изменение электрического поля по известным уравнениям Максвелла мгновенно порождало бы изменение магнитного поля во всей Вселенной, и никаких электромагнитных волн не возникало бы в принципе.
2. Что бы нам ни говорили полубезумные провидцы, ось времени, по которой мы все путешествуем — это именно тот вектор, по которому движется информация. И в обратную сторону не ходит. По крайней мере, в воспроизводимых экспериментах.
Оставаясь в рамках позитивной науки, можно с некоторой долей уверенности выделить следующие свойства информации:
1. Информация не существует сама по себе отдельно от своего носителя — вещества или энергии. Если это принять, то все паранаучные рассуждения об информационном поле, глобальном информационном континууме и прочая муть сразу становятся ложными. Более того, фраза "В начале было Слово" сразу порождает еретический вопрос: "На чём было записано это Слово?".
2. Из точки А информация не может поступить в точку Б если между ними нет информационного канала. Если принять п.1, то это должен быть перенос либо вещества, либо энергии. Т.е. прорицатель должен принимать вещество или энергию, движущиеся в обратном направлении по оси времени.
Какие ещё у информации есть свойства? Что на эту тему можно вкурить?
P.S. Только попробуйте сказать, что это не имеет отношения к философии программирования!
Re: Несколько дурацких вопросов по теории информации
Здравствуйте, Voblin, Вы писали:
V>С удивлением обнаружил, что не смотря на то, что вспахиваю ниву информационных технологий, о самом понятии "информация" имею довольно мутные представления. Самое печальное, что попытки найти внятную литературу по этой теме пока успехом не увенчались.
[cut]
А попробуй ещё понятие "число" раскрыть (ну и другие понятия математики) "отдельно от своего носителя".
Re[2]: Несколько дурацких вопросов по теории информации
Здравствуйте, Voblin, Вы писали:
V>Какие ещё у информации есть свойства? Что на эту тему можно вкурить?
Все это очень правильные и важные вопросы. Но ответа на них я пока дать не могу. Добавлю только, что понятие информации очень связано с понятием вероятности, которое тоже не удается нормально определить. И со вторым началом термодинамики, которое непонятно откуда берется (Loschmidt's paradox).
Re: Несколько дурацких вопросов по теории информации
Здравствуйте, Voblin, Вы писали:
V>Ситуация выглядит весьма забавно. Мы научились искать, воспринимать, перерабатывать, копировать, накапливать, использовать информацию. Довольно часто у нас получается уничтожать информацию. Худо-бедно научились измерять её количество (либо тупо через потребную ёмкость канала, в битах, либо более точно, через колмогоровскую сложность). Не понятно, можем ли мы создавать информацию, но об этом позже. А вот о том, что это собственно такое — информация и каковы её свойства — полные непонятки.
Точно так же, как мы умеем работать со временем, с электрическим и магнитным полями, но при этом мало кто сможет обьяснить что же это такое
V>Считается, что при копировании информации её количество не изменяется. Считается, что обработка информации не увеличивает её количества. Информация может исчезать (те, кто кусал себе локти, не сделав вовремя бэкап, меня поймут). Вопрос: откуда информация берётся, если не существует операций, увеличивающих количество информации, зато есть масса обстоятельств, при которых она исчезает? Или всё-таки существуют явления, увеличивающие количество информации? Кто-то может сказать, что первичный информационный поток порождается квантовыми явлениями и радиоактивным распадом. Но ведь даже если бы мир был устроен строго механистично, в нём что, кончилась бы информация?
Попытаюсь рассказывать в духе "занимательной физики", пусть не очень строго и не всегда по Шеннону и не всегда строгими терминами:
Информация не есть самостоятельная характеристика объекта. Взамен ее есть энтропия. Информационная энтропия — мера неопределенности знаний субъекта об окружающем его мире. Эсли энтропия равна нулю — субъект обладает идеальным знанием обо всем окружающем. Если энтропия равна бесконечности — субъект не знает об окружающем его мире ровным счетом ничего. Информация есть мера изменения энтропии субъекта. Если провести аналогии с физикой, то энтропия — это энергия, а информация — работа.
Из всего этого, я бы поставил под сомнение почти все вопросы из отцитированного абзаца. Информация не может исчезать, так как ее просто нет. Точно так же она не может и появляться. Может меняться лишь энтропия субъекта, причем в любую сторону. Информация не может появляться сама по себе в абсолюте, так как она всегда привязана к субъекту, точнее к его энтропии. Тексты ронго-ронго не несут для нас никакой информации, потому что не меняют нашу энтропию. Зато они несут информацию для тех, кто хоть немного владеет этим видом письменности.
Кстати, энтропия — тоже не абсолютное понятие. Не думаю, что можно сказать, что Вселенная содержит в себе ровно N бит энтропии. И чтобы ты стал богом — достаточно передать тебе эти N бит. Скорее энтропия характеризует не вселенную, а именно мыслящий объект. То есть, нет никакого первичного информационного потока, есть лишь осмысливающие его субъекты.
И еще одно наблюдение. Если оставить субъекта без источника информации — это не означает что его энтропия будет оставаться на постоянном уровне. Она будет постоянно повышаться. Тут можно опять привести аналогию с термодинамикой, где два объекта всегда будут стремиться к термодинамическому равновесию. Если мы возьмем вселенную, энтропия которой стремится к бесконечности и субъекта с некоторым конечным уровнем энтропии — то они тоже будут стремиться к равновесию, а именно будет повышаться уровень энтропии субъекта.
V>В привычной шенноновской триаде "передатчик -> канал -> приёмник" тоже что-то не так. Полярная звезда, тупо разбрасывая вокруг себя кванты электромагнитной энергии, не посылает путешественникам информацию о том, где находится север. То есть в передатчике информации вроде бы и нет, но приёмник её получает. При этом сам её, заметьте, не создаёт.
Вот и пример того, что информации в физическом мире нет вообще. Если кто-то смог сопоставить тот факт, что Полярная звезда и направление на север связаны — для него эти кванты уже несут информации. Для других — не несут ровным счетом ничего. Если бы информация была абсолютным понятием.. хых.. открывались бы воистину бездонные перспективы
V>В общем случае информационные объекты нельзя точно локализовать ни в пространстве, ни во времени. Возьмём, например, такой объект как "причины увеличения курса доллара". Нормальный такой инфообъект. Где он находится? И когда?
Только в наших головах
V>Может быть, "информация" — это целиком и полностью искусственное понятие, и рассуждать о его свойствах — это не многим лучше чем спорить о количестве демонов, помещающихся на кончике иглы? Однако, похоже, что сама суть понятия "информация" прошита куда-то вглубь структуры пространства-времени: V>1. Есть мнение, что скорость света в вакууме ограничена именно скоростью распространения информации. Если бы информация распространялась мгновенно, изменение электрического поля по известным уравнениям Максвелла мгновенно порождало бы изменение магнитного поля во всей Вселенной, и никаких электромагнитных волн не возникало бы в принципе.
Скорее скорость света ограничивает скорость распространения информации
Написав это все, подумал — нет, информация это не искусственное понятие. Парралели с физикой, сопоставление с известными нам величинами говорит о том, что эти понятия вполне могут существовать (быть предусмотренными) в структуре нашей вселенной. Только характеризуют они не физические свойства объектов, а ту самую непознанную область, которую мы называем "мышлением", и применимы только к тем объектам, у которых прописан custom attribute [MindEnabled]
Re: Несколько дурацких вопросов по теории информации
Раз уж информация — это то что мы считаем информацией, то вся суть в методах определения ее наличия. Например из двух камней мы можем извлечь информацию о расстоянии между ними, тоже самое с полярной звездой. И я думаю вся информация была заложена в чем-то, что взорвалось 13 млрд лет назад, а далее только изменялась под действием черырех типов взаимодействия (возможно одного, но эту информацию мы пока не извлекли). И то что вы напишите этот пост можно было понять уже тогда Так же можно выделить "полезную информацию", конкретные знания, которые можно передовать, копировать, уничтожать. О них вы видимо и пишите. Очевидно что они являются проекцией вселенской информации на нашу память через призму мировоззрения. Дальше опять можно разделить информацию на собственно мировоззрение и "просто данные" что-ли. Без такого деления мне кажется познать свойства информации не возможно.
Re[2]: Несколько дурацких вопросов по теории информации
Здравствуйте, nikov, Вы писали:
N>Все это очень правильные и важные вопросы. Но ответа на них я пока дать не могу. Добавлю только, что понятие информации очень связано с понятием вероятности, которое тоже не удается нормально определить. И со вторым началом термодинамики, которое непонятно откуда берется (Loschmidt's paradox).
Про вероятность есть восхитительная монография "О природе случайности". Скачать её можно отсюда.
Re[2]: Несколько дурацких вопросов по теории информации
Здравствуйте, Васильич, Вы писали:
В>Скорее скорость света ограничивает скорость распространения информации
Скорее скорость света в вакууме и скорость распространения информации — суть одно и то же. Потому, что, к примеру, гравитационное взаимодействие распространяется точно с такой же скоростью.
... << RSDN@Home 1.2.0 alpha rev. 677>>
Уйдемте отсюда, Румата! У вас слишком богатые погреба.
Re: Несколько дурацких вопросов по теории информации
Здравствуйте, Voblin, Вы писали:
V>Оставаясь в рамках позитивной науки, можно с некоторой долей уверенности выделить следующие свойства информации: V>1. Информация не существует сама по себе отдельно от своего носителя — вещества или энергии. Если это принять, то все паранаучные рассуждения об информационном поле, глобальном информационном континууме и прочая муть сразу становятся ложными. Более того, фраза "В начале было Слово" сразу порождает еретический вопрос: "На чём было записано это Слово?". V>2. Из точки А информация не может поступить в точку Б если между ними нет информационного канала. Если принять п.1, то это должен быть перенос либо вещества, либо энергии. Т.е. прорицатель должен принимать вещество или энергию, движущиеся в обратном направлении по оси времени.
V>Какие ещё у информации есть свойства? Что на эту тему можно вкурить?
Мне кажется первое утверждение неверно по форме. Вот скажем горит на холме костёр что даёт информацию о том, что приближается вражеская конница. Не горит при этом не значит, что не приближается, может там дозорных убили и т.п. Но ту же информацию можно получить и без костра, а например самому с подзорной трубой. Где же тут материальный носитель информации о приближении вражеской конницы, который нужно убрать, чтобы эта информация "стёрлась"? Ведь даже если убрать саму конницу, у нас всё равно останется ответ на вопрос "приближается ли вражеская конница" -- очевидно в отсутствии конницы отрицательный. И то же самое если убрать весь мир и наблюдателя и вообще всё.
Второе же утверждение типичная тавтология. Если сказать что информационный канал это нечто по чему поступает информация, то мы получим замечательное утверждение что информация не может поступить если она не может поступить. Сложно поспорить =)
V>P.S. Только попробуйте сказать, что это не имеет отношения к философии программирования!
Никакого на самом деле. Человек вскапывающий огород не обязан понимать происходящие при этом процессы упругости квантовой природы лишь бы входило по черенок. Философия программирования это больше о форме лопат и удобстве ручек, чем о химсоставе чернозёма, как мне кажется...
Re: Несколько дурацких вопросов по теории информации
Здравствуйте, Tilir, Вы писали:
T>Мне кажется первое утверждение неверно по форме. Вот скажем горит на холме костёр что даёт информацию о том, что приближается вражеская конница. Не горит при этом не значит, что не приближается, может там дозорных убили и т.п. Но ту же информацию можно получить и без костра, а например самому с подзорной трубой. [...]
Горит => вражеская конница приближается.
Не горит => нет "костровой" информации о том, приближается ли вражеская конница. Бери подзорную трубу.
В любом случае информация о том, что вражеская конница приближается, если и дойдёт, то дойдёт обязательно на каком-нибудь носителе. Или на квантах света, излучённых костром, или на квантах света, отражённых от конницы, или своими ножками, в виде собственно вражеской конницы.
T>Второе же утверждение типичная тавтология. Если сказать что информационный канал это нечто по чему поступает информация, то мы получим замечательное утверждение что информация не может поступить если она не может поступить. Сложно поспорить =)
Никакой тавтологии. Говорится о том, что информация, которая есть а А и только в А, не может быть получена, обработана и использована в Б, если она не поступит из А в Б в понятной для Б форме. А поспорить, кстати, можно. См., например, квантовую телепортацию.
V>>P.S. Только попробуйте сказать, что это не имеет отношения к философии программирования! T>Никакого на самом деле. Человек вскапывающий огород не обязан понимать происходящие при этом процессы упругости квантовой природы лишь бы входило по черенок. Философия программирования это больше о форме лопат и удобстве ручек, чем о химсоставе чернозёма, как мне кажется...
Философия тем и отличается от агрономии, что для получения ответа на вопросы "Зачем?" и "Почему?" лезет немножко глубже.
Re[3]: Несколько дурацких вопросов по теории информации
Здравствуйте, Voblin, Вы писали:
V>Здравствуйте, Курилка, Вы писали:
К>>А попробуй ещё понятие "число" раскрыть (ну и другие понятия математики) "отдельно от своего носителя".
V>"Число" выкручивается из категории "множество".
Т.е. множество это нечто реально существующее ("отдельно от своего носителя")?
V>Объявить "информацию" категорией — рука не поднимается.
Наверное, ты не про теорию категорий? Если так, то к чему тут категории и зачем вообще?
Re[2]: Несколько дурацких вопросов по теории информации
Здравствуйте, Klapaucius, Вы писали:
K>Если бы мир был "устроен строго механистично", то количество информации в нем от времени не зависило.
Почему? В строго механистичном мире тоже может быть источник энергии (например, внешний по отношению к этому миру), тоже могут быть незамкнутые системы, в которых идут процессы самоорганизации вплоть до возникновения разума, который на каком-то этапе тоже может воскликнуть: "WTF? Откуда это всё взялось и куда блин всё катится?"
Re[3]: Несколько дурацких вопросов по теории информации
Здравствуйте, Sinclair, Вы писали:
S>Здравствуйте, Васильич, Вы писали:
В>>Скорее скорость света ограничивает скорость распространения информации S>Скорее скорость света в вакууме и скорость распространения информации — суть одно и то же. Потому, что, к примеру, гравитационное взаимодействие распространяется точно с такой же скоростью.
Здравствуйте, Voblin, Вы писали:
K>>Если бы мир был "устроен строго механистично", то количество информации в нем от времени не зависило. V>Почему?
Потому, что в механистическом мире для любого произвольно заданного времени t, получив полную информацию о состоянии системы мы знаем это состояние и для любого произвольного времени t'. Т.е. информации ни больше ни меньше не становится. С.м. "Демон Лапласа".
V>В строго механистичном мире тоже может быть источник энергии (например, внешний по отношению к этому миру), тоже могут быть незамкнутые системы, в которых идут процессы самоорганизации
Ну разумеется нет. В строго механистическом мире полная энергия мира постоянна. И никаких процессов самоорганизации тоже быть не может. Процессы самоорганизации — это термодинамика сильно неравновесных систем. Какая уж тут строгая механистичность?
В механистичном мире нет изменения энтропии — следовательно нет стрелы времени.
... << RSDN@Home 1.2.0 alpha 4 rev. 1110>>
'You may call it "nonsense" if you like, but I'VE heard nonsense, compared with which that would be as sensible as a dictionary!' (c) Lewis Carroll
Re[2]: Несколько дурацких вопросов по теории информации
Здравствуйте, Klapaucius, Вы писали:
K>Здравствуйте, Voblin, Вы писали:
V>>Но ведь даже если бы мир был устроен строго механистично, в нём что, кончилась бы информация?
K>Если бы мир был "устроен строго механистично", то количество информации в нем от времени не зависило.
А есть доказательство факта, что количество информации во всей вселенной зависит от времени?
Re[2]: Несколько дурацких вопросов по теории информации
Здравствуйте, AK85, Вы писали:
AK>Раз уж информация — это то что мы считаем информацией, то вся суть в методах определения ее наличия. Например из двух камней мы можем извлечь информацию о расстоянии между ними, тоже самое с полярной звездой.
Я всего лишь намекал на то, что не всё, что извлекается из инф. канала в виде информации, в этот самый канал в виде информации посылается. Иногда ведь даже отсутствие информации в канале само по себе является очень важной информацией!
AK>И я думаю вся информация была заложена в чем-то, что взорвалось 13 млрд лет назад, а далее только изменялась под действием черырех типов взаимодействия (возможно одного, но эту информацию мы пока не извлекли). И то что вы напишите этот пост можно было понять уже тогда
Привет Демону Лапласа, существующего вне пространства и времени, и кроме которого на самом деле больше ничего не существует
На самом деле, думаю, не всё так детерминировано, как иногда хочется думать.
AK>Так же можно выделить "полезную информацию", конкретные знания, которые можно передовать, копировать, уничтожать. О них вы видимо и пишите. Очевидно что они являются проекцией вселенской информации на нашу память через призму мировоззрения. Дальше опять можно разделить информацию на собственно мировоззрение и "просто данные" что-ли. Без такого деления мне кажется познать свойства информации не возможно.
Свойства информации наверняка одинаковы на всех "уровнях" — что на уровне элементарных частиц, что на уровне формирования общественного сознания.
По крайней мере, закон сохранения массы/энергии работает на всех масштабах.
Re[4]: Несколько дурацких вопросов по теории информации
Здравствуйте, Klapaucius, Вы писали:
K>Здравствуйте, Voblin, Вы писали:
K>>>Если бы мир был "устроен строго механистично", то количество информации в нем от времени не зависило. V>>Почему?
K>Потому, что в механистическом мире для любого произвольно заданного времени t, получив полную информацию о состоянии системы мы знаем это состояние и для любого произвольного времени t'. Т.е. информации ни больше ни меньше не становится. С.м. "Демон Лапласа".
Только тут ты нарвёшься на парадокс Рассела (где ты будешь держать полную информацию о состоянии системы?), так что имхо "не катит".
Re[4]: Несколько дурацких вопросов по теории информации
Здравствуйте, Курилка, Вы писали:
V>>Объявить "информацию" категорией — рука не поднимается. К>Наверное, ты не про теорию категорий? Если так, то к чему тут категории и зачем вообще?
Нет.
Категория — специальное, априорное понятие, используемое при построении теорий. См. здесь.
Re[5]: Несколько дурацких вопросов по теории информации
Здравствуйте, Voblin, Вы писали:
V>Здравствуйте, Курилка, Вы писали:
V>>>Объявить "информацию" категорией — рука не поднимается. К>>Наверное, ты не про теорию категорий? Если так, то к чему тут категории и зачем вообще?
V>Нет. V>
