Re[9]: Пофантазирем про хранение данных
От: red75  
Дата: 29.10.16 22:10
Оценка: 8 (1)
Здравствуйте, Voblin, Вы писали:

V>Ну здрасьте...


Тогда вот: Принцип Ландауэра

Записали 100 бит, старые 100 бит потерялись, нужно потратить не меньше чем 100 k_B T ln2 джоулей. Записали бесконечность бит, нужно потратить не меньше чем бесконечность энергии.
Re[5]: Пофантазирем про хранение данных
От: vdimas Россия  
Дата: 30.10.16 17:25
Оценка: 2 (1)
Здравствуйте, DreamMaker, Вы писали:

DM>неполезного у меня почти нет.

DM>если что, ОДИН снэпшот штатовских опционов порядка 200мб. в году 250 торговых дней а в каждом дне 6.5 часов. ну вот и считайте что выйдет если хочется поиметь их лет за 15 пусть даже часовых (а лучше 15 минутных). а еще есть интрадей по стокам, тиковые данные по выбранным, синтетические инструменты (их конечно можно каждый раз пересчитывать, но проще и быстрее закэшировать) и прочее по мелочи, вот 10 тб и улетело сходу.

Да, вроде бы где-то уже доказывали, что научить ИИ поведению рынка невозможно, потому что одних графиков цен на бумаги мало, для этой задачи нужны еще куча исходных данных "вокруг да около", которые необходимо предоставить ИИ, но там размерность получается неподъемная.
Re[10]: Пофантазирем про хранение данных
От: Voblin Россия http://maslyaew.narod.ru/
Дата: 30.10.16 17:29
Оценка:
Здравствуйте, red75, Вы писали:

R>Тогда вот: Принцип Ландауэра


R>Записали 100 бит, старые 100 бит потерялись, нужно потратить не меньше чем 100 k_B T ln2 джоулей. Записали бесконечность бит, нужно потратить не меньше чем бесконечность энергии.


Прикольная, кстати, тема. Спасибо, наконец-то узнал, из чего конкретно выведена тема минимально рассеиваемой энергии при потере бита. Исходный пункт рассуждения в том, что "a simple binary device consists of a particle in a bistable potential well". То есть частица в двойной потенциальной яме. Чем выше температура, тем выше должна быть горка между "0" и "1", чтобы оно самопроизвольно не переключалось. Соответственно, сильнее нужно пинать частицу, если нужно её перебросить на другую сторону. И не забыть затормозить на другой стороне. Если процесс вычисления у нас необратимый (из "2+2" можно получить "4", а наоборот — никак), то энергию перекидывания через заборчик мы обязаны рассеять в виде тепла.

Вроде бы всё логично, но:

1. Если мы говорим о хранении данных, то с какого будунища у нас нарисовались вычисления? Притом необратимые?

2. Если сделать сумматор так, чтобы он давал не только a+b, но и сразу же a-b, то такой сумматор не обязан подчиняться Ландауэру. Проблема, собственно, появляется из-за того, что a-b нам не нужно, и хранить этот мусор мы не хотим. Экономим память. Таааак, стоп. Мы же как раз говорили о гипотетическом бездонном хранилище, которое избавит от необходимости экономить память. А что если бездонное хранилище как раз приспособить под хранение ненужных бит? То есть как раз при помощи этой штуки обходить Ландауэрово ограничение.

3. С какого будунища мы решили, что наш девайс обязан быть цифровым? Чисто по привычке?

Есть и ещё вопросы, но я их попридержу, чтобы не путаться.
Re[9]: Пофантазирем про хранение данных
От: Cyberax Марс  
Дата: 31.10.16 02:40
Оценка:
Здравствуйте, Voblin, Вы писали:

C>>Я готов заплатить 1 миллион долларов, если мне покажут информацию, которая была записана без изменения физических свойств какого-либо объекта. Скажем, я подбрасываю кубик пару сотен раз и полученную последовательность цифр надо записать в хранилище, и потом прочитать хотя бы один раз без того, чтобы произошли изменения в физических свойствах компонент хранилища.

V>Опрометчиво.
Я серьёзно. Миллион долларов у меня есть и я его дам любому, кто продемонстрирует данный опыт. Впрочем, им до меня придётся отбиваться от премии Тюринга, Филдса и от Нобелевского комитета.

V>Ты прав, но только наполовину. Миллион мне, конечно, не светит, но полторы сотни тысяч — легко. Рассказываю как. Возьми листок в клетку, карандаш и кубик. Двести раз брось кубик, записывая результаты следующим образом: с "1" по "5" — цифрами, а шестёрочку не вписывай.

Мимо. Нужно затратить энергию на то, чтобы запомнить, что клетка должна остаться незаполненной для следующего броска кубика.
Sapienti sat!
Re[11]: Пофантазирем про хранение данных
От: red75  
Дата: 31.10.16 04:22
Оценка:
Здравствуйте, Voblin, Вы писали:

V>1. Если мы говорим о хранении данных, то с какого будунища у нас нарисовались вычисления? Притом необратимые?


Биты, которые мы собираемся записывать, откуда-то берутся, так? Скажем, из нажатий клавиш, это преобразование необратимо, невозможно без затрат энергии запустить процесс обратно и перейти от битов в памяти к нажатиям клавиш.

V>2. Если сделать сумматор так, чтобы он давал не только a+b, но и сразу же a-b, то такой сумматор не обязан подчиняться Ландауэру. Проблема, собственно, появляется из-за того, что a-b нам не нужно, и хранить этот мусор мы не хотим. Экономим память. Таааак, стоп. Мы же как раз говорили о гипотетическом бездонном хранилище, которое избавит от необходимости экономить память. А что если бездонное хранилище как раз приспособить под хранение ненужных бит? То есть как раз при помощи этой штуки обходить Ландауэрово ограничение.


Да, существует такая штука как обратимые вычисления, по крайней мере теоретически.

Насчет бездонного хранилища. Логика так не работает. Нельзя допустить, что что-то существует, и на основании этого делать выводы. Для начала нужно доказать, что существование физического бездонного хранилища не противоречит известным законам природы. И, если противоречит, то придётся создавать новую физику, в которой существование такого хранилища возможно.

А это самое бездонное хранилище как раз создаёт логическое противоречие. Если его сбросить в черную дыру, то её радиус с одной стороны должен увеличиться из-за увеличения массы, а с другой стороны должен увеличиться из-за увеличения энтропии. То есть радиус ЧД должен увеличиться одновременно на конечную и бесконечную величину.

V>3. С какого будунища мы решили, что наш девайс обязан быть цифровым? Чисто по привычке?


Если хранить данные, как положение частицы, то аналоговое хранилище требует потенциальной ямы с плоским дном. То есть для изменения состояния хранилища не требуются затраты энергии, то есть хранить оно ничего не будет.

Если хранить данные как энергию частицы, то хранилище потребует бесконечно широкой потенциальной ямы, иначе энергия будет квантоваться. Опять-же квантовая неопределенность время/энергия, чтобы точно измерить энергию частицы, нужно чтобы эта частица находилась в состоянии с этой энергией бесконечное время.
Отредактировано 31.10.2016 5:11 red75 . Предыдущая версия . Еще …
Отредактировано 31.10.2016 5:05 red75 . Предыдущая версия .
Отредактировано 31.10.2016 4:33 red75 . Предыдущая версия .
Re[12]: Пофантазирем про хранение данных
От: Voblin Россия http://maslyaew.narod.ru/
Дата: 31.10.16 08:18
Оценка:
Здравствуйте, red75, Вы писали:

R>[...]


Кстати, я тут походя придумал, как кристально честным образом хакнуть Ландауэра, не отступаясь ни на дэцл от логики его оригинальной статьи.

Короче, надо писать статью.
Re[10]: Пофантазирем про хранение данных
От: Voblin Россия http://maslyaew.narod.ru/
Дата: 31.10.16 09:39
Оценка: :)
Здравствуйте, Cyberax, Вы писали:

C>Я серьёзно. Миллион долларов у меня есть и я его дам любому, кто продемонстрирует данный опыт. Впрочем, им до меня придётся отбиваться от премии Тюринга, Филдса и от Нобелевского комитета.


Сударь, поберегите денежки. Они ещё пригодятся

Что до Тьюринга, Филдса и Нобеля, то они деньги за детские фокусы с кубиками не дают

C>Мимо. Нужно затратить энергию на то, чтобы запомнить, что клетка должна остаться незаполненной для следующего броска кубика.


Не обязательно. Носителем может быть не листочек в клеточку, а ползущая мимо лента. Или, наоборот, мы сами движемся вдоль ленты равномерно и прямолинейно, в полном соответствии с заветами 1-го закона Ньютона. Отсутствие пометки на ленте (то есть вожделенное отсутствие изменения в физических свойствах компонент хранилища) как раз и будет "записанным" результатом.

Понятное дело, что все эти ленты, кубики и т.п. — это всего лишь иллюстрация одного и того же принципа: подлежащим интерпретации сигналом могут быть не только свойства присутствующих физических объектов/явлений, но также и напрочь отсутствие этих самых объектов/явлений. По большому счёту сигнал — это любое понимаемое обстоятельство. Выражено оно в изменении физических свойств каких-то там компонент, или же нет — это вопрос конкретной ситуации.

Тема "информация" — одна из самых мифологизированных. Притом, что забавно, эта мифологизация идёт сразу с двух направлений: как со стороны эзотериков с их "тонкими сущностями" и божественной природой знания, так и со стороны уважаемого естественнонаучного сообщества с их материализацией. Вроде бы уже даже Винер говорил, что информация — это не вещество и не энергия, но нет, все быстренько попытались это забыть. А зря. Информация — это действительно не вещество и не энергия, и любая попытка как-то "заземлить" нематериальное на материальное сразу приводит к тому, что мы перестаём говорить об информации в информационных терминах и начинаем говорить о материи в терминах физических. То есть происходит смена предмета обсуждения. Отсюда куча всякой диковинной кривизны и непоняток. И всяких бездумно принимаемой на веру мифологических отбалдятин типа сущностного соответствия информационной и термодинамической энтропий.
Re[11]: Пофантазирем про хранение данных
От: Cyberax Марс  
Дата: 31.10.16 16:39
Оценка:
Здравствуйте, Voblin, Вы писали:

V>Что до Тьюринга, Филдса и Нобеля, то они деньги за детские фокусы с кубиками не дают

Ещё как дают. Даже за мысленные эксперименты дают.

C>>Мимо. Нужно затратить энергию на то, чтобы запомнить, что клетка должна остаться незаполненной для следующего броска кубика.

V>Не обязательно. Носителем может быть не листочек в клеточку, а ползущая мимо лента.
А без разницы. Решение подождать ли прохода клетки будет требовать энергии. Про минимальные энергетические потребности для простейшего бинарного переключателя тут уже писали.

V>Понятное дело, что все эти ленты, кубики и т.п. — это всего лишь иллюстрация одного и того же принципа: подлежащим интерпретации сигналом могут быть не только свойства присутствующих физических объектов/явлений, но также и напрочь отсутствие этих самых объектов/явлений.

И даже эта интерпретация сама по себе требует энергии. Учим термодинамику.
Sapienti sat!
Re[12]: Пофантазирем про хранение данных
От: Voblin Россия http://maslyaew.narod.ru/
Дата: 31.10.16 18:49
Оценка:
Здравствуйте, Cyberax, Вы писали:

C>А без разницы. Решение подождать ли прохода клетки будет требовать энергии. Про минимальные энергетические потребности для простейшего бинарного переключателя тут уже писали.


Когда мы очень переживая за результат бросаем этот самый кубик и напрягаемся, чтобы максимально аккуратно вписать (или если шестёрка, то не вписать) циферку в клеточку, то да, это требует кучи энергозатрат. Но случаи разные бывают. Вот тебе ещё пример. Допустим, я тупо дрейфую на плотике по реке (близкий аналог равномерному прямолинейному движению, по крайней мере, к перемещению я вообще никаких усилий не прикладываю). Рыбку ловлю, водку пью. Но энергозатраты на это мы не считаем, потому что они к делу не относятся. Когда меня кусает комар, я жутко злюсь, и в сердцах кидаю на берег гранату. Со словами "получите, гады". А когда меня не кусают, я о комарах вообще не вспоминаю. Занимаюсь своими делами, пью водку, ловлю рыбку. В результате те места, где меня кусали, отмечены воронками на берегу, а вот между деревнями Кукуевка и Чугуевка нет ни одной воронки (то самое отсутствие изменения в физических свойствах компонент хранилища). И мои энергозатраты на запись этой ценной для кого-то информации нулевые. На ловлю рыбы — есть затраты. На питьё водки — тоже. Но это к делу не относится, поэтому их не считаем. А на приём, интерпретацию и сохранение данных о комарах между Кукуевкой и Чугуевкой — ни джоуля, ни фемтоджоуля, ни иоктоджоуля.

Если пример с пьющим и рыбачащим субъектом кажется не показательным, то придумай сам пример, в котором какая-нибудь особо энергоэффективная система триггерится внешним воздействием и оставляет плюху на носителе, вдоль которого равномерно и прямолинейно перемещается.

C>И даже эта интерпретация сама по себе требует энергии. Учим термодинамику.


Термодинамика — всего лишь частный случай. Учить нужно не только её, родимую

Правда в том, что материальная (физическая) реальность тотальна. Нет ни одного предмета вне нас, который так либо иначе не был бы частью физической реальности и не подчинялся её законам. Наши собственные тела — тоже материальная реальность. Обрати пожалуйста внимание на то, что я ничуть не отрицаю того, что это правда. Но это не вся правда, а только её половина. Другая половина в том, что информационная реальность тоже тотальна. Ни я, ни ты, ни кто иной не знает ничего, что не стало для него информацией. Например, стул, на котором я сижу. Конкретно материальный объект. Но я о нём могу говорить только потому, что я знаю, что он подо мной есть. Мои ощущения (поступление данных с рецепторов) наложились на мой предыдущий опыт и дали мне информацию о том, что стул существует. Даже известно где. Подо мной. Знание — это информация. У нас нет никакого знания, которое не было бы информацией. Поэтому информационная реальность тоже тотальна. Интересная ситуация складывается, правда? Две реальности, каждая из которых тотальна. Чтобы не было скучно, скажу, что из тотальности этих самых реальностей следует, что они неразделимы. Каждый конкретный предмет обязан иметь физическое воплощение (первая часть правды), а также быть непустым в информационном смысле (вторая часть правды). Мир, конечно, един (платоновский мир идей и всякая прочая оккультная муть — сразу лесом), но смотреть на него можно с двух точек зрения: с точки зрения физики и с информационной точки зрения. Как с книгой, которая, конечно, должна быть как материальных объект (хотя бы на флэшке, хотя бы в оперативке), но именно эта материальная составляющая нам в книге глубоко перпендикулярна. Нам важен сюжет, хохмочки, полезные сведения и всё прочее, что перпендикулярно физической реализации. Именно в этой перпендикулярности — вся фишка.

Если мы умеем делать только клинописные книги на глиняных табличках, то тема "информация" неизбежно сводится к добыче глины. И ещё к тяговитости ломовых лошадей, чтобы эти книги возить с места на место. Если у нас книги бывают только бумажными, то речь неизменно сведётся к деревообрабатывающей промышленности и пожарной безопасности. Сейчас мы научились хранить наши данные в малюсеньких бистабильных системах, и поэтому те ограничения, которые нас гондурасят, так или иначе сводятся к термодинамике и Ландауэровому принципу. Особенность момента. Не надо утверждать, что это и ныне, и присно во веки веков аминь. Самонадеянно это. Что бы там ни говорили, нужно помнить о том, что информация и физика перпендикулярны друг другу.
Re[13]: Пофантазирем про хранение данных
От: red75  
Дата: 01.11.16 02:23
Оценка:
Здравствуйте, Voblin, Вы писали:

1.
V>Что бы там ни говорили, нужно помнить о том, что информация и физика перпендикулярны друг другу.

2.
V> А на приём, интерпретацию и сохранение данных о комарах между Кукуевкой и Чугуевкой — ни джоуля, ни фемтоджоуля, ни иоктоджоуля.

И почему же процесс 2 создаёт информацию, если верно 1? Кидание гранат в ответ на укусы комаров — обычный физический процесс.

Информационным процессом он станет, если будет являться частью большей системы, включающей систему измерения расстояния между воронками, которая будет тратить энергию и на замеры пустых мест.

Добавление: А, понял наконец. Отвык уже от философских идей совершенно оторванных от реальности. Вы подумали, и решили, что информация — это круто и ей надо дать статус онтологически фундаментального понятия. А значит — пофиг на какие-то физические информационные системы, информация может существовать сама по себе, потому что это такая красивая идея.

Бросайте вы эту философию. Информация существует только в информационных системах.
Отредактировано 01.11.2016 2:57 red75 . Предыдущая версия . Еще …
Отредактировано 01.11.2016 2:27 red75 . Предыдущая версия .
Re[12]: Пофантазирем про хранение данных
От: Voblin Россия http://maslyaew.narod.ru/
Дата: 01.11.16 06:50
Оценка:
Здравствуйте, red75, Вы писали:

R>Да, существует такая штука как обратимые вычисления, по крайней мере теоретически.


Статью написал, запостил. Пока граждане думают, что делать с этим безумием, вкратце изложу суть происходящего.

Принцип Ландауэра прекраснейшим образом вытекает из свойств систем с двумя энергетическими ямками, разделёнными одним энергетическим горбиком. Для таких систем действительно стоимость потери одного бита Wmin = kB T ln2. Нет проблем. Но кто сказал, что в системе может быть только две ямки и один горбик? Если ямок четыре, то и рассуждения, и формула — всё остаётся прежним. Но только теперь kB T ln2 у нас не для одного бита, а для двух. Бит подешевел в два раза. Если лунок будет 8, то в три, если 16, то в четыре. Если бесконечность (квантовые вычисления?), то Ландауэр обнуляется.

В общем, фундаментальной связи между информационной и термодинамической энтропиями опять не получилось.

R>А это самое бездонное хранилище как раз создаёт логическое противоречие. Если его сбросить в черную дыру, то её радиус с одной стороны должен увеличиться из-за увеличения массы, а с другой стороны должен увеличиться из-за увеличения энтропии. То есть радиус ЧД должен увеличиться одновременно на конечную и бесконечную величину.


Не сочти за занудство, но мне очень бы хотелось взглянуть на экпериментальные данные по термодинамике чёрных дыр. Эти данные вообще существуют?
Re[13]: Пофантазирем про хранение данных
От: red75  
Дата: 01.11.16 07:48
Оценка:
Здравствуйте, Voblin, Вы писали:

V>Не сочти за занудство, но мне очень бы хотелось взглянуть на экпериментальные данные по термодинамике чёрных дыр. Эти данные вообще существуют?


Тут дело не в экспериментах. Если бездонное хранилище не вписывается в общепринятые физические теории, надо эти теории менять, так чтобы и хранилище вписывалось и существующие экспериментальные данные этой новой теории соответствовали. А то получается, что для разработки бездонного хранилища используем теорию, согласно которой оно не может существовать.

V> Если ямок четыре, то и рассуждения, и формула — всё остаётся прежним.


Я не специалист в физике, но, если не ошибаюсь, сжатие фазового пространства системы невозможно без затрат энергии и взаимодействия с внешней средой. При бОльшем количестве состояний, сжатие фазового пространства будет сильнее и энергии потребуется больше.
Отредактировано 01.11.2016 8:05 red75 . Предыдущая версия .
Re[14]: Пофантазирем про хранение данных
От: Voblin Россия http://maslyaew.narod.ru/
Дата: 01.11.16 09:34
Оценка:
Здравствуйте, red75, Вы писали:

R>Тут дело не в экспериментах. Если бездонное хранилище не вписывается в общепринятые физические теории, надо эти теории менять, так чтобы и хранилище вписывалось и существующие экспериментальные данные этой новой теории соответствовали. А то получается, что для разработки бездонного хранилища используем теорию, согласно которой оно не может существовать.


Надо внимательно посмотреть, в какие конкретно теории оно не вписывается. Если только в те, которые основываются на эквивалентности информационной и термодинамической энтропий, то, по ходу, нужно менять теории

R>Я не специалист в физике, но, если не ошибаюсь, сжатие фазового пространства системы невозможно без затрат энергии и взаимодействия с внешней средой. При бОльшем количестве состояний, сжатие фазового пространства будет сильнее и энергии потребуется больше.


Можно поподробнее про сжатие фазовых пространств?
Что-то мне подсказывает, что минимально необходимая энергия, потребная на это самое сжатие, обосновывается как раз принципом Ландауэра. А применять принцип Ландауэра для обоснования невозможности нарушения принципа Ландауэра — редкостное хамство, граничащее с махровым мракобесием.
Re[14]: Пофантазирем про хранение данных
От: Voblin Россия http://maslyaew.narod.ru/
Дата: 01.11.16 10:48
Оценка:
Здравствуйте, red75, Вы писали:

R>1.

V>>Что бы там ни говорили, нужно помнить о том, что информация и физика перпендикулярны друг другу.
R>2.
V>> А на приём, интерпретацию и сохранение данных о комарах между Кукуевкой и Чугуевкой — ни джоуля, ни фемтоджоуля, ни иоктоджоуля.
R>И почему же процесс 2 создаёт информацию, если верно 1? Кидание гранат в ответ на укусы комаров — обычный физический процесс.

Кидание гранат не создаёт информацию. Оно создаёт воронки от разрывов. Это не информация. Это воронки. Физический "объект", локализованный в конкретном месте пространства. Что он значит? Да что угодно! Например то, что в этом месте купаться опасно, потому что неадекватные личности здесь швыряются гранатами. Или что надо провести расследование и открыть уголовное дело. Или "ага, вот куда пошли гранаты, потыренные на прошлой неделе из воинской части". А кто-то, рассматривая воронку, возможно, придумает особо изящную матмодель взрывного уплотнения сыпучих сред. Кто-то, разглядывая берег между Кукуевкой и Чугуевкой восхитится красотой мирного ландшафта и родит потрясающе пронзительные стихи о благодатности мирной жизни.

Знаешь, какую информацию лет через 500 извлекут наши потомки из повести Пушкина "Метель"? Что во времена Пушкина ещё не был изобретён GPS. Потому что персонаж (а) заблудился и (б) в повести нет никакого упоминания того, что он переживает о том, что как назло девайс разрядился. Писал ли Александр Сергеич о том, что GPS ещё не изобретён? Да боже упаси! Но в его повести эта информация есть

Для того, чтобы воронки стали информацией о комарах, нужна информация о том, что именно так в данном случае можно интерпретировать наличие/отсутствие воронок. Воронка — некое в данном случае чисто материальное обстоятельство. Отсутствие воронки — тоже. Такие штуки я называю сигналами. Сигнал — это ещё не информация. Информацией он становится, когда есть информация о том, как его можно/нужно интерпретировать. Такие штуки я называю контекстами.
Получается рекурсивная конструкция: информация — это сочетание сигнала и контекста, а контекст — это информация, которая тоже обязана быть сочетанием сигнала и контекста, который тоже информация... и так далее. Похоже на логическую петлю, но только на первый взгляд. Это не логическая петля. Это весьма интересная и продуктивная бесконечная рекурсия.

Возвращаясь к вопросу. Можно ли записать информацию без изменения физических свойств носителя? Мой ответ — нет, невозможно Потому что и с изменением свойств информацию записать невозможно. Можно записать сигнал (хоть с изменением, хоть в некоторых случаях без), но информацию — извините, никак.

R>Добавление: А, понял наконец. Отвык уже от философских идей совершенно оторванных от реальности. Вы подумали, и решили, что информация — это круто и ей надо дать статус онтологически фундаментального понятия. А значит — пофиг на какие-то физические информационные системы, информация может существовать сама по себе, потому что это такая красивая идея.


Ну какое же в пекло "сама по себе", когда наличие в конечном счёте материального сигнала получается необходимым условием?

R>Бросайте вы эту философию. Информация существует только в информационных системах.


Ага. А еда — только в магазине. Ну, ещё иногда в холодильнике
Re[15]: Пофантазирем про хранение данных
От: red75  
Дата: 01.11.16 11:44
Оценка:
Здравствуйте, Voblin, Вы писали:

V>Получается рекурсивная конструкция: [...]


Нет, спасибо, я лучше по старинке: источник, приёмник, канал передачи информации. Если какого-то компонента нет, то остаётся только лирика.

V>Можно поподробнее про сжатие фазовых пространств?


Нельзя. Слышал я это довольно давно в какой-то лекции по физике. Сейчас найти не могу. Вполне возможно, что это было не фазовое пространство, а какой-то другой термин.
Re[16]: Пофантазирем про хранение данных
От: Voblin Россия http://maslyaew.narod.ru/
Дата: 01.11.16 14:29
Оценка: :)
Здравствуйте, red75, Вы писали:

V>>Получается рекурсивная конструкция: [...]

R>Нет, спасибо, я лучше по старинке: источник, приёмник, канал передачи информации. Если какого-то компонента нет, то остаётся только лирика.

По-старинке тоже годится в лучшем виде. Давай вспомним старую добрую формулу Шеннона: I = -sum(pilog2pi)
Комплект этих самых pi — это что такое? Божественное откровение, ниспосланное нам Аллахом? Или сообщение, прилетевшее к нам через канал? По ходу дела, ни то и не другое. Это характеристика контекста.

Если я включу китайское новостное радио, то принимаемые данные будут такими:
 i |  p   | Что
-----------------------------------
 1 | 100% | "Какая-то тарабарщина"

I = -1*log2(1) = 0

Если же выучу китайский язык, то информативность прослушивания китайского радио будет совсем другая:
 i |  p   | Что
---------------------------------------------------
 1 |  10% | Очередное великое достижение. Ура!
 2 |   5% | Враги не дремлют. Хм...
 3 |   2% | Что-то отныне запрещено. Упс...
 4 |   1% | Что-то отныне разрешено. Вау!
 5 |  82% | Всякая хрень - спорт, гороскопы и т.п.

Итого ожидается, что каждый инфопосыл для меня несёт (считаем по формуле) 0.96 бита. За вычетом всякой хрени (считаем её как "no signal") — 0.73.
Ровно тот же самый сигнал, но картина принципиально другая. В результате чего наш тупой 0 превратился во вполне ощутимые 0.73? В результате обретения контекста. Собственно, только он и изменился.

Вывод: двухкомпонентная сигнал-контекстная конструкция уже в почти совсем явном виде присутствует в нашей горячо любимой и всемерно уважаемой математической теории связи.

Так что всякая философская муть — это не только забавное времяпровождение, но и способ начать более осознанно пользоваться весьма небесполезными формулами

V>>Можно поподробнее про сжатие фазовых пространств?

R>Нельзя. Слышал я это довольно давно в какой-то лекции по физике. Сейчас найти не могу. Вполне возможно, что это было не фазовое пространство, а какой-то другой термин.

Ну и ладненько. Будем пока что считать, что против низвержения Ландауэра по существу вопроса возражений нет.
Re[17]: Пофантазирем про хранение данных
От: Sinix  
Дата: 01.11.16 14:51
Оценка:
Здравствуйте, Voblin, Вы писали:

V>Комплект этих самых pi — это что такое? Божественное откровение, ниспосланное нам Аллахом? Или сообщение, прилетевшее к нам через канал? По ходу дела, ни то и не другое. Это характеристика контекста.



А прочитать матчасть и не изобретать свои термины — не?
Re[18]: Пофантазирем про хранение данных
От: Voblin Россия http://maslyaew.narod.ru/
Дата: 01.11.16 15:22
Оценка:
Здравствуйте, Sinix, Вы писали:

S>А прочитать матчасть и не изобретать свои термины — не?


Зачем ругаться и зря фэйспалмить? Если я где лажанул в матчасти, ну так ткни меня мордой конкретно в это самое. С моей стороны не будет ничего кроме искренней благодарности.
Re[17]: Пофантазирем про хранение данных
От: red75  
Дата: 01.11.16 15:56
Оценка: 16 (1)
Здравствуйте, Voblin, Вы писали:

V>Ровно тот же самый сигнал, но картина принципиально другая. В результате чего наш тупой 0 превратился во вполне ощутимые 0.73? В результате обретения контекста. Собственно, только он и изменился.


Для упрощения, считаем источник (китайское радио), приёмик (назовём его условно сознанием) и часть канала связи (от диктора до слухо/речевой зоны коры мозга) неизменными. Значит изменилась оставшаяся часть канала связи — распознавалка китайской речи в мозгу. Сначала канал связи сводил все сообщения к одному варианту, после обучения начал правильно передавать сигналы источника.

Можно рассмотреть систему из учителя китайского языка, канала связи и слухо/речевой коры мозга. Здесь будет меняться приёмник. По мере обучения приёмник будет стоить всё более точное распределение вероятностей входного сигнала, в результате поток информации будет падать (приёмник уже знает, какие слова с какой вероятностью следует ожидать — падает расстояние Кульбака-Лейблера), пока не упадёт практически до 0 (приёмник больше не корректирует распределение вероятностей).
Re[18]: Пофантазирем про хранение данных
От: Voblin Россия http://maslyaew.narod.ru/
Дата: 01.11.16 17:20
Оценка:
Здравствуйте, red75, Вы писали:

R>Можно рассмотреть систему из учителя китайского языка, канала связи и слухо/речевой коры мозга. Здесь будет меняться приёмник. По мере обучения приёмник будет стоить всё более точное распределение вероятностей входного сигнала, в результате поток информации будет падать (приёмник уже знает, какие слова с какой вероятностью следует ожидать — падает расстояние Кульбака-Лейблера), пока не упадёт практически до 0 (приёмник больше не корректирует распределение вероятностей).


За Кульбака-Лейблера спасибо. Как-то так получилось, что о таком буквосочетании я ни разу прежде не слышал
Пригодится.

Тут вот что забавно. Пока я не знаю китайского языка, в моей голове полный порядок. Информационная энтропия равна нулю. Никакое входящее сообщение не несёт мне дополнительной информации. Только подтверждает, что на этой кнопке как всегда полная тарабарщина. Кульбак-Лейблер строго равен нулю. Но как только я начинаю учить язык и потихоньку врубаться в происходящее, у меня начинает появляться много этих самых pi. Растёт информационная энтропия. И, естественно, имеющиеся данные о распределении вероятностей не идеальны (ненулевой Кульбак-Лейблер).
Парадокс. Пока я дурак дураком, я всё знаю и мои знания надёжны, а как только пытаюсь поумнеть, становлюсь дурак дураком. Как так? Чё за хрень?
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.