Re: Школа данных Яндекса - имеет ли смысл?
От: XopoSHiy Россия http://cleancodegame.github.io/
Дата: 30.04.14 05:36
Оценка: +2 :)
Здравствуйте, Morley, Вы писали:

M>Как думаете, имеет смысл тратить 2 года на такое?


Конечно, нет, лучше бухать!

Теперь серьезно. Если ты хочешь не сайты клепать и формочки рисовать, а уметь делать технические вещи, которые другие не очень умеют, то да, это хорошее для этого место.

И за два года не переживай, если что, после первого семестра/года тебя просто отчислят
---
http://twitter.com/xoposhiy
http://xoposhiy.moikrug.ru
Re: Школа данных Яндекса - имеет ли смысл?
От: Аноним  
Дата: 01.05.14 10:42
Оценка: 16 (2)
Здравствуйте, Morley, Вы писали:
Если есть интерес к тематике, то проще устроится в контору или институт, который занимается распознаванием образов и поиметь опыт на практике. Если есть желание попасть в яндекс, то через ШАД это сделать гораздо проще, чем с улицы. Преподают там в основном сильно разжеванное текущее состояние ряда предметов, чтобы ты мог начаться пользоваться современными методами достаточно быстро, не наступая на совсем уж детские грабли и мог общаться на одном языке с людьми, которые в теме. Очевидно, что никакого сокрального знания тебе не дадут, но если ты забил на соответствующие курсы в универе, то ШАД подспорье очень неплохое.

Прим. Когда я туда поступал в 2007-2008 году был страшенный бардак и читали и собеседовали форменные укурки (и одна укурша), сейчас читают вполне себе состоявшиеся профессионалы, так что яндексу явно не пофиг на ШАД и шад стремительно идет нога в ногу. Экзамен тогда был очень простой, самое сложное емнип было взять интеграл вида 1 / (1 + x^2) и где то применить динамическое программирование. Сейчас скорее всего посложнее.
Re: Школа данных Яндекса - имеет ли смысл?
От: Isscander  
Дата: 08.12.14 22:06
Оценка: +2
Здравствуйте, Morley, Вы писали:

M>Как думаете, имеет смысл тратить 2 года на такое?

M>Кто-нибудь ходил в эту школу?

Попробовать, ИМХО, стоит. Хуже от этого не будет, это точно. Не понравится или не потянете — бросите.
Но тут, ИМХО, проблемка есть. На первый взгляд программа составлена серьезная. И такая серьезная программа требует серьезного вложения времени. Хорошо если Вы — студент, который учится, скажем так, full time. А если вы — рабочий профессионал, которому надо часов 8 в день отпахать — то на такие подвиги может пороху и не хватить. Если есть молодость, энтузиазм, железное здоровье, много энергии и никаких особых интересов кроме программирования — то ура, вперед. Если этого всего нет, то стоит задуматься о поиске работы где вы сможете эти вещи выучить по ходу дела. Ну или хотя бы какие-то из них.
Re[3]: Школа данных Яндекса - имеет ли смысл?
От: AlexRK  
Дата: 06.12.14 19:08
Оценка: 13 (1)
Здравствуйте, LaptevVV, Вы писали:

LVV>Здравствуйте, AlexRK, Вы писали:


ARK>>Математика там весьма хардкорная, во всяком случае для меня.

LVV>Не могли бы вы пояснить, что конкретно из математики там читают?

Да вот тут вроде все есть:
http://shad.yandex.ru/program/common.xml

Когда я учился, примерно то же самое было, хотя я маленько уже подзабыл. Райгородский с его курсом "Дискретный анализ и теория вероятностей" точно был.
Re: Школа данных Яндекса - имеет ли смысл?
От: AlexRK  
Дата: 30.04.14 05:55
Оценка: 1 (1)
Здравствуйте, Morley, Вы писали:

M>Как думаете, имеет смысл тратить 2 года на такое?

M>Кто-нибудь ходил в эту школу?

Я ходил. Правда, не доучился. Сложно соревноваться со студентами, которые все темы прямо сейчас проходят.
Математика там весьма хардкорная, во всяком случае для меня. Программирование довольно простое (опять же для меня). Сроки очень жесткие, мне времени реально не хватало. А может я просто тупой.
Стоит или нет — хз. Если все изучить, то хуже точно не будет.
Re: Школа данных Яндекса - имеет ли смысл?
От: __kot2  
Дата: 06.05.14 18:57
Оценка: +1
Здравствуйте, Morley, Вы писали:
M>Как думаете, имеет смысл тратить 2 года на такое?
я бы пошел в такой ситуации. не понравится — уйдешь
Школа данных Яндекса - имеет ли смысл?
От: Morley  
Дата: 30.04.14 05:25
Оценка:
Привет
Я недавний выпускник, живу в Киеве, учился заочно (т.е. практически не учился ). Сейчас подрабатываю фрилансом, и ищу fulltime работу заграницей (в Украине разочаровался), рассматриваю раличные варианты.

В бывшем университете встретил объявление об этой школе. Вроде интересные вещи, как раз такие курсы, чего мне очень не хватало в универе. К тому же бесплатно (хотя пишут, что вступительный экзамен у них сложный, но вроде в пределах курсов, которые я изучал в универе — почитаю конспекты для подготовки). Из преимуществ — курсы computer science, которые преподаются заграницей, а у нас в универах не преподаются. Полезно для будущих собеседований во всякие гугли, и вообще для саморазвития (там, в отличие от онлайн курсов, пинать будут, и исключить за неуспеваемость могут).

Занятия в этой школе с 6-ти до 8-ми, по вечерам. Можно заочно записаться. Весь курс 2 года (как я понял, там нельзя только 1 семестр проучится — нужно обязательно все 4).

Как думаете, имеет смысл тратить 2 года на такое?
Кто-нибудь ходил в эту школу?
Отредактировано 28.11.2014 8:44 Morley . Предыдущая версия .
Re: Школа данных Яндекса - имеет ли смысл?
От: bastrakov Россия http://bastrakof.livejournal.com/
Дата: 30.04.14 05:51
Оценка:
Здравствуйте, Morley, Вы писали:

тындекс — не люблю! ну не сложилось у нас с ним.

M>Как думаете, имеет смысл тратить 2 года на такое?


да. для Вас лично — это "светлый путь". во
Re[2]: Школа данных Яндекса - имеет ли смысл?
От: LaptevVV Россия  
Дата: 06.12.14 08:38
Оценка:
Здравствуйте, AlexRK, Вы писали:

ARK>Математика там весьма хардкорная, во всяком случае для меня.

Не могли бы вы пояснить, что конкретно из математики там читают?
Хочешь быть счастливым — будь им!
Без булдырабыз!!!
Re[4]: Школа данных Яндекса - имеет ли смысл?
От: LaptevVV Россия  
Дата: 06.12.14 19:16
Оценка:
Здравствуйте, AlexRK, Вы писали:
LVV>>Не могли бы вы пояснить, что конкретно из математики там читают?

ARK>Да вот тут вроде все есть:

ARK>http://shad.yandex.ru/program/common.xml

ARK>Когда я учился, примерно то же самое было, хотя я маленько уже подзабыл. Райгородский с его курсом "Дискретный анализ и теория вероятностей" точно был.

Райгородский, поля, Ширяев — серьезные люди.
Имею кое-какие книжки.
Интересно, что Ширяев читает Основы стохастики...
Это он вероятность так обозвал?
Хочешь быть счастливым — будь им!
Без булдырабыз!!!
Re: Школа данных Яндекса - имеет ли смысл?
От: smeeld  
Дата: 06.12.14 20:41
Оценка:
Здравствуйте, Morley, Вы писали:

Lisp-а там нет, так что в топку. Просто не нужно и вредно зубрить всякое эфемерное вроде
учебных материалов с описаниями структур данных, алгоритмов, паттернов и прочее. Это всё
без проблем изобретается в процессе разработки программ. Например, в кернеле линукса большинство,
распространённых и описанных в букварях и библиях, структур и алгоритмов реализованы не такими как
они описаны, а с модификациями, дополнениям, изменяющими их до неузнаваемости. Каждая программа уникальна,
и написание её по вызубренным в букварях шаблонам-это не грамотно и не профессионально.
Но важно тренироваться в чистой математике. Чистый такой красивый "матан". Она представляет собой
фрагменты программы вселенной. Эта программа исполняется на некоем процессоре, и её исполнение
создаёт ощущение течения времени в сознании носителя сознания. Но исполнение присходит в соответствии
с упомянутой программой. Наука, и прежде всего физика, должна дополнять эти фрагменты, чтоб
получить весь текст прогаммы целиком.

ЗЫ говорят, назначили премию тому, кто введёт время в математику. На самом деле,с математикой все в порядке,
а премию нужно назначить за исключение времени из физики.
Re[2]: Школа данных Яндекса - имеет ли смысл?
От: Nuzhny Россия https://github.com/Nuzhny007
Дата: 07.12.14 20:17
Оценка:
Здравствуйте, smeeld, Вы писали:

S>Lisp-а там нет, так что в топку.

S>...

Unix, Lisp, старый рок... Такое ощущение, что твоя юность прошла в 70-80 годах. А всё новое ты просто не приемлешь.
Между прочим, в ШАД на первом месте стоит именно анализ данных, машинное обучение и т.п. А не языки и структуры данных. Поэтому все твои замечания в топку, ибо на Лиспе ИИ так никто и не написал. Да и не годится он для этого.
А в области машинного обучения за последнее время сделано так много открытий, что этому уже надо учиться системно, а не постигая предмет на практике.
Re[3]: Школа данных Яндекса - имеет ли смысл?
От: smeeld  
Дата: 07.12.14 20:53
Оценка:
Здравствуйте, Nuzhny, Вы писали:

N>Unix, Lisp, старый рок... Такое ощущение, что твоя юность прошла в 70-80 годах. А всё новое ты просто не приемлешь.

N>Между прочим, в ШАД на первом месте стоит именно анализ данных, машинное обучение и т.п. А не языки и структуры данных. Поэтому все твои замечания в топку, ибо на Лиспе ИИ так никто и не написал. Да и не годится он для этого.

Всё современное из языков и технологий, не умеет ничего, что имеет и умеет Lisp. Просто индустрия пошла по пути
упрощения технологий, для облегчения, удешевления, ускорения разработок. Именно так появились и захватили мир всякие
питоны и явы и C++ (да да, предназначен для упрощения разработок в С-пространстве на замену последнему)
Что до ИИ на lisp-е, то это была, так сказать, технология приближения к ИИ, а не попытка создания абсолютного ИИ. Но представление
модели данных в виде форм в lisp иммадж файле, это как раз пример систематизации понятия структурированные данные.
А та разношерстная куча деревьев и прочих кустов, вкупе с какими то сомнительными и нестрогими рассуждениями, которые, якобы, устанавливают
свойства этих структур, всё это просто какой-то балаган, развиваемый кучей посредственностей с степенями и дипломами.
Пока монахи из секты чистой математики на возьмутся за создание математической теории эволюции информации, ничего кроме хаоса не будет.

N>А в области машинного обучения за последнее время сделано так много открытий, что этому уже надо учиться системно, а не постигая предмет на практике.


Спросите у мыщъха про машинное обучение и распознование образов. Он как практик, знает об этом больше любого
скинтиста/преподавателя/теоретика, которые все давно запутались в несистемном потоке несистемных решений,
которые генерят практики в продакшенах, которые и лямзят теоретики для обёртывания их в обёртку под названием
"якобытеорияхотябытакая"
Re[4]: Школа данных Яндекса - имеет ли смысл?
От: Nuzhny Россия https://github.com/Nuzhny007
Дата: 08.12.14 04:01
Оценка:
Здравствуйте, smeeld, Вы писали:

S>Всё современное из языков и технологий, не умеет ничего, что имеет и умеет Lisp. Просто индустрия пошла по пути

S>упрощения технологий, для облегчения, удешевления, ускорения разработок. Именно так появились и захватили мир всякие
S>питоны и явы и C++ (да да, предназначен для упрощения разработок в С-пространстве на замену последнему)

Согласен! Но разве это не правильный путь? У джедаев-математиков и джедаев-программистов Lisp никто не отбирал. А инженерам надо в срок и с требуемыми характеристиками решать свои задачи.

S>Что до ИИ на lisp-е, то это была, так сказать, технология приближения к ИИ, а не попытка создания абсолютного ИИ. Но представление

S>модели данных в виде форм в lisp иммадж файле, это как раз пример систематизации понятия структурированные данные.
S>А та разношерстная куча деревьев и прочих кустов, вкупе с какими то сомнительными и нестрогими рассуждениями, которые, якобы, устанавливают
S>свойства этих структур, всё это просто какой-то балаган, развиваемый кучей посредственностей с степенями и дипломами.
S>Пока монахи из секты чистой математики на возьмутся за создание математической теории эволюции информации, ничего кроме хаоса не будет.

Тут спорить не буду — не знаток Lisp'а, только поверхностно.

S>Спросите у мыщъха про машинное обучение и распознование образов. Он как практик, знает об этом больше любого

S>скинтиста/преподавателя/теоретика, которые все давно запутались в несистемном потоке несистемных решений,
S>которые генерят практики в продакшенах, которые и лямзят теоретики для обёртывания их в обёртку под названием "якобытеорияхотябытакая"

Я как бы и сам несколько лет занимаюсь этим, вижу прогресс. В плане новой именно математики появляется не так уж и много решений, зато для практики делается очень много. Взять хотя бы самый классический пример — поиск лиц на видео в реальном времени. Это стало возможно делать практически на любом даже дохлейшем устройстве благодаря связке: быстрое обучение Adaboost, быстрые фичи LBP, быстрые каскады (в оригинале у Виолы-Джонса считались вейвлеты Хаара на интегральном изображении). Всё по сути примитивно, но эта работа подтолкнула кучу народа искать связки Фича+Классификатор. И сейчас таким образом решается куча практических задач, те же пешеходы на автомобильной камере ищутся достаточно стабильно на слабом встроенном железе или вообще реализованы аппаратно (CoHOG в чипах Тошибы).
Re[4]: Школа данных Яндекса - имеет ли смысл?
От: elmal  
Дата: 08.12.14 12:46
Оценка:
Здравствуйте, smeeld, Вы писали:

S>Всё современное из языков и технологий, не умеет ничего, что имеет и умеет Lisp.

Ээээ, что именно такого умеет Lisp, что не могут другие языки, в частности python? Сам язык прост как пробка. Да, он поддерживает до хрена парадигм, он очень просто реализуется, за счет чего это очень хороший язык для обучения. Но программы на этом языке весьма и весьма тяжело читаются, де факто это весьма низкоуровневый язык, где программа пишется как удобно машине, а не как удобно человеку. Для человека синтаксис лиспа реально кошмарен, пока поймешь к чему относится конкретная скобочка — голову сломаешь. Для обучения тому, как на простейшей грамматики можно создать язык, позволяющий реализовать абсолютно что угодно, любые абстракции — здесь Lisp идеален. Начинали бы c Lisp — глядишь меньше бы было орлов, считающих что язык это все, кроме языка ничего знать не нужно, пришлось бы научиться писать компактно и без копипасты. Но кроме как для обучения именно программистов (для непрограммистов я бы Lisp тоже очень не рекомендовал) его использовать я бы очень побоялся.
Re: Школа данных Яндекса - имеет ли смысл?
От: rm822 Россия  
Дата: 23.12.14 10:07
Оценка:
M>Как думаете, имеет смысл тратить 2 года на такое?
Нет. Полезного там месяца на 3.

M>Кто-нибудь ходил в эту школу?

Работает у нас один выпускник (если конечно речь об ШАД яндекса).
Мое мнение — обучение оторвано от реальности, т.е. чувак не знает названия типичных алгоритмов параллельной сортировки или сортировки на внешней памяти, не имеет понятия о популярных библиотеках сие реализующих.
Re[2]: Школа данных Яндекса - имеет ли смысл?
От: BulatZiganshin  
Дата: 23.12.14 11:17
Оценка:
Здравствуйте, rm822, Вы писали:

R>Мое мнение — обучение оторвано от реальности, т.е. чувак не знает названия типичных алгоритмов параллельной сортировки или сортировки на внешней памяти, не имеет понятия о популярных библиотеках сие реализующих.


это знания примерно уровня win32 api. моё мнение: ШАД это как раз то чему должны учить в университете (не вузе) — способность реализовывать и анализировать алгоритмы, писать те самые библиотеки, названия которых простые кодеры вроде нас с тобой должны учить наизусть
Люди, я люблю вас! Будьте бдительны!!!
Re[3]: Школа данных Яндекса - имеет ли смысл?
От: rm822 Россия  
Дата: 24.12.14 16:37
Оценка:
BZ>это знания примерно уровня win32 api. моё мнение:
разумеется, тем не менее у вышеупомянутого персонажа их не было

BZ>ШАД это как раз то чему должны учить в университете (не вузе) —

да, это было бы неплохо

BZ>способность реализовывать и анализировать алгоритмы, писать те самые библиотеки

А прослушавшие курс операционных систем должны уметь написать ОС
Ни на что они не способны, как и любой другой студент.


BZ>, названия которых простые кодеры вроде нас с тобой должны учить наизусть

оба раза мимо
Re: Школа данных Яндекса - имеет ли смысл?
От: irq  
Дата: 07.01.15 17:03
Оценка:
Здравствуйте, Morley, Вы писали:

а в целом, стоит ли идти на платные курсы или лучше освоить ЯП самостоятельно?

в моем случае если самостоятельно то по времени растянется т.к. работа не связана с Java
либо съездить на курс (в частности УЦ РДТЕХ) но при этом надо подписать контракт с работодателем
Re[2]: Школа данных Яндекса - имеет ли смысл?
От: chaotic-good  
Дата: 14.01.15 14:06
Оценка:
S>Lisp-а там нет, так что в топку. Просто не нужно и вредно зубрить всякое эфемерное вроде
S>учебных материалов с описаниями структур данных, алгоритмов, паттернов и прочее.

Там ведь не программированию учат а анализу данных, я деталей не знаю, но всегда думал что там учат машинному обучению и информационному поиску, а точнее машинному обучению в контексте информационного поиска. Ну и попробуй изобрети самостоятельно преобразование Барроуза-Уиллера или SVM, умник!
Re[3]: Школа данных Яндекса - имеет ли смысл?
От: denisko http://sdeniskos.blogspot.com/
Дата: 14.01.15 14:15
Оценка:
Здравствуйте, chaotic-good, Вы писали:

CG>Там ведь не программированию учат а анализу данных, я деталей не знаю, но всегда думал что там учат машинному обучению и информационному поиску, а точнее машинному обучению в контексте информационного поиска. Ну и попробуй изобрети самостоятельно преобразование Барроуза-Уиллера или SVM, умник!

Мило и в лужу. Строго говоря МОВ (разделяющая гиперплоскость с максимальным отступом) как идею изобретали наверное все, кто так или иначе занимался анализом данных. Единственный остроумный ход там -- представить в виде дуальной задачи. БВТ просто идея, где все решает реализация.
<Подпись удалена модератором>
Re[3]: Школа данных Яндекса - имеет ли смысл?
От: smeeld  
Дата: 14.01.15 14:40
Оценка:
Здравствуйте, chaotic-good, Вы писали:

CG>Там ведь не программированию учат а анализу данных,


Мышление процесс, напрямую связанный с набором формальных правил представления сущностей и отношений между
ними aka Язык. Поэтому наилучший способ изучать существующие наработки-это изучать их описание на конкретном ЯП.
Вот прочитать про алгоритм шифрования в википедии или его же на конкретном ЯП-это две большие разницы.
Если целью ШАД-а является обучение не тех, кто знает алгоритмы и умеет оперативно расписать реализацию,
а тех кто их придумывет, то им нужно не существующее, во всех википедиях расписанное, впаривать школоте
всякой, образом зубрёжки, а предлагать денежные гранты и вознаграждения за разработку алгоритма, обеспечивающего
достижение некоторых заявленных целей, соответствие данным заявленным параметрам. Тогда профи подтянутся.

>я деталей не знаю, но всегда думал что там учат машинному обучению и информационному поиску, а точнее машинному обучению в контексте информационного поиска. Ну и


Всё сущестующее на уровне профи нельзя выучить даже за всю свою жинь. Но каждое в отдельности постигается быстро,
и на достаточно профессиональном уровне, когда оно становится нужным. И поэтому все эти "обучения" выглядят смешно,
за исключением "обучения" в ВУЗах-там котирующуюся корочку дают. А ШАД-это "Яша пиарится".

>попробуй изобрети самостоятельно преобразование Барроуза-Уиллера или SVM, умник!


Прочитал википедию и вперёд строчить реализацию. Что тут такого, для чего нужно по каким-то школярникам шарахаться?
Re[4]: Школа данных Яндекса - имеет ли смысл?
От: chaotic-good  
Дата: 15.01.15 12:40
Оценка:
D>Мило и в лужу. Строго говоря МОВ (разделяющая гиперплоскость с максимальным отступом) как идею изобретали наверное все, кто так или иначе занимался анализом данных. Единственный остроумный ход там -- представить в виде дуальной задачи. БВТ просто идея, где все решает реализация.

Анализом данных я не занимаюсь, поэтому привел в качестве примера то, о чем знал. SVM вроде как в середине 90-х только изобрели, раньше аназилом данных не занимались что-ли? А БВТ IMO — очень не интуитивен, придумать что-то подобное самостоятельно, если ты не занимаешься научной работой а являешься практикующим разработчиком — крайне сложно, опять же IMO. Ну и последнее — после "мило и в лужу" требуется хоть какие-нибудь аргументы против приводить. "БВТ просто идея, где все решает реализация" — просто фраза с которой можно соглашаться а можно и не соглашаться, как и все остальное.
Re[4]: Школа данных Яндекса - имеет ли смысл?
От: chaotic-good  
Дата: 15.01.15 12:53
Оценка:
S>Мышление процесс, напрямую связанный с набором формальных правил представления сущностей и отношений между
S>ними aka Язык. Поэтому наилучший способ изучать существующие наработки-это изучать их описание на конкретном ЯП.
S>Вот прочитать про алгоритм шифрования в википедии или его же на конкретном ЯП-это две большие разницы.
S>Если целью ШАД-а является обучение не тех, кто знает алгоритмы и умеет оперативно расписать реализацию,
S>а тех кто их придумывет, то им нужно не существующее, во всех википедиях расписанное, впаривать школоте
S>всякой, образом зубрёжки, а предлагать денежные гранты и вознаграждения за разработку алгоритма, обеспечивающего
S>достижение некоторых заявленных целей, соответствие данным заявленным параметрам. Тогда профи подтянутся.

Так там же обычно всякие фреймверки используются (weka, scikit-larn итд), можно заниматься анализом данных не умея особо программировать даже. Программировать нужно уметь тем, кто реализует все те алгоритмы и модели, которые используют для анализа данных. Немножко нужно уметь программировать для того, чтобы готовить данные, векторизация, data munging и тд. А дальше все выглядит как программа на матлабе.

>>я деталей не знаю, но всегда думал что там учат машинному обучению и информационному поиску, а точнее машинному обучению в контексте информационного поиска. Ну и

S>Всё сущестующее на уровне профи нельзя выучить даже за всю свою жинь. Но каждое в отдельности постигается быстро,
S>и на достаточно профессиональном уровне, когда оно становится нужным. И поэтому все эти "обучения" выглядят смешно,
S>за исключением "обучения" в ВУЗах-там котирующуюся корочку дают. А ШАД-это "Яша пиарится".

IMO, ШАД это способ попасть в яндекс или просто научиться вещам, которым в большинстве отечественных вузов не научат. Если ты состоявшийся профессионал то это тебе едва ли понадобится, проще книжку-другую прочитать. Вчерашним студентам — кто знает, может и полезно.

>>попробуй изобрети самостоятельно преобразование Барроуза-Уиллера или SVM, умник!

S>Прочитал википедию и вперёд строчить реализацию. Что тут такого, для чего нужно по каким-то школярникам шарахаться?

Для начала нужно знать что оно такое есть и как его использовать.
Re[5]: Школа данных Яндекса - имеет ли смысл?
От: denisko http://sdeniskos.blogspot.com/
Дата: 15.01.15 14:54
Оценка:
Здравствуйте, chaotic-good, Вы писали:

D>>Мило и в лужу. Строго говоря МОВ (разделяющая гиперплоскость с максимальным отступом) как идею изобретали наверное все, кто так или иначе занимался анализом данных. Единственный остроумный ход там -- представить в виде дуальной задачи. БВТ просто идея, где все решает реализация.


CG>Анализом данных я не занимаюсь, поэтому привел в качестве примера то, о чем знал. SVM вроде как в середине 90-х только изобрели,

72 или 73 год емнип, в книжке 76 он уже был.

CG> А БВТ IMO — очень не интуитивен, придумать что-то подобное самостоятельно

В данном случае H пропущено зря. Если ты занимаешься сжатием, то в случае гладкого сигнала самое разумное передавать не само число, а его разность с предыдущим отсчетом. До этого самые дебили доходили своим умом. А отсюда до БВТ ровно два шага.
<Подпись удалена модератором>
Re[6]: Школа данных Яндекса - имеет ли смысл?
От: chaotic-good  
Дата: 15.01.15 21:47
Оценка:
CG>>Анализом данных я не занимаюсь, поэтому привел в качестве примера то, о чем знал. SVM вроде как в середине 90-х только изобрели,
D>72 или 73 год емнип, в книжке 76 он уже был.

Вапник в 93-м году его придумал.

CG>> А БВТ IMO — очень не интуитивен, придумать что-то подобное самостоятельно

D>В данном случае H пропущено зря. Если ты занимаешься сжатием, то в случае гладкого сигнала самое разумное передавать не само число, а его разность с предыдущим отсчетом. До этого самые дебили доходили своим умом. А отсюда до БВТ ровно два шага.

Извини пожалуйста за мою глупость и нескромность, но не мог бы ты объяснить, каким образом получается два шага от delta encoding до BWT? И какая связь между delta encoding и BWT?
Re[7]: Школа данных Яндекса - имеет ли смысл?
От: denisko http://sdeniskos.blogspot.com/
Дата: 16.01.15 08:46
Оценка:
Здравствуйте, chaotic-good, Вы писали:

CG>Вапник в 93-м году его придумал.

Это интересно откуда такая чушь? Я видел в книжке 76, википедия говорит, что в 1963.

CG>>> А БВТ IMO — очень не интуитивен, придумать что-то подобное самостоятельно

D>>В данном случае H пропущено зря. Если ты занимаешься сжатием, то в случае гладкого сигнала самое разумное передавать не само число, а его разность с предыдущим отсчетом. До этого самые дебили доходили своим умом. А отсюда до БВТ ровно два шага.

CG>Извини пожалуйста за мою глупость и нескромность, но не мог бы ты объяснить, каким образом получается два шага от delta encoding до BWT? И какая связь между delta encoding и BWT?

Тривиальная. Шаг первый -- для уменьшения избыточности в тексте необходимо кодировать не сам текст а его разность с чем-то. Шаг второй, чтобы это хорошо сжималось, надо одинаковые символы/разности хранить в одном месте (сортировку). Шаг третий -- придумать как сделать обратимую сортировку (тут довольно остроумно_.
<Подпись удалена модератором>
Re[8]: Школа данных Яндекса - имеет ли смысл?
От: chaotic-good  
Дата: 16.01.15 09:41
Оценка:
CG>>Вапник в 93-м году его придумал.
D>Это интересно откуда такая чушь? Я видел в книжке 76, википедия говорит, что в 1963.

Из вики.

The original SVM algorithm was invented by Vladimir N. Vapnik and the current standard incarnation (soft margin) was proposed by Corinna Cortes and Vapnik in 1993 and published in 1995.


CG>>>> А БВТ IMO — очень не интуитивен, придумать что-то подобное самостоятельно

D>>>В данном случае H пропущено зря. Если ты занимаешься сжатием, то в случае гладкого сигнала самое разумное передавать не само число, а его разность с предыдущим отсчетом. До этого самые дебили доходили своим умом. А отсюда до БВТ ровно два шага.

CG>>Извини пожалуйста за мою глупость и нескромность, но не мог бы ты объяснить, каким образом получается два шага от delta encoding до BWT? И какая связь между delta encoding и BWT?

D>Тривиальная. Шаг первый -- для уменьшения избыточности в тексте необходимо кодировать не сам текст а его разность с чем-то. Шаг второй, чтобы это хорошо сжималось, надо одинаковые символы/разности хранить в одном месте (сортировку). Шаг третий -- придумать как сделать обратимую сортировку (тут довольно остроумно_.

Я правильно понимаю, что для того, чтобы изобрести BWT, нужно сначала осознать что кодировать нужно именно разность текста с чем-то, потом (внезапно) осознать, что одинаковые символы нужно хранить в одном месте, а потом — взять и придумать BWT? Я ничего не упустил? Ну и мой вопрос о том, при чем тут вообще delta encoding, остался без ответа.
Re[9]: Школа данных Яндекса - имеет ли смысл?
От: denisko http://sdeniskos.blogspot.com/
Дата: 16.01.15 10:02
Оценка:
Здравствуйте, chaotic-good, Вы писали:

CG>>>Вапник в 93-м году его придумал.

D>>Это интересно откуда такая чушь? Я видел в книжке 76, википедия говорит, что в 1963.

CG>Из вики.

CG>

CG>The original SVM algorithm was invented by Vladimir N. Vapnik and the current standard incarnation (soft margin) was proposed by Corinna Cortes and Vapnik in 1993 and published in 1995.

В википедии чухня, читай русскую, если уж так хочешь, в ней написан 1963 год, тем более что оригинальный алгоритм на русском был. Может, на 1963, но точно меньше 76.


CG>Я правильно понимаю, что для того, чтобы изобрести BWT, нужно сначала осознать что кодировать нужно именно разность текста с чем-то, потом (внезапно) осознать, что одинаковые символы нужно хранить в одном месте, а потом — взять и придумать BWT? Я ничего не упустил?

Потом придумать как это восстанавливать. Нет, ничего.

CG> Ну и мой вопрос о том, при чем тут вообще delta encoding, остался без ответа.

Весело, ты только что сам его процитировал, когда ничего не упускал.
<Подпись удалена модератором>
Re[10]: Школа данных Яндекса - имеет ли смысл?
От: chaotic-good  
Дата: 16.01.15 10:20
Оценка:
D>В википедии чухня, читай русскую, если уж так хочешь, в ней написан 1963 год, тем более что оригинальный алгоритм на русском был. Может, на 1963, но точно меньше 76.

пруфлинк? в русской википедии нет ни даты ни даже упоминания автора

CG>>Я правильно понимаю, что для того, чтобы изобрести BWT, нужно сначала осознать что кодировать нужно именно разность текста с чем-то, потом (внезапно) осознать, что одинаковые символы нужно хранить в одном месте, а потом — взять и придумать BWT? Я ничего не упустил?

D>Потом придумать как это восстанавливать. Нет, ничего.

Вопрос был о том, как среднему инженеру додуматься до этого преобразования (прямого и обратного). Естественно, все знают что повторяющиеся и просто близкие последовательности символов хорошо жмутся, это не откровение ни для кого. Но каким должен быть ход мысли у гипотетического инженера занимающегося сжатием, чтобы он мог придумать BWT? Само преобразование очень неинтуитивно для понимания, как к нему можно прийти самостоятельно — для меня загадка, даже если известно что требуется получить на выходе. Я конечно всего лишь туповатый инженер, но ведь ты писал что это элементарно, значит даже я должен быть способен до этого додуматься самостоятельно!

CG>> Ну и мой вопрос о том, при чем тут вообще delta encoding, остался без ответа.

D>Весело, ты только что сам его процитировал, когда ничего не упускал.

Если у тебя есть стока "АААА" то кодирование разностями даст тебе массив [192, 0, 0, 0], ну и так каким же образом BWT помогает преобразовать текст в форму, которая хорошо пожмется с помощью разностей?
BWT преобразует текст в форму, которая хорошо жмется с помощью RLE и MTF, может конечно и delta использоваться, но на практике я дельту не встречал в связке с BWT.
Re[9]: Школа данных Яндекса - имеет ли смысл?
От: denisko http://sdeniskos.blogspot.com/
Дата: 18.01.15 11:08
Оценка:
Здравствуйте, chaotic-good, Вы писали:

CG>>>Вапник в 93-м году его придумал.

D>>Это интересно откуда такая чушь? Я видел в книжке 76, википедия говорит, что в 1963.

CG>Из вики.

CG>

CG>The original SVM algorithm was invented by Vladimir N. Vapnik and the current standard incarnation (soft margin) was proposed by Corinna Cortes and Vapnik in 1993 and published in 1995.

Не читай советских газет, точнее английскую википедию. Читай русскую

Алгоритм построения оптимальной разделяющей гиперплоскости, предложенный в 1963 году Владимиром Вапником и Алексеем Червоненкисом — алгоритм линейной классификации.

А лучше, если хочешь разобраться, читай источник (например)

Вапник В. Н., Червоненкис А. Я. Теория распознавания образов. — М.: Наука, 1974.


CG>Я правильно понимаю, что для того, чтобы изобрести BWT, нужно сначала осознать что кодировать нужно именно разность текста с чем-то, потом (внезапно) осознать, что одинаковые символы нужно хранить в одном месте, а потом — взять и придумать BWT?

Правильно.

CG>при чем тут вообще delta encoding, остался без ответа.

Интересное утверждение, тем более что ответ ты приводил, когда ничего не упускал.
<Подпись удалена модератором>
 
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.