Этот проект может быть интересен тем, кто интересуется машинным обучением и анализом данных. Хотя он изначально развивался для анализ временных рядов, это не является ограничением, т.е. вполне можно применять и для других задач.
https://github.com/asavinov/lambdo
Lambdo это приложение и библиотека на Питоне, которое предназначено для построения графов анализа данных и имеет следующие особенности:
Lаmbdo унифицирует процессы машинного обучения и инженерии признаков. Они просто не отличаются, а есть только модель преобразований, которую можно либо определить вручную, либо натренировать из данных. Обычно граф анализа содержит множество таких моделей, которые могут представлять как новые признаки так и модели машинного обучения.
Lamdo объединяет стадии тренировки модели и ее применения. Когда определяются преобразования, то сразу указывается, как эта модель получается из данных. Это важно, если есть много таких моделей и весть сложный процесс преобразований надо часто заново тренировать на новых данных.
Lambdo разделяет узлы двух типов: таблицы и колонки. Узел таблицы определяет как эта таблица наполняется записями. Узлы колонок определяют как вычисляются значения этой колонки (не меняя количество записей). Этот же колончато-ориентированный подход используется в другом проекте: https://github.com/asavinov/bistro — это можно рассматривать как альтернатива map-reduce.
Определение того, что собственно будет сделано с данными осуществляется с помощью определения функций (на Питоне).
Вот как выглядит структура проекта на JSON:
{
"tables": [
"table": { "function": "my_table_func_1", "columns": [...] }
"table": {
"function": "my_table_func_2",
"columns": {
"column": { "function": "my_column_func_1", ... }
"column": { "function": "my_column_func_2", ... }
}
"table": { "function": "my_table_func_3", "columns": [...] }
]
}
Больше примеров можно найти здесь:
https://github.com/asavinov/lambdo/tree/master/examples
Здравствуйте, Александр Савинов, Вы писали:
АС>Этот проект может быть интересен тем, кто интересуется машинным обучением и анализом данных. Хотя он изначально развивался для анализ временных рядов, это не является ограничением, т.е. вполне можно применять и для других задач.
АС>https://github.com/asavinov/lambdo
по какой то причине публичный репозиторий удален, на сайте автора тоже нет упоминаний о проекте