Re[6]: Хранение большого кол-ва бинарных данных
От: octo47  
Дата: 10.04.11 22:01
Оценка: 4 (1)
Здравствуйте, Аноним, Вы писали:

А>Здравствуйте, Miroff, Вы писали:


M>>Спасибо, не подумал про нее. У вас есть опыт использования GridFS в продакшене?


А>...если б еще кто-либо про hadoop (hdfs) написал отзыв, было бы хорошо.


В hdfs плохая поддержка кучи мелких файлов. Нужно очень много памяти на namenode,
чтобы все имена файлов в нее влезли.
Если уж хочется hadoop — то стоит смотреть на реализацию хранилища руками на базе hbase
(как сделано в lily, подробнее),
или реализовать хранение нескольких файлов в одном.


Но лучше использовать что-то другое, более заточенное под хранение кучи файлов.
 
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.