/blobs/xx/yy/$FILENAME_HASH, где xx и yy — первая и вторая пара символов в хеше (или просто /blobs/$FILENAME_HASH, если файлов не много).
Как вариант, можно существующие файлы хранить по старой схеме, а новые по-новому.
Upd.
Вместо $FILENAME_HASH можно использовать хеш от содержимого файла. Для многопоточки при добавлении и удалении файлов — лочить папку или делать блокировку в базе.