Задача: Необходимо сделать сверку данных из таблиц БД с данными текстовых файлов. Для пользователей данные из БД и текстовых файлов должны загружаться в таблицы. В таблицах должна быть сортировка, поиск и отображаться отклонения между данными.
Проблема: Текстовых файлов очень много. Строк в них может быть больше 100 000, как и соответствующих им строк БД. Загружать их все в память и потом делать сверку целесообразно или нет?
Мое решение: Загружать данные из текстовых файлов во временную таблицу БД. Делать сверку данных. Заносить получившиеся отклонения в отдельный столбец временной таблицы. В пользовательский интерфейс(таблицы) отображать данные и получившиеся результаты порционно. После закрытия приложения временную таблицу из БД удалять.
Вопрос: Является ли мое решение допустимым и общераспространенным в решениях подобных задач?
Инструменты: Язык разработки: C#. БД: Microsoft SQL Server.
Здравствуйте, bananan85, Вы писали:
B>Всем доброго времени суток.
B>Задача: Необходимо сделать сверку данных из таблиц БД с данными текстовых файлов. Для пользователей данные из БД и текстовых файлов должны загружаться в таблицы. В таблицах должна быть сортировка, поиск и отображаться отклонения между данными.
B>Проблема: Текстовых файлов очень много. Строк в них может быть больше 100 000, как и соответствующих им строк БД. Загружать их все в память и потом делать сверку целесообразно или нет?
B>Мое решение: Загружать данные из текстовых файлов во временную таблицу БД. Делать сверку данных. Заносить получившиеся отклонения в отдельный столбец временной таблицы. В пользовательский интерфейс(таблицы) отображать данные и получившиеся результаты порционно. После закрытия приложения временную таблицу из БД удалять.
B>Вопрос: Является ли мое решение допустимым и общераспространенным в решениях подобных задач?
B>Инструменты: Язык разработки: C#. БД: Microsoft SQL Server.
Какая разница что другие делают? Если работает и заказчика удовлетворяет — значит правильно.
Здравствуйте, bananan85, Вы писали:
B>Всем доброго времени суток.
B>Вопрос: Является ли мое решение допустимым и общераспространенным в решениях подобных задач?
Зависит от задачи. Нужно регулярно и чтобы особых навыков не требовало — используем SSIS или наколенную поделку. Одноразово — либо добавляем файлы как linked Server (ч/з jet), либо заливаем во временные таблицы — как сделали вы.
Здравствуйте, Sinix, Вы писали:
S>Здравствуйте, bananan85, Вы писали:
B>>Всем доброго времени суток.
B>>Вопрос: Является ли мое решение допустимым и общераспространенным в решениях подобных задач? S>Зависит от задачи. Нужно регулярно и чтобы особых навыков не требовало — используем SSIS или наколенную поделку. Одноразово — либо добавляем файлы как linked Server (ч/з jet), либо заливаем во временные таблицы — как сделали вы.
Ок. Спасибо. Я правда, еще ничего не сделал, просто примеряюсь )
