Задача: Необходимо сделать сверку данных из таблиц БД с данными текстовых файлов. Для пользователей данные из БД и текстовых файлов должны загружаться в таблицы. В таблицах должна быть сортировка, поиск и отображаться отклонения между данными.
Проблема: Текстовых файлов очень много. Строк в них может быть больше 100 000, как и соответствующих им строк БД. Загружать их все в память и потом делать сверку целесообразно или нет?
Мое решение: Загружать данные из текстовых файлов во временную таблицу БД. Делать сверку данных. Заносить получившиеся отклонения в отдельный столбец временной таблицы. В пользовательский интерфейс(таблицы) отображать данные и получившиеся результаты порционно. После закрытия приложения временную таблицу из БД удалять.
Вопрос: Является ли мое решение допустимым и общераспространенным в решениях подобных задач?
Инструменты: Язык разработки: C#. БД: Microsoft SQL Server.
