Копирование вектора (std::vector)
От: RussianFellow Россия http://russianfellow.livejournal.com
Дата: 28.10.19 11:41
Оценка: :))) :))) :)))
Есть некоторая структура Measure_Simulation, которая включает в себя достаточно много полей типа int, long, long double, char*, bool.
И есть вектор (std::vector) measuresvector, каждый элемент которого относится к типу Measure_Simulation. Этот вектор имеет 40 тысяч таких элементов.
Я копирую содержимое вектора measuresvector в другой вектор measuresvector2, используя следующий код:

std::back_insert_iterator<std::vector <Measure_Simulation> >  toV(measuresvector2);
std::copy(measuresvector.begin(),measuresvector.end(),toV);

Этот процесс копирования занимает 20 секунд.

Можно ли как-то сделать это копирование быстрее? Какой код для этого следует использовать?
1613 г. = 2024 г.
Re: Копирование вектора (std::vector)
От: GhostCoders Россия  
Дата: 28.10.19 11:50
Оценка: +4
Здравствуйте, RussianFellow, Вы писали:

RF>Можно ли как-то сделать это копирование быстрее? Какой код для этого следует использовать?

зарезервировать 40 тыс. элементов — при помощи метода my_vector.reserve(40000);

UPD:
measuresvector2.reserve(measuresvector.size()); // Резервируем под вектор необходимый размер
std::back_insert_iterator<std::vector <Measure_Simulation> >  toV(measuresvector2);
std::copy(measuresvector.begin(),measuresvector.end(),toV);
Третий Рим должен пасть!
Отредактировано 28.10.2019 11:52 GhostCoders . Предыдущая версия .
Re[2]: Копирование вектора (std::vector)
От: RussianFellow Россия http://russianfellow.livejournal.com
Дата: 28.10.19 11:55
Оценка: +1 -1 :))) :))
А зачем нужно резервирование элементов?
1613 г. = 2024 г.
Re: Копирование вектора (std::vector)
От: rg45 СССР  
Дата: 28.10.19 11:57
Оценка: 5 (2) +7 :)
Здравствуйте, RussianFellow, Вы писали:

RF>
RF>std::back_insert_iterator<std::vector <Measure_Simulation> >  toV(measuresvector2);
RF>std::copy(measuresvector.begin(),measuresvector.end(),toV);
RF>

RF>Этот процесс копирования занимает 20 секунд.

RF>Можно ли как-то сделать это копирование быстрее? Какой код для этого следует использовать?


Можно. Для этого нужно использовать такой код:

measurevector2 = measurevector;


Следующим шагом можно подумать, а действительно ли здесь необходимо копирование. Если окажется, что вместо копирования подходит перемещение, то время сведется вообще к нулю.
--
Не можешь достичь желаемого — пожелай достигнутого.
Отредактировано 28.10.2019 12:19 rg45 . Предыдущая версия .
Re[3]: Копирование вектора (std::vector)
От: LaptevVV Россия  
Дата: 28.10.19 12:04
Оценка: +1
Здравствуйте, RussianFellow, Вы писали:

RF>А зачем нужно резервирование элементов?

Чтобы во время копирования не резервировалась память и не выполнялось копирование "под капотом"
Хочешь быть счастливым — будь им!
Без булдырабыз!!!
Re[3]: Копирование вектора (std::vector)
От: GhostCoders Россия  
Дата: 28.10.19 12:07
Оценка: +1
Здравствуйте, RussianFellow, Вы писали:

RF>А зачем нужно резервирование элементов?

Все реализации вектора должны хранить свои элементы последовательно в памяти.
Условно говоря, изначально вектор в конструкторе выделяет память на N элементов, где N — небольшое число (обычно 8-16 элементов).
После заполнения этой памяти, вектор выделяет память в два раза больше (или всего лишь на 10% больше) и копирует туда элементы из старого массива в новый.
Старый массив удаляет. Когда у тебя 40 тыс. элементов добавятся таких реаллокаций будет множество — из-за них и тормозит.

Это такой std::vector. Из-за требования хранить все элементы рядом друг с другом. std::list от такого недостатка свободен, но у него есть накладные расходы по памяти.
Третий Рим должен пасть!
Re[2]: Копирование вектора (std::vector)
От: RussianFellow Россия http://russianfellow.livejournal.com
Дата: 28.10.19 12:16
Оценка:
Здравствуйте, rg45, Вы писали:

R>Можно. Для этого нужно использовать такой код:

R>
R>measurevector2 = measurevector;
R>


Ясно.

И ещё вопрос: как лучше всего добавить содержимое вектора measuresvector в конец вектора measuresvector2 ?
Есть код:

measurevector2.reserve(measuresvector2.size()+measuresvector.size());
measuresvector2.insert(measuresvector2.end(),measuresvector.begin(),measuresvector.end());


Можно ли изменить этот код, чтобы он работал быстрее? Что для этого нужно сделать?
1613 г. = 2024 г.
Re[3]: Копирование вектора (std::vector)
От: rg45 СССР  
Дата: 28.10.19 12:24
Оценка:
Здравствуйте, RussianFellow, Вы писали:

RF>И ещё вопрос: как лучше всего добавить содержимое вектора measuresvector в конец вектора measuresvector2 ?

RF>Есть код:

RF>
RF>measurevector2.reserve(measuresvector2.size()+measuresvector.size());
RF>measuresvector2.insert(measuresvector2.end(),measuresvector.begin(),measuresvector.end());
RF>


RF>Можно ли изменить этот код, чтобы он работал быстрее? Что для этого нужно сделать?


Это, пожалуй, самый прямой путь, тут уж вряд ли что-то можно улучшить.
--
Не можешь достичь желаемого — пожелай достигнутого.
Re[3]: Копирование вектора (std::vector)
От: Nuzhny Россия https://github.com/Nuzhny007
Дата: 28.10.19 12:30
Оценка: 2 (1)
Здравствуйте, RussianFellow, Вы писали:

RF>
RF>measurevector2.reserve(measuresvector2.size()+measuresvector.size());
RF>measuresvector2.insert(measuresvector2.end(),measuresvector.begin(),measuresvector.end());
RF>


RF>Можно ли изменить этот код, чтобы он работал быстрее? Что для этого нужно сделать?


Если ядер много, то как-то так:
size_t size1 = measurevector1.size();
size_t size2 = measurevector2.size();
size_t new_size = size1 + size2;
measurevector2.resize(new_size);
#pragma omp parallel for
for (size_t i = 0; i < size1; ++i)
{
    measurevector2[size2 + i] = measurevector1[i];
}
Re[3]: Копирование вектора (std::vector)
От: AleksandrN Россия  
Дата: 28.10.19 12:33
Оценка: +3
Здравствуйте, RussianFellow, Вы писали:

RF>Здравствуйте, rg45, Вы писали:


R>>Можно. Для этого нужно использовать такой код:

R>>
R>>measurevector2 = measurevector;
R>>


RF>Ясно.


RF>И ещё вопрос: как лучше всего добавить содержимое вектора measuresvector в конец вектора measuresvector2 ?

RF>Есть код:

RF>
RF>measurevector2.reserve(measuresvector2.size()+measuresvector.size());
RF>measuresvector2.insert(measuresvector2.end(),measuresvector.begin(),measuresvector.end());
RF>


RF>Можно ли изменить этот код, чтобы он работал быстрее? Что для этого нужно сделать?


Зачем понадобилось два вектора? Напиши логику работы с ними.
Может быть вместо этого хранить всё в одном векторе и сделать обёртку, которая будет обращаться к нужному участку вектора? Или сделать список векторов.
Re[4]: Копирование вектора (std::vector)
От: GhostCoders Россия  
Дата: 28.10.19 12:47
Оценка: 2 (1)
Здравствуйте, Nuzhny, Вы писали:

N>#pragma omp parallel for

Тут особо выигрыша не будет. Так как здесь не CPU узкое место, а пропускная способность памяти (RAM).
В память может и упрется.
Третий Рим должен пасть!
Re: [KУ] Копирование вектора (std::vector)
От: rg45 СССР  
Дата: 28.10.19 13:13
Оценка: :)))
Здравствуйте, RussianFellow, Вы писали:

RF>
RF>std::back_insert_iterator<std::vector <Measure_Simulation> >  toV(measuresvector2);
RF>std::copy(measuresvector.begin(),measuresvector.end(),toV);
RF>


Копирование std::vector глазами разработчика _обычного_ языка программирования:

--
Не можешь достичь желаемого — пожелай достигнутого.
Re[5]: Копирование вектора (std::vector)
От: AleksandrN Россия  
Дата: 28.10.19 13:26
Оценка: +1
Здравствуйте, GhostCoders, Вы писали:

GC>Здравствуйте, Nuzhny, Вы писали:


N>>#pragma omp parallel for

GC>Тут особо выигрыша не будет. Так как здесь не CPU узкое место, а пропускная способность памяти (RAM).
GC>В память может и упрется.

Ещё взглянуть бы на конструктор копии Measure_Simulation, может быть он тоже медленный. По описанию "много полей типа int, long, long double, char*, bool") сильно тормозить не должен, но вдруг там гигабайты этих полей.
Re[2]: [KУ] Копирование вектора (std::vector)
От: AleksandrN Россия  
Дата: 28.10.19 13:28
Оценка: :)
Здравствуйте, rg45, Вы писали:

R>Копирование std::vector глазами разработчика _обычного_ языка программирования:


R>Img.


Чем обычный язык программирования отличается от необычного?
Re[3]: [KУ] Копирование вектора (std::vector)
От: rg45 СССР  
Дата: 28.10.19 13:34
Оценка:
Здравствуйте, AleksandrN, Вы писали:

R>>Копирование std::vector глазами разработчика _обычного_ языка программирования:

R>>Img.

AN>Чем обычный язык программирования отличается от необычного?


Таки нашелся тот, кто заставил объяснять шутку. Ну, допустим, НЕ обычный — это C++. Соответственно, любой язык, отличный от С++ — обычный. Как тебе такая версия?
--
Не можешь достичь желаемого — пожелай достигнутого.
Re[5]: Копирование вектора (std::vector)
От: Nuzhny Россия https://github.com/Nuzhny007
Дата: 28.10.19 13:41
Оценка:
Здравствуйте, GhostCoders, Вы писали:

N>>#pragma omp parallel for

GC>Тут особо выигрыша не будет. Так как здесь не CPU узкое место, а пропускная способность памяти (RAM).
GC>В память может и упрется.

Набросал тест с POD структурой на своём 6-ядерном ноуте и параллельная версия получилась процентов на 10 быстрее. Согласен, что на маленьких данных выигрыша особого не будет. Но на больших объёмах он вполне возможен, почему нет? Особенно если много памяти занимает и она многоканальная.
Re[6]: Копирование вектора (std::vector)
От: GhostCoders Россия  
Дата: 28.10.19 13:55
Оценка:
Здравствуйте, Nuzhny, Вы писали:

N>Набросал тест с POD структурой на своём 6-ядерном ноуте и параллельная версия получилась процентов на 10 быстрее. Согласен, что на маленьких данных выигрыша особого не будет. Но на больших объёмах он вполне возможен, почему нет? Особенно если много памяти занимает и она многоканальная.

10 процентов єто как раз "особого віигріша не будет"
Третий Рим должен пасть!
Re[4]: [KУ] Копирование вектора (std::vector)
От: GhostCoders Россия  
Дата: 28.10.19 13:58
Оценка:
Здравствуйте, rg45, Вы писали:

R>Таки нашелся тот, кто заставил объяснять шутку. Ну, допустим, НЕ обычный — это C++. Соответственно, любой язык, отличный от С++ — обычный. Как тебе такая версия?

В єтой ветке ожидается 200+ сообщений.
Третий Рим должен пасть!
Re[4]: [KУ] Копирование вектора (std::vector)
От: AleksandrN Россия  
Дата: 28.10.19 14:24
Оценка:
Здравствуйте, rg45, Вы писали:

R>Здравствуйте, AleksandrN, Вы писали:


R>>>Копирование std::vector глазами разработчика _обычного_ языка программирования:

R>>>Img.

AN>>Чем обычный язык программирования отличается от необычного?


R>Таки нашелся тот, кто заставил объяснять шутку. Ну, допустим, НЕ обычный — это C++. Соответственно, любой язык, отличный от С++ — обычный. Как тебе такая версия?


Тогда прыгун должен прыгать в чёрном полупрозрачном ящике. Степень прозрачности зависит от необычности языка. Чем необычней тем прозрачней.
Re[5]: [KУ] Копирование вектора (std::vector)
От: rg45 СССР  
Дата: 28.10.19 14:30
Оценка:
Здравствуйте, AleksandrN, Вы писали:

AN>Тогда прыгун должен прыгать в чёрном полупрозрачном ящике. Степень прозрачности зависит от необычности языка. Чем необычней тем прозрачней.


Слишком сложная шутка. Для меня это некст левел.
--
Не можешь достичь желаемого — пожелай достигнутого.
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.