Сбербанк проводил изучение серверов по различным методикам. Приведенные критические оценки в первую очередь относятся к итогам функционального тестирования по методике Sberinfra на соответствие корпоративным эксплуатационным требованиям банка.

В результате тестирования, как отметил Жбанков, «чуда не произошло» — серверы показали соответствие семи из 44 параметров («наличие лапки кабель-менеджмента, наличие рельсов, наличие индикации каждого элемента, наличие удаленного управления» и пр.) — 16%.

«Тесты в принципе вполне выполнимые. Мы так понимаем, что МЦСТ просто раньше с ними никогда не встречались, не работая с коммерческими компаниями, — сказал специалист. — Все понимаем, все принимаем; результаты переданы в МЦСТ».

На других этапах было проведено синтетическое тестирование на основе известных бенчмарков PGbench из пакета PostgreSQL и SPEC CPU 2017, а также прикладное тестирование на основе Java-приложения, реализующего бизнес-логику.

В качестве критериев по оценке продуктов использовались ценовая эффективность (количество транзакций на $100 млн), средняя производительность на сервер с типовой нагрузкой, а также время старта и отклика Java-приложения.

Сравнение проводилось по отношению к серверу на базе 20-ядерного чипа с частотой в 2,1 ГГц — Intel Xeon Gold 6230. В Сбербанке такую технику называют классической (не топовой); она тысячами закупается этой организацией.

Изделия на российских чипах уступили зарубежному конкуренту по всем параметрам, однако полученные результаты сотрудников Сбербанка все же «неожиданно и очень приятно» удивили.

«Мы ожидали, что разница будет не в разы, а в 20-30 раз, — отмечает Жбанков. — Для нас это реально удивительно». Вторым фактором удивления для тестировщиков стал вывод о том, что перед ними оказался законченный продукт. По словам специалиста, обычно российские разработчики приходят к ним с предложениями об использовании своих решений, имея на руках просто чертеж.

По итогам тестирования в Сбербанке делают вывод, что процессоры семейства «Эльбрус» имеют теоретический потенциал роста производительности: увеличение тактовой частоты, увеличение количества ядер, увеличение объема и ускорение памяти (в т. ч. числа контроллеров памяти).

«Рекомендуем перейти на более современный техпроцесс и использовать современные стандарты оперативной памяти, — говорится в справке банка. — Необходимо провести тестирование серверов «Эльбрус» под управлением сертифицированных ФСТЭК операционных систем по профилю не ниже ОС.А4 (для применения в проектах, связанных с персональными данными и ГИС). Для конкуренции с лидирующими зарубежными решениями необходимо разработать новый процессор, сопоставимый с ними по характеристикам и производительности на момент его выхода».