Для тестирования браузера создали отдельный Интернет
Об этом сообщила в своем блоге команда разработчиков Internet Explorer. Зачем же понадобилось создавать такую сеть? Во-первых, как утверждается, средний пользователь Windows проводит в браузере 50% времени.
Медленная или нестабильная в плане быстродействия работа браузера плохо сказывается и на восприятии самой операционной системы. В Windows 8, следующей массовой версии операционной системы Microsoft, эта проблема станет еще острее, поскольку там браузер обеспечивает работу нового «плиточного» интерфейса и приложений Metro, написанных на HTML и JavaScript. Вторая причина — стремительный распространение браузера Chrome, который завоевывает популярность именно благодаря своей скорости.
Именно это и подвигло Microsoft на создание специальной тестовой лаборатории из 140 компьютеров, которая используется для обкатки изменений в исходном коде браузера Internet Explorer 9-й и 10-й версии. По заявлениям разработчиков, каждый день в этой лаборатории, полностью изолированной как от Интернета, так и от внутренней сети Microsoft, проводится порядка 200 контрольных испытаний. При этом собираются данные 5,7 млн. замеров по 850 метрикам производительности, наподобие количества отправленных байт, загрузки графического процессора, процессорного времени на рендеринг веб-страниц и т.п. Ежедневно собирается 480 гигабайт данных измерений, который обрабатываются одиннадцатью 16-ядерными серверами, в каждом из которых установлено по 16 ГБ оперативной памяти. Итоговые данные хранятся на выделенном под эту задачу SQL-сервере и используются для визуализации результатов испытаний и оценки предлагаемых изменений в исходном коде браузера. Остальные 128 машин лаборатории имитируют Интернет, включая собственно веб-сайты, а также серверы DNS и прокси-серверы, различные сети и, конечно же, машины конечных пользователей.
По утверждения разработчиков Internet Explorer вся эта махина потребовалась для того, чтобы устранить при тестировании браузера фактор непредсказуемости глобальной сети. Тестовая лаборатория выполняет измерения каждые 100 наносекунд (т.е. 10 000 000 раз в секунду), что исключает любую возможность использования реального Интернета. И именно поэтому лаборатория полностью имитирует его сама.
Подавляющее большинство компьютеров в этом симуляторе играют роль клиентских машин, разбитых на классы по производительности: начиная от мощных 64-разрядных рабочих станций и заканчивая слабенькими нетбуками на процессорах Atom и планшетами на платформе ARM. Оставшиеся машины имитируют сетевую инфраструктуру Интернета, причем с учетом ее настоящих особенностей, таких как случайные изменения задержки и потерь пакетов.
Ну, и чтобы окончательно поразить читателя основательностью подхода к делу, разработчики Internet Explore сообщают в своем блоге, что перед каждым новым испытанием на всех компьютерах выполняется чистая установка операционной система (Vista, «Семерка» или Windows 8). Программный сбой браузера влечет за собой переустановку Windows, аппаратная поломка — замену компьютера целиком.
Что касается самого тестирования, то оно выполняется следующим образом. Сотрудники лаборатории задают параметры тестового сценария (содержимое веб-серверов, параметры сети, наподобие задержек и потерь, а также локальные настройки Internet Explorer) и затем просто нажимают стартовую кнопку, запускающую установку Windows на тестовые машины, которые, в свою очередь, начинают многочасовой серфинг по веб-сайтам. При этом система контролирует 850 метрик производительности, таких как время загрузки страниц, показатели работы интерактивных веб-приложений, результаты синтетических тестов и исправность самого браузера (отзывается ли меню «Файл», работает ли кнопка печати и т.п.)
Более подробно узнать об уникальной тестовой лаборатории Microsoft можно в блоге разработчиков браузера Internet Explorer на странице http://blogs.msdn.com/b/b8/archive/2012/02/16/internet-explorer-performance-lab-reliably-measuring-browser-performance.aspx.
Остается надеяться, что это чудо инженерной мысли поможет Microsoft вывести 9-ю и 10-ю версии Internet Explore в абсолютные лидеры производительности среди браузеров.
По материалам сайта ExtremeTech.