Компания Google объявила (http://blog.chromium.org/2013/11/announcing-octane-20.html) о выпуске Octane 2.0 (https://developers.google.com/octane/), инструментария для тестирования производительности JavaScript-движков, продолжающего развитие пакета V8 Benchmark. Код всех компонентов Octane распространяется (http://octane-benchmark.googlecode.com/) под лицензией BSD. Пройти тестирование можно на данной странице (http://octane-benchmark.googlecode.com/svn/latest/index.html). Тестовый набор адаптирован для выполнения как в браузерах настольных систем, так и в браузерах смартфонов и планшетов.
В отличие от большинство существующих тестовых пакетов, которые оперируют синтетическими проверками, выполняющими стресс-тестирование тех или иных возможностей JavaScript-движков, Octane рассчитан на оценку производительности при выполнении реалистичных сценариев, встречающихся в существующих web-проектах и JavaScript-библиотеках, с которыми пользователи сталкиваются каждый день.Новый выпуск примечателен добавлением средств не оценки отзывчивости, в дополнение к измерению общего времени выполнения тестового задания. В JavaScript-движках возникновение задержек является не менее важным фактором, чем общая производительность. Проблемы с отзывчивостью, как правило, возникают в современных JavaScript-движках как следствие JIT-компиляции JavaScript в машинные инструкции и работы сборщика мусора, освобождающего неиспользуемые области памяти. Обе вышеотмеченные задачи требуют значительных вычислительных ресурсов и могут выполняться настолько долго, что это становится заметно пользователю в форме подвисаний и скачков в процессе работы с web-приложениями. Для измерения отзывчивости в состав Octane 2.0 добавлены два новых теста: Mandreel и Splay, оценивающих возникновение пауз при выполнении.
В новом выпуске также добавлены дополнительные тесты для оценки работы новых типов высокопроизводительных web-приложений, использующих такие технологии как asm.js (http://www.opennet.me/opennews/art.shtml?num=36468) и Typescript (http://www.opennet.me/opennews/art.shtml?num=34981). В частности, в состав включен тест на основе JavaScript-компилятора Typescript и тест на основе библиотеки zlib, преобразованной в JavaScript при помощи Emscripten (http://www.opennet.me/opennews/art.shtml?num=31155).
Кроме базовых тестов V8 Benchmark и вышеотмеченных новых проверок, в состав Octane входят следующие тесты:
- Box2DWeb - тест на основе порта одноимённого популярного физического 2D-движка (http://code.google.com/p/box2dweb/), используемого во многих web-играх и симуляторах;
- Mandreel - тест на основе порта 3D-движка Bullet, изначально написанного на C++, но преобразованного в JavaScript c использованием компилятора Mandreel (http://www.mandreel.com/), который часто используется производителями web-игр;
- Pdf.js - тест скорости декодирования PDF на основе кода развиваемого проектом Mozilla просмотрщика PDF (http://mozilla.github.com/pdf.js/), написанного на языке JavaScript;
- GB Emulator - тест на основе проекта GameBoy-Online (https://github.com/grantgalitz/GameBoy-Online), в рамках которого развивается эмулятор игровой платформы GameBoy, написанный на JavaScript;
- CodeLoad - тест, измеряющий скорость инициализации популярных JavaScript-библиотек (Closure, jQuery) и выполнение типового кода на базе данных библиотек.
URL: http://blog.chromium.org/2013/11/announcing-octane-20.html
Новость: http://www.opennet.me/opennews/art.shtml?num=38367
С одной стороны, наверняка ангажирован в пользу В8 и хрома, но с другой стороны, необходим инструмент для качественного соотнесения результатов работы с конкурентами.Интересно, кто победил внутри гугла - маркетологи или инженеры.
Ерунда какая-то. Наоборот, им нужны тесты, которые давали бы им новые *полезные* метрики, чтоб себе же найти правильную работу. За использование синтетических тестов раскритикуют и вообще уволят, код ведь весь открыт.
Это в Валиноре. В коммерческих компаниях смотрят на прибыль, а не на улучшения.
Octane Score: 1709
ff 19032
chrome 28945
тачку обновить бы вам
Подозрительно велика разница в попугаях между konqueror и chromium. Прям тысяч на 15. Если верить...
Ты б сразу с разбивкой по тестам результаты показывал. Там небось дикие провалы на том же asm.js и typescript.
gentoo, firefox-25.0-r1
Три запуска подряд:
Octane Score: 12076, 11467, 10944
Я смотрю файрфокс за все эти годы и не научился память не фрагментировать.
Хотя устаревшая монолитная архитектура и не подразумевает этого.
Что не мешает мозиле в каждом релизе трубить о новых чудодейственных костылях, которы ну вот теперь то решат все проблемы с памятью.
Ubuntu 13.10, Firefox 25.0, 5 последовательных запусков: 5629, 5840, 6093, 5867, 5778
И ещё 3 последовательных запуска Chromium 30.0: 7938, 7888, 7384
Windows 7, Fx 25.0: 15836, 14651, 13730, 14507, 14688
Windows 7, Chrome 30.0: 20187, 18810, 19965
Да, действительно, всё дело в управлении памятью в фоксе. В чём же ещё?В 25м выпуске, кстати, что-то не припомню ни слова про оптимизацию работы с ней. Да и в 24м, вроде, ни слова не было. У вас галлюцинации?
Octane Score: 15323
Firefox 25.0
arch - chrome - 23421
gentoo - ie - over 9000
по делу он показывает совершенно непонятно на чем основанные значения(нагрузка на проц и что то еще (мб звезды) сильно влияют на результаты теста аж в 3 раза)
zlib -- один из самых интересных тестов
Firefox 22 из Fedora 17 на нём у меня тупо свалился в корку три раза из четырёх.
Вот смеху то.
Местная аудитория не понимает, перед каждым замером нужно приводить систему в детерминированное состояние. Читай, хотя бы перезагружать.
Гуляй на оверклокерс, Вася.
> Местная аудитория не понимает, перед каждым замером нужно приводить систему в детерминированное
> состояние. Читай, хотя бы перезагружать.Вы перед открытием каждого сайта тоже систему перезагружаете ?
Если система повышенной детерминированности, то она сама перегружается ;)
Там внизу после окончания теста написано, что достаточно перезапуска браузера:
>>... We suggest to restart the browser before repeating the test.
смеху-то, ёптa
Win7 32b, CPU Q8400 2.66Ghz Opera 12.16 - Octane: 3954
Ubuntu 13.04 64b, CPU AMD C-50 1GHz Chromium 30 - Octane: 2805