|
Померяемся попугаями: Обзор тестов графической производительности
Представь, что ты забил стрелку с товарищем на тему: у кого видеокарта круче :). Способов доказать свое превосходство много, но если удержаться от применения физической силы, то остается только объективное измерение производительности с помощью специальных тестов. Вопрос только в том, какие тесты выбрать, и какие из них объективные...
Законы рынка
Кому в первую очередь нужны такие программы? Пользователям, которые хотят знать, насколько крутая у них система? Нет! Журналистам, чтобы тестировать карты и выдавать тебе готовые результаты? Нет! Они нужны самим производителям. Ведь нужно как-то показывать, что твой продукт лучше, чем у конкурента. Ты читаешь тесты перед покупкой, смотришь графики, считаешь баллы? Я думаю да. Причем, готов спорить, ты не вникаешь принципы самого тестирования. Пиарщикам нужен осязаемый численный параметр, и не важно, что он не будет отражать реальное положение дел.
Главное – результат! И даже если эталонной шкалы не существует, ее всегда можно искусственно создать. Такой шкалой долгое время был тестовый пакет 3DMark от компании Futuremark, однако... Однако в июне 2003 года NVidia неожиданно выходит из состава бета-тестеров 3DMark2003, мотивируя непомерной ценой, заломленной Futuremark за участие в тестировании (а она и вправду немаленькая, $300000 в год), а также оторванностью синтетических тестов 3DMark2003 от реальных приложений и игр, ошибками и громоздкостью его кода, etc. NVidia и Futuremark покидались взаимными обвинениями, и вроде все затихло... Но выходит GeForce FX 5900, который показывает, прямо скажем, не выдающиеся результаты в тестах 3DMark2003. Но тут выходят драйвера версии 44.03 и 43.51, и производительность резко повышается... Вскоре обнаружилось, что это результат искусственных "заточек" драйвера под 3DMark. Естественно, NVidia отрицала все обвинения и говорила, что это просто оптимизация кода, однако начало скандалу было положено.
В чем суть оптимизации кода? Это когда мы упрощаем код какой-то операции, убираем лишние операторы, находим более рациональные решения. Но в данном случае происходит не оптимизация, а намеренное упрощение кода с повышением производительности взамен качеству. Это как если бы тебе нужно построить дом, а ты сделал только стены: если никто не войдет внутрь - никто и не заметит. Futuremark выпустила патч, производительность упала, NVidia извинилась, все довольны? Ага, как бы не так. Выходят детонаторы версии 44.65, и производительность опять странно повышается...
Сомнений уже не было, NVidia опять сделала "заточки". А тут еще масла в огонь подлила ATi, которая призналась, что в драйверах Catalyst тоже есть "заточки" под 3DMark, но они их, конечно же, уже убрали :). Журналисты из различных железных изданий начали копать дальше, и обнаружилось, что оптимизация есть и под 3DMark2001, и под все популярные игры, которые используются как бенчмарки (Quake3, UT2003...). Ну вот, собственно, и все - на репутации 3DMark, как объективного теста можно ставить крест. Программисты из Futuremark и NVidia с ATi могут еще долго перекидываться патчами и обновленными драйверами - нас уже это особо не интересует. Прессу поставили в абсолютно идиотское положение, когда тестерам приходится перечеркивать результаты долгой работы и идти на большие ухищрения, чтобы все же получить более или менее объективные тесты. Кто-то стал разрабатывать собственные программные продукты, кто-то начал обращать внимание на малоизвестные тесты, в надежде, что до оптимизации под них руки у производителей все же не дойдут.
Большая часть тестовых лабораторий просто начала производить тестирование в десятке современных игр, благо сейчас игр с хорошей графикой в достатке (чего стоит один убийственно красивый и очень требовательный к ресурсам FarCry). Многие также записывают свои демки, чтобы в них вошли нужные сцены (все-таки в играх сложно добиться сцены с применением какого-то конкретного эффекта для измерения), а также чтобы опять-таки исключить оптимизацию - она существует под стандартные демки многих популярных игр! Но обычному пользователю такая методика не подходит, нужно все же что-то проще. Мы рассмотрим четыре теста: AquaMark, D3D RightMark и... 3DMark2001, 2003. Почему я все же решил включить их в обзор, если их результаты необъективны? Ну, во-первых, их все же можно использовать, если мы тестируем карты на чипах одного производителях, или, например, измеряем эффективность разгона. Во-вторых, может быть ситуация все же изменится, и 3DMark вернет себе репутацию самого авторитетного теста (хотя верится в это с трудом).
AquaMark 3
Если помнишь, где-то год назад вышла очень красивая игрушка под названием Aquanox2 - Revelation. Это была полностью DirectX 9 игра, основанная на движке Krass 3D Engine (www.massive.de/english/technology_eng.html). Видимо, производители игры - компания Massive Development - подумали однажды: «Если у нас есть игра с отличной графикой, а на рынке ничего похожего еще нет, то почему бы не выпустить на ее основе бенчмарк?» Сказано - сделано. AquaMark - это не просто игра, урезанная до демки-бенчмарка, это удобный и функциональный продукт, к тому же основанный на самой последней версии Krass 3D Engine с сильно усложненной графикой, по сравнению с оригинальной игрой. Кроме того, производители не устают повторять, что это "реальный игровой тест", в отличие от синтетического теста 3DMark. Правда, нельзя сказать, что AquaMark - это чистый DirectX 9-тест. Производитель подчеркивает, что реальный игровой движок должен поддерживать и старые видеокарты. Кроме того, вовсе не обязательно использовать везде DirectX 9-код. Многие вещи гораздо быстрее работают, если использовать инструкции из восьмой версии, а то и из седьмой. Например, пиксельных шейдеров версии 1.1 в большинстве случаев вполне достаточно, и не нужно заменять их на версию 2.0, с который к тому же многие карты работают очень проблематично. А еще AquaMark поддерживает Hyper-Threading :).
Базовая версия AquaMark бесплатна, однако в ней нет многих удобных инструментов. Кому нужно больше - есть еще аж четыре варианта лицензирования, правда для прессы подходит только самый дорогой, ну да ничего :). Итак, в AquaMark существует стандартный тест AquaMark3 TRISCORE, который прогоняет все сценарии в самом высоком качестве. А сценарии у нас такие: dynamic occlusion culling (динамическое отсечение скрытых поверхностей), high particle count (высокое число частиц), masked environment mapping (наложение карт окружения), large scale vegetation rendering (масштабный рендеринг растительности), large scale terrain rendering (масштабный рендеринг ландшафта), vertex and pixel lighting (вершинное и пиксельное освещение), 3D volumetric fog (объемный туман), complex multimaterial shader (сложные многоматериальные шейдеры), massive overdraw (масштабная перерисовка). В каждом сценарии считается fps, и в итоге выводятся три величины: производительность всей системы, производительность графической подсистемы и производительность процессора (отсюда и название теста - TRISCORE). Кроме того, можно запустить тест с собственными параметрами через Advanced Measurement и Custom Measurement. Ну и можно просто запустить демку с музыкой и устроить пати :).
А еще в AquaMark есть специальные тесты: AquaMark3 OVIST (Overdraw Visualization Technique), техника визуализации перерисовки, запоняет картинку цветами от голубого к красному в зависимости от числа процедур записи на пиксель; AquaMark3 SVIST (Shader Visualization Technique), техника визуализации шейдеров, также заполняет картинку цветами в зависимости от использования пиксельных шейдеров и их версии; AquaMark3 PIXPM (Pixel Performance Measurement), измерение пиксельной производительности, замеряет среднее число отрисовываемых пикселей в секунду. Эти тесты полезны для анализа драйверов и выявления оптимизации. Жаль нельзя сделать такие в каждом приложении. Для удобства существует система автоматического снятия скриншотов, макросы для анализа результатов в Excel и возможность публикации результатов в сети. В целом - приятный и красивый тест, хотя и не лишенный некоторых недостатков.
Aquamark можно использовать в любых тестах, однако то, что это не синтетический тест, накладывает некоторые ограничения. Результат показывает производительность в не слишком широком аспекте. Кроме того, у некоторых версий драйверов NVidia имеются проблемы с изображением в этом тесте, получаемые результаты некорректны.
D3D RightMark
Этот тест написали наши коллеги с www.ixbt.com, видимо устав от скандалов с 3DMark :). Пока что проект находится в состоянии публичной беты, однако совершенствуется и уже активно используется в тестах. Открытые исходные коды и относительно небольшой размер дистрибутива только способствуют этому. Хотя, конечно, после графического великолепия AquaMark минимализм RightMark вызывает некоторый шок :). Итак, в наличии у нас пять тестов: Pixel Filling (закраска и выборка текстур), Geometry Processing Speed (геометрическая производительность), Pixel Shading (пиксельные шейдеры второй версии), Hidden Surface Removal (удаление невидимых поверхностей) и Point Sprites (вывод точечных спрайтов). В каждом тесте есть несколько подтестов и возможность гибкой настройки. Чтобы не цитировать руководство к тестам, опишу лишь кратко, зачем каждый нужен. Pixel Filling позволяет измерять производительность и качество различных режимов фильтрации текстур, эффективность работы с текстурами.
Geometry Processing Speed позволяет измерять скорость обработки геометрии в различных режимах, при различной трансформации и освещении. Hidden Surface Removal позволяет оценить эффективность приемов, предназначенных для удаления невидимых поверхностей. Pixel Shading позволяет оценить производительность пиксельных шейдеров второй версии, которые требуют специальной методики тестирования, в отличие от предыдущих версий. Point Sprites измеряет производительность вывода точечных спрайтов, предназначенных для создания частиц. Несмотря на статус беты, особых глюков замечено не было, тест работает стабильно и быстро. Для профессионалов вполне подойдет, но не для пользователей - не слишком дружелюбный интерфейс, отсутствует подробная документация. Также стоит сделать тест красивей. А то не слишком-то приятно купить дорогую карту и смотреть на убогую модель горящего человека.
D3D RightMark можно использовать в любых тестах как основной инструмент, несмотря на статус бета-версии. Однако для получения корректных результатов требуется правильная настройка, которую не всегда можно сделать из-за отсутствия хорошей документации в комплекте.
3DMark 2001 SE
Ты спросишь, зачем я рассматриваю старую версию этого бенчмарка, если уже год как есть 3DMark2003? Дело в том, что не так уж много в нашей стране владельцев видеокарт с полной поддержкой DirectX 9, к сожалению. Да и не так уж много приложений, заточенных под него. Да, во второй половине этого года их количество будет расти, и расти сильно (если, конечно, сроки выхода Half-Life 2 опять не отложат :)), но пока что тесты DirectX 8 очень неплохо отражают текущую ситуацию. То, что два года назад было самым шиком, сейчас есть у всех. Не сомневайся, и 3DMark2001 может нагрузить твою систему по самое не балуйся :). Имеются 12 тестов по 4 разделам. Игровые тесты: Car Chase (реальная физика, множество объектов, динамическое освещение, вершинные шейдеры), Dragothic (глобальное освещение, динамические тени, морфинг, вершинные шейдеры), Lobby (реальная физика, динамические тени, большое использование вершинных шейдеров), Nature (самый тяжелый тест, морфинг, вершинные и пиксельные шейдеры).
Теоретические тесты: Fill Rate (скорость наложения текстур), High Polygon Count (полигональная производительность), Bump Mapping (Environment Mapped и Dot Product 3, производительность в двух видах Bump Mapping). Тесты DirectX 8: Vertex Shader (производительность при использовании вершинных шейдеров), Pixel Shader (производительность при использовании пиксельных шейдеров версии 1.0 и 1.4), Point Sprites (производительность при просчете систем частиц). И особняком стоит Image Quality, сравнивающий качество картинки из четырех игровых тестов. Кроме того есть красивый Demo Mode, возможность пакетного запуска тестов и анализатор результатов. Популярность у этого теста была фантастическая, так что если ты никогда его не видел, то еще не поздно поставить и запустить :).
3DMark 2001 SE можно ограниченно использовать в тестах видеокарт на чипах одного производителя для измерения производительности в DirectX8-приложениях. Также можно использовать для определения эффективности разгона.
3DMark 2003
Как этот пакет ждали... В первое трое суток было скачано 1.5 миллиона копий этого теста! Что же увидели счастливцы, которым не лень было качать 178 мегов? Всего у нас имеется 14 тестов. Из них три теста звука, нас не интересуют и мы их отбрасываем. Два - тесты процессора (модифицированные игровые тесты, в которых все вычисления возлагаются на CPU). Остается четыре игровых теста и пять тестов возможностей DirectX 9. Игровые тесты: Wings of Fury - ничего нового, фактически DirectX 7-тест. Вершинные шейдеры версии 1.1, мультитекстурирование, точечные спрайты. Battle of Proxycon - DirectX 8-тест. Вершинные шейдеры 1.1, пиксельные шейдеры 1.4, динамические тени, Normal Mapping, Depth Of Field, Bloom; Trolls' Lair - DirectX 8-тест. Вершинные шейдеры 1.1, пиксельные шейдеры 1.4, динамические тени, Anisotropic Lighting, Depth Of Field; Mother Nature - DirectX 9-тест, очень красиво. Пиксельные и вершинные шейдеры версий 1.1, 1.4, 2.0.
Тесты DirectX 9 принципиально не отличаются от своих предшественников (опять Fill Rate, Vertex Shader, Pixel Shader), только тут используются шейдеры версии 2.0. Новый из них - тест Ragtroll - сильно нагружает и процессор, и видеокарту, позволяя оценить все прелести хардварной обработки шейдеров. Кроме того, есть еще два дополнительных инструмента: уже знакомый Image Quality и Texture Filtering, который позволяет оценить качество различных режимов фильтрации текстур. А вот фирменная демка в этой версии просто никакая. Ни тебе драйвовой музыки, ни тебе оригинальных кадров, даже запускать не стоит. Естественно, имеется снятие скриншотов, запуск из командной строки, сохранение результатов в разные форматы и отсылка результатов в сеть. Итого - достойное продолжение линейки, уже никому не нужное из-за скандалов... Если у тебя есть топовая видеокарта, обязательно посмотри игровой тест Mother Nature :).
3DMark 2003 можно ограниченно использовать в тестах видеокарт на чипах одного производителя для измерения производительности в DirectX9-приложениях. Также можно использовать для определения эффективности разгона.
Выводы
Вот такая непростая ситуация с тестовыми программами для видеокарт сложилась сейчас. Есть еще, конечно, тесты для профессиональных карт, но нужды обычного пользователя они, мягко говоря, не отражают. 3DMark слишком сильно испортил себе репутацию, AquaMark несет достаточно сильный развлекательный налет, да и не сможет использоваться так же долго, как предыдущие версии 3DMark. D3D RightMark хорош, но обычного пользователя он, скорее всего, отпугнет. Будем ждать. Может быть появится новый игрок на этом рынке, который при поддержке прессы сможет сделать объективный и качественный тестовый продукт и сможет избежать влияния вендоров. А пока не расстраивайся и поставь себе то, что кажется более красивым. Пусть это останется головной болью для железной прессы!
Что такое синтетический тест?
Синтетический тест измеряет производительность отдельных подсистем видеокарты, что позволяет более точно оценить производительность. В реальной же игре все будет использоваться скопом, что позволяет оценить производительность только в конкретной ситуации. Кроме того, в синтетических тестах имеется значительный запас сложности. Так тест Nature из 3DMark2003 до сих пор тормозит в хорошем качестве даже на очень мощных видеокартах.
| КОММЕНТАРИИ: |
|
|
|
|
Keywords: zPOSTz zARTICLEz, zSOFTz z13925z
Для Авторов: edit  delete
Автор: Карен Казарьян
Дата: 16.04.2004 15:15:17©
|