Сравнение задержки при отслеживании рук в Vision Pro и Quest 3
В то время как гарнитура Vision Pro ориентирована исключительно на трекинг рук, Quest 3 в первую очередь использует контроллеры, но при этом поддерживает трекинг рук в качестве альтернативы для некоторых видов контента. Но какая из этих платформ лучше? Возможно, ответ вас удивит.
Латентность отслеживания движения рук в Vision Pro
Поскольку контроллеры движения не поддерживаются, единственным способом ввода в Vision Pro, основанным на движении, является трекинг рук. Ядро системы ввода объединяет руки и глаза для управления всем интерфейсом.
Сравнение задержки при отслеживании рук в Vision Pro и Quest 3.
Перед началом продаж гарнитуры в сети было размещено несколько видеороликов, позволяющих оценить задержку отслеживания движения рук в пределах 100-200 мс, но это довольно большое значение. Проведя собственное тестирование, мы выяснили, что на бета-версии visionOS v1.1.1 задержка отслеживания движения рук Vision Pro составляет около 128 мс.
Вот как мы его измеряли. Используя захват экрана с гарнитуры, на котором видна как простая, так и виртуальная рука, мы можем увидеть, сколько кадров проходит между движением руки и движением виртуальной руки. Для рендеринга руки мы использовали разработанную Apple функцию Persona, чтобы исключить любые дополнительные задержки, которые может создавать Unity.
Используя захват экрана с гарнитуры, на котором видна как простая, так и виртуальная рука, мы можем увидеть, сколько кадров проходит между движением руки и движением виртуальной руки.
Проведя несколько тестов, выяснилось, что эта задержка составляет около 3,5 кадра. При скорости захвата 30 кадров в секунду это составляет 116,7 мс. Затем мы добавляем к этому известную для Vision Pro задержку передачи изображения, составляющую около 11 мс, и получаем в итоге 127,7 мс задержки между передачей фотонов и трекингом руки.
Мы также проверили, сколько времени проходит между касанием и виртуальным вводом (чтобы проверить, не медленнее ли полное отслеживание руки по внешнему виду по сравнению с простым обнаружением касания), но не обнаружили какой-либо существенной разницы. Кроме того, мы провели тестирование в разных условиях освещения и также не обнаружили существенной разницы.
Задержка отслеживания движения рук в Quest 3
Как обстоят дела с Quest 3, гарнитурой, которая управляется не только руками? Используя аналогичный тест, мы обнаружили, что задержка при отслеживании рук в Quest 3 составляет около 70 мс на Quest OS v63. Это существенное отличие от Vision Pro, но при реальном использовании гарнитуры возникает мысль, что Quest 3 имеет еще меньшую задержку при отслеживании рук. Но выяснилось, что некоторые из предполагаемых запаздываний замаскированы.
Вот как мы это выяснили. Используя захват через объектив с частотой 240 Гц, мы провели такой же тест на движение, как и в случае с Vision Pro, чтобы выяснить, сколько времени проходит между движением руки, которую показывают через объектив, и виртуальной руки. Получилось 31,3 мс. В сочетании с известной задержкой передачи данных в Quest 3, составляющей около 39 мс, это означает, что задержка между фотонами и отслеживанием руки в Quest 3 составляет около 70,3 мс.
При использовании Quest 3 отслеживание рук кажется даже более быстрым, чем можно предположить, так в чем же дело?
Поскольку задержка передачи данных в Quest 3 примерно в три с половиной раза меньше, чем в Vision Pro (11 мс против 39 мс), время между тем, как вы видите движение руки, и движением виртуальной руки составляет всего 31,3 мс (по сравнению с 116,7 мс в Vision Pro).
Задержка и точность отслеживания движения руки
Важный момент: задержка и точность отслеживания движения руки — это две разные вещи. Во многих случаях они могут иметь даже обратную зависимость. Если вы оптимизируете алгоритм отслеживания рук для скорости, вы можете отказаться от некоторой точности. А если оптимизировать его для точности, то можно отказаться от скорости. На данный момент у нас нет точных данных о точности отслеживания рук для обеих гарнитур, кроме интуитивного ощущения.