Открытый слуховой тест кодеков на 96 кбит/с (июль 2014)

Целью является тестирование AAC, Opus и Vorbis на ~96 кбит/с относительно MP3 ~128 кбит/с и выяснить, какой из кодеков даёт лучшее качество.

• Какие кодеки тестируются?

  • AAC iTunes 11.2.2 CoreAudioToolbox 7.9.8.5, с использованием qaac 2.41
    --cvbr 96 (эквивалентно включенному режиму VBR в iTunes)
  • Opus 1.1 из пакета opus-tools-0.1.9-win32
    --bitrate 96
  • Ogg Vorbis aoTuV Beta6.03
    -q2.2
  • MP3 LAME 3.99.5 *результирующий битрейт — около 136 кбит/с.
    -V 5
  • AAC FAAC v1.28 (Mid-low Anchor)
    -b 96
  • AAC FAAC v1.28 (Low Anchor) *результирующий битрейт — около 52 кбит/с.
    -q 30

• Битрейт некоторых семплов очень высок (до 176 кбит/с), нормально ли это?

  Да, и это главное преимущество кодирования с переменным битрейтом — ограничения битрейта игнорируются (насколько это вообще возможно), используется именно столько бит, сколько необходимо для кодирования проблемного семпла.

  Хоть это и вызывает много вопросов о справедливости теста, тем не менее, это лучший способ сравнения современных кодеков, которые главным образом ориентированы на VBR кодирование. Попытки форсировать настройки VBR для получения конкретного битрейта на самом деле далеки от реального положения вещей, когда пользователь просто устанавливает нужное ему качество кодирования, особо не заботясь о битрейте.

  Указанные в начале настройки для кодеков были выбраны потому, что в среднем (учитывается большое количество самого разного музыкального материала) они дают битрейт около 96 кбит/с. Было бы несправедливо связать руки VBR кодекам и наказать их за то, что они такие умные и стараются лишь в среднем соблюдать битрейт.

• Кто может участвовать в тесте?

  Любой, кого интересует качество lossy кодирования, или же те, кто не заинтересован, но хочет помочь сделать этот тест объективнее. Вам не обязательно обладать безупречным слухом, тем не менее хороший слух и оборудование желательны. Наушники в данном случае — необходимость.

• Если я не использую Microsoft Windows, могу ли я поучаствовать в тестировании?

  Любой человек, у которого на компьютере установлена Java 6 или более новая версия, может принять участие в тесте. Выполните команду java -version, чтобы убедиться, что отображается версия java version "1.6.0_30" или более новая.

• Как мне пройти тест?

  Мы предоставляем семплы, а также необходимое ПО для проведения теста в домашних условиях.

  Загрузите один или более пакетов семплов по ссылкам ниже.

  Для участия не обязательно проходить тест на всех семплах. Даже результаты по одному единственному семплу уже будут весьма полезны. Тем не менее, чем больше семплов вы протестируете, тем более точными и значимыми (объективными) будут результаты тестирования вцелом.

  Тестировать больше семплов

  Поменять ссылки на альтернативные

  Распакуйте архивы sampleXX.7z (где XX — номер нужного вам семпла). Для этого вам потребуется архиватор 7-Zip.

  Для запуска ABC/HR может потребоваться установка Sun Java Runtime Environment. Если Java-машина еще не установлена, скачайте её с веб-сайта Java.

  • Пользователи WINDOWS/MAC: дважды кликните на abchr.jar.
  • Пользователи *NIX: запустите java -jar abchr.jar из оболочки.

  Как только ABC/HR откроется, нажмите "Open ABC/HR Config..." и выберите файл configXX.ecf.

  

  Теперь вы готовы к тесту.

  

  Обратите внимание на шесть групп, двенадцать кнопок и шесть кнопок . В каждой из шести групп представлен один из кодеков: AAC, Opus, Ogg Vorbis, MP3, Mid-low anchor, Low anchor. Данные группы перемешаны в случайном порядке, так что вы не можете знать, какая группа какому кодеку соответствует.

  В каждой группе есть две кнопки . Одна из двух кнопок отвечает за кодированный звук, другая — за референсный (оригинальный) звук. Кнопки воспроизводят референсный звук.

  Рекомендуется, прежде всего, среди двенадцати кнопок распознать low anchor. Low anchor должен звучать, будто референсный сигнал через телефонную линию. Его звучание должно быть плохим, то есть в значительной степени искажённым. Присвойте low anchor самую низкую оценку. Для этого опустите ползунок, находящийся непосредственно над кнопкой, отвечающей за найденный вами low anchor.

  Затем продолжайте, пробуя иденифицировать mid-low anchor. Mid anchor звучит ближе к референсному сигналу, однако заметно менее выразительно, размыто, возможно, с искаженной стереопанорамой. Присвойте mid anchor значение в середине шкалы, основываясь на его звучании в целом, по сравнению с оригинальным сигналом.

  

  Теперь задача несколько усложняется. Исследуйте остальные кнопки , идентифицируя оставшиеся четыре обработанных (неоригинальных) сигнала. В тех случаях, когда вы не можете с уверенностью определить, какой из сигналов не является оригиналом, очень полезным будет .

  

  Новичкам желательно начать с и low anchor в качестве Sample B. Ответьте, является X семплом A или B, затем нажмите Next Trial. Если ваш ответ верен, в результатах отобразится . Это значение — вероятность того, что вы отвечаете наугад. Более низкое p-value говорит о том, что вы с меньшей вероятностью проходите тест, выбирая ответ «на удачу», т. е. скорей всего вы отличаете A от B. Попробуйте понизить p-value до или ниже. Теперь вы вполне уверены, что слышите различия между семплами A и B.

  

  Далее переключитесь в . P-value отображаться не будет, однако вы можете ориентироваться на значения Completed number (проходов выполнено) и (необходимое количество правильных ответов). Если вы добьётесь достаточно низкого значения p-value, после нажатия ползунок референсного сигнала будет фиксирован на оценке 5.0, что является рекомендуемым вариантом.

  

  Иногда бывает очень сложно выявить различия между оригиналом и обработанным сигналом. Мы не рекомендуем в данном случае повышать громкость, так как это приводит к усталости слуха. Вместо этого рекомендуется:

  • для начала заняться более лёгкими парами;
  • по возможности обеспечить в помещении тишину. (отключение ненужных в данный момент устройств может в этом помочь);
  • делать между прослушиваниями перерывы;
  • в крайнем случае оставить значение оценки равным 5.0.

  Помните, что существует риск занизить оценку референсного сигнала. В таком случае переданные вами результаты учтены не будут. Вы можете зафиксировать ползунок оригинального сигнала посредством прохождения теста.

  • Если вы оцените low anchor в 5.0, ваши результаты для данного семпла будут недействительны.
  • Если вы оцените mid-low anchor в 5.0, ваши результаты для данного семпла будут недействительны.
  • Если вы оцените low anchor выше, чем mid-low anchor, ваши результаты для данного семпла будут недействительны.
  • Если вы оцените референсный сигнал ниже, чем в 4.5 балла, ваши результаты для данного семпла будут недействительны.
  • Если вы оцените reference ниже, чем 5.0 в 25% (или более) отправленных результатах, все ваши результаты будут расценены как недействительные.
  • Если 25% или более отправленных вами результатов окажутся недействительными, все ваши результаты расцениваются как недействительные.

  

  По завершении теста сохраните результаты как resultXX, выбрав Encrypted Result Files (*.erf).

  

  Отправьте erf файл(ы) на:

  • listening.tests.ha@gmail.com

  Все полученные нами результаты и комментарии будут опубликованы. Если вы хотите закрепить результаты за собой, укажите пожалуйста своё имя (или ник) в поле Show name in results file (для включения установите рядом с полем соответствующую галочку). В противнгом случае ваши результаты будут анонимными.

  Большое спасибо!

• Нет звука / Java выдаёт ошибку

  В некоторых случаях автоматический выбор ABC/HR первичного звукового драйвера может не произойти. В таком случае просто выберите нужное устройство в настройках программы (Options, Settings..., Playback).

  

• Когда тест будет окончен?

  Тестирование заканчивается 30 августа 2014. Тест продлен до 12-го сентября. После указанной даты результаты приниматься не будут. Приём результатов окончен.

Если у вас есть какие-либо вопросы, вы можете связаться с нами по e-mail: listening.tests.ha@gmail.com.

С наилучшими пожеланиями
Kamedo2, Audiophile (aka Steve Forte Rio), IgorC