Как проводится слепой ABX тест

Дата обновления: 25 Декабря 2015
Организация корректного слепого ABX теста с помощью foobar2000 ABX Comparator.
2015-12-25T14:56
Audiophile's Software
Copyright $copy; 2017, Taras Kovrijenko

Полное или частичное копирование текста допускается только с письменного разрешения автора.

1. Введение

В области аудио ABX тестом обычно называют метод определения слышимости различий между двумя звуковыми фрагментами. Метод наиболее эффективен для определения потенциальных различий, находящихся вблизи порога слышимости. Главным преимуществом теста является то, что слушатель не знает, какой именно фрагмент (из двух) воспроизводится в данный момент — таким образом полностью исключается т. н. «эффект пустышки». Другой важный момент — возможность выполнения нескольких проходов тестирования (точнее, многократное повторное тестирование), что значительно уменьшает влияние фактора случайности.

Происходит тест следующим образом: тестер присваивает кнопке A один фрагмент, кнопке B — второй, после чего программа случайным образом присваивает кнопке X любой из них (тестеру неизвестно, какой именно). Далее, посредством нажатий на кнопки, тестер может в любой последовательности неограниченно слушать A, B и X, после чего должен определить чему соответствует X: А или B. Затем тест повторяется.

По мере выполнения каждого прохода программа подсчитывает вероятность заблуждения тестера, т. е. вероятность того, что он не слышит разницу. Например, если тестер правильно ответил при первом проходе, вероятность будет 50%, если и второй проход даст такой же результат — 25%, и т. д.

Положительным (тестер действительно слышит различия) результат считается после как минимум 11-ти правильных ответов в 12-ти проходах. Причем рекомендуемое количество проходов — именно 12, т. к. при меньшем количестве влияние случайности всё еще недостаточно мало, а слишком большое количество проходов приводит к утомлению тестера.

2. Подготовка к тесту

Теперь посмотрим, как это можно реализовать на практике. Существует множество типов ABX теста — с двумя неизвестными X и Y, с одним заведомо известным C, и т. д., здесь я опишу наиболее корректный на мой взгляд способ, с использованием плеера foobar2000

В качестве примера приведено тестирования кодека LAME MP3. Для теста понадобится foobar2000 со стандартным набором плагинов, плюс плагин ABX Comparator, а также, возможно, альтернативный плагин вывода (WASAPI Exclusive, ASIO). Найти всё это можно на странице foobar2000. Преимуществами foobar2000 является то, что он содержит в себе декодеры всех популярных форматов аудио, необходимые обработчики, а также настраиваемый вывод звука.

Предварительно следует разобраться с настройками плеера. В настройках плеера на вкладке DSP должны быть все необходимые для качественного вывода плагины (подробно о настройке вывода можно почитать в статье Организация качественного вывода звука на компьютере — настройка foobar2000 и не только). На вкладке Playback должна быть включена ReplayGain обработка:

Playback Settings

ReplayGain необходим для выравнивания воспринимаемой громкости двух треков, т. к. конвертирование (особенно с низким битрейтом) часто приводит к существенному изменению громкости.

Теперь — что касается материала для тестирования. Необходимо выбрать трек, на котором мы хотели бы протестировать кодек. Трек желательно выбирать с широким частотным диапазоном и достаточно высоким уровнем ВЧ, так как при кодировании практически все кодеки первым делом ограничивают частотный диапазон, и это является одним из главных факторов, влияющих на звучание результирующего аудио. Трек, конечно же, должен быть в хорошем качестве, настоятельно рекомендуется именно lossless.

Итак, теперь задача стоит в выборе параметров и, собственно, в самом конвертировании. Чтобы не повторяться, приведу ссылку на описание настройки конвертера и LAME.

Для наглядности были выбраны следующие параметры:

-S -b 128 --noreplaygain — %d

С подобными параметрами сегодня конвертируется большое количество музыкального «ширпотреба» (пользователями, которых не сильно заботит чистота звука), качество полученного аудио условно считается соответствующим качеству аудио на Audio CD. На самом деле это конечно далеко не всегда так, в чем мы скоро сможем убедиться.

Теперь необходимо, чтобы оба трека (исходный и закодированный) имели ReplayGain теги. Проверить это можно, нажав в foobar2000 правой кнопкой на треке и перейдя в Properties, на вторую вкладку. Там должна быть графа ReplayGain, а в ней обязательно должны быть значения Track Gain и Track Peak. Если в каком-то из треков не записаны ReplayGain теги, нажмите на нем правой кнопкой, выберите ReplayGain->Scan Per-File Track Gain и по окончании сканирования нажмите кнопку Update File Tags.

ReplayGain Scanner

3. Запуск теста

Теперь у нас есть исходный трек в lossless и, полученный из него посредством конвертирования, трек в формате MP3 с постоянным битрейтом 128 кбит/с.

Context Menu

Добавляем оба трека в плейлист foobar2000, выделяем их, жмем правой кнопкой мыши и выбираем Utilities-->ABX Two Tracks....

ABX setup

В появившемся окне должна стоять галка Use DSP (current playback settings) (если у вас в настройках включен хоть один DSP), и Use ReplayGain / simple track gain. Также здесь есть опция режима тренировки — его можно выбрать, чтобы попробовать свои силы и познакомиться с процедурой тестирования, что мы и сделаем. Также внизу есть опция включения кроссфейдинга (доступна толкьо при совпадении частот дискретизации файлов) — в случае её включения переключение между X и Y будет сглаженным (без запинки), однако включать её для достоверности не рекомендуется.

Жмём OK и ждём, пока треки декодируются, обрабатываются и помещаются во временную папку. Появится окно плагина.

4. Прослушивание

ABX comparator

Кнопке A соответствует первый трек, кнопке B — второй. Кнопки X и Y отвечают также за файлы A и B, но соответствие неизвестно и может меняться с каждым следующим проходом (trial). С помощью кнопок Play A/B/X/Y Вы можете запускать воспроизведение и, не прерывая его, (если стоит галка Keep playback position when changing track) переключаться между семплами. После прослушивания (в любом порядке и неограниченное количество раз) Вы должны определить соответствие: например, что X — это A, а Y — B; делается это нажатием соотв. кнопки. Чтобы подтвердить выбор, нажмите кнопку Next trial, при этом трек (или его фрагмент, см. далее) будет проигрываться с начала.

По окончании каждого прохода в режиме тренировки можно видеть свой текущий результат: пункт Score отображает количество правильных ответов и выполненных проходов; параллельно с каждым проходом рассчитывается вероятность заблуждения (pval). В режиме теста эта информация недоступна.

С помощью ползунка Position можно прокручивать тестовый трек и выбирать только определенный его фрагмент, указав его начало и конец с помощью кнопок Set start и Set end (задать точную позицию можно по кнопке ...), кнопка Reset, находящаяся справа внизу, сбрасывает выбор фрагмента, после чего проигрываться будет весь трек.

Когда вы ознакомились с принципом работы плагина и потренировались в прохождении теста, можете нажимать клавишу Begin test, после чего вам надо будет выбрать желаемое количество проходов.

5. Анализ и сохранение результатов.

После выполнения всех проходов отобразится окно с результатами, виде лога:

ABX results

Здесь подробно отражены все данные: информация о ПО, настройках, файлах, время начала теста и каждого прохода, результат для каждого прохода, а также итоговые результаты. А главное — здесь присутствует цифровая подпись, благодаря которой такой сохраненный отчёт можно проверить на специальной странице. Таковые меры практически полностью исключают возможность подделать результаты (по крайней мере, для рядового пользователя).

Итак, вы прошли выбранное число проходов. Скорей всего для вас не составило большого труда дать достаточное количество правильных ответов (если это не так, у вас либо очень плохое оборудование, либо плохой слух, или был выбран совершенно неподходящий трек, который очень плохо выявляет артефакты компрессии). Теперь можете с уверенностью сказать что слышите разницу между оригиналом и MP3 LAME 128 kbps, и более того — подтвердить это отчетом.

Также следует сказать, что если вы будете публиковать свои результаты, желательно дополнительно указывать подробную информацию об аудиоматериале для теста, а лучше приложить сами файлы, использованные в тесте. Обязательно также указывать версию кодека и параметры кодирования, например: LAME 3.99.5, --silent -b 128 --noreplaygain — %d. Кроме того, можно указать звуковое оборудование, на котором выполнялось тестирование — звуковую карту, наушники/усилитель/акустику, etc.

Полезные ссылки

Форум: результаты слепых тестов (ABX)
Что такое «эффект пустышки»?
Двойной слепой («Домашний компьютер» №6 от 5 июня 2007 года)
ABX — Hydrogenaudio Knowledgebase

Информация от спонсора

«Анатомия Сна»: всё для здорового и полноценного сна.На сайте компании Вы может ознакомиться с ассортиментом товаров, приобрести кровати, спальные принадлежности и наматрасники в СПБ, а также много другое. В наличии имеются товары как для взрослых, так и для детей.

 
   
Категория: Авторские статьи | Автор: | Добавил: Audiophile
Просмотров: 81641 | Теги: ABX| Рейтинг: 5.0/5, голосов: 2
Комментариев: 4
Добавлять комментарии могут только зарегистрированные пользователи. [ Регистрация | Вход ]
0   Спам
[4] notiunion (10 Марта 2012 20:18)
notiunion
Науки ради и я созрел. Проверял на блюзе McClain, Mighty Sam - 1993 - Give It Up To Love, трек: Too Proud, кодек: LAME3.99r, параметры: VBR V5, 131 kbps, RG включен, исходник в аккурат рипе. Далось не легко, почти сразу стало ясно, что быстро завершить тест не получится. Если кратко, то четкой уверенности в ответах не было, старался ориентироваться на ВЧ и прозрачность, ибо на них хоть что-то можно было заметить имха. Итог меня удивил: 17 верных ответов из 20. Повторять тест на лосси с бОльшим битрейтом уже не вижу смысла, по крайней мере с этим же материалом: на блюзе это оказалось тяжело.

Creative X-Fi Titanium HD + Audio-Technica ATH-A900X.
0   Спам
[3] Dobrinya (01 Февраля 2012 17:57)
Можете посоветовать трек?
0   Спам
[2] Gabriel (26 Октября 2011 02:54)
Gabriel
Со статьёй по слепому ABX тесту согласен. Были подобные опыты годами раньше. В принципе некий интерес в области теорий, нежели практики… Вот еще на что обратил внимание: В Windows 7 в монопольном режиме при установке опорного показателя для звуковой карты, если предоставить приоритет приложениям то, можно ли интересно, выбрать один показатель для звуковой карты (скажем 96 Hz), а в foobar’е другую (нап. 48 Hz для SoX ресемплера)?.. По идеи это не помеха, если все таки имеется ввиду приоритет на приложения, ведь так?.. При этом по умолчанию и устройства тоже используют монопольный режим, что соответствует первому пункту… как вы думаете?
+1   Спам
[1] Maverick412 (30 Сентября 2011 23:24)
Maverick412
Только провел тест описанный автором статьи. Ну разницу между mp3 кбр 128 и Lossless очевидна будет даже глухому. Угадал на 100% Интересно будет посмотреть на более интересное качество в районе 256 кбр.
Автор спасибо за материал. Все отлично оформлено, информация подана отлично.
Еще вопрос - можно громкость воспроизведения регулировать? или сам тест так устроин что по умолчанию громкость устанавливается и не меняется?
Ответ: громкость можно регулировать общую.