Аудиоданные в программах: представление отсчётов, каналы, кадры и буферы

Аудиопрограмма получает числа, меняет их и передаёт дальше. В моно (mono)?моно (mono) — Аудиоформат с одним каналом. Кадр несжатых монофонических данных содержит один отсчёт. каждому моменту дискретизации (sampling)?дискретизация (sampling) — Измерение непрерывного сигнала через равные промежутки времени: вместо функции времени сохраняется последовательность отсчётов. соответствует одно число, в стерео (stereo)?стерео (stereo) — Аудиоформат с двумя каналами, обычно левым и правым. Кадр несжатых стереоданных содержит два отсчёта одного момента времени. — два. Если аудиодрайвер передаёт «512 сэмплов», нужно уточнить, считает ли он значения одного канала или все числа вместе. От этого зависят границы массивов, объём памяти и расчёт времени.

Одно число: представление отсчёта

Отсчёт (sample)?отсчёт (sample) — Значение сигнала в один момент дискретизации, одно число. В звукозаписи его также называют сэмплом. — значение одного канала в один момент дискретизации. В памяти его можно хранить целым числом или числом с плавающей точкой. Знак, байты и масштаб перевода в float подробно разобраны в статье о целочисленном PCM. Здесь сосредоточимся на том, как значения объединяют в каналы, кадры и буферы.

Для аудио обычно принимают номинальную полную шкалу (full scale)?полная шкала (full scale) — Опорная граница уровня выбранного аудиоформата или тракта. Для нормированных аудиоотсчётов обычно принята за ±1; числовой формат с плавающей точкой способен хранить значения за этой границей. от −1 до +1. Ноль соответствует нулевому значению сигнала, знак — направлению отклонения, а модуль — его величине. Эти значения безразмерны: без калибровки звуковой карты число 0,5 не задаёт напряжение в вольтах или давление в паскалях. Последовательность нулей даёт цифровую тишину.

Каналы и кадры

Кадр аудиоданных (audio frame)?кадр аудиоданных (audio frame) — Набор из одного отсчёта каждого канала в общий момент дискретизации. В моно кадр содержит одно число, в стерео — два. Определение относится к несжатым аудиоданным. объединяет по одному отсчёту каждого канала, относящихся к одному моменту дискретизации. В моно кадр содержит одно число, в стерео — пару $(L[n], R[n])$ с общим номером $n$. Здесь речь о кадрах несжатых аудиоданных; слово «кадр» в описании аудиокодека может обозначать более длинный фрагмент. Такое определение кадра используется, например, в документации ALSA.

Пусть каналов $C$, а кадров $N$. Тогда общее число отдельных отсчётов $S$ равно формуле (1).

Например, три кадра стерео содержат шесть чисел: $L_0$, $R_0$, $L_1$, $R_1$, $L_2$, $R_2$. Номера кадров начинаются с нуля, поэтому последний номер равен $N-1$.

Частота дискретизации (sample rate)?частота дискретизации (sample rate) — Число отсчётов в каждом канале за одну секунду, то же число кадров аудиоданных в секунду. Измеряется в герцах: 44 100 Гц означает 44 100 отсчётов на канал в секунду. $f_s$ задаёт число отсчётов в каждом канале за секунду, то есть число кадров за секунду. При 48 000 Гц одна секунда моно содержит 48 000 кадров и 48 000 чисел; секунда стерео — те же 48 000 кадров, но 96 000 чисел. Добавление канала увеличивает объём данных, сохраняя временной шаг между кадрами.

Как каналы расположены в памяти

Одни и те же кадры можно хранить с чередованием каналов (interleaved)?чередование каналов (interleaved) — Хранение аудиоданных в одном массиве: подряд идут отсчёты всех каналов одного кадра, затем следующего. Для стерео: L₀, R₀, L₁, R₁.: L₀, R₀, L₁, R₁, L₂, R₂. При раздельном хранении каналов (planar, non-interleaved)?раздельное хранение каналов (planar, non-interleaved) — Хранение каждого аудиоканала в отдельном массиве. Отсчёты с одинаковым индексом в разных массивах образуют один кадр. каждый канал имеет свой массив: левый L₀, L₁, L₂, правый R₀, R₁, R₂. Оба варианта встречаются в аудио API (PortAudio, API Overview). Рисунок 1 показывает их для одного фрагмента.

В чередующемся массиве индекс отсчёта канала $c$ в кадре $n$ равен $nC+c$. Номера каналов начинаются с нуля и заканчиваются на $C-1$. Для стерео с порядком L, R правый отсчёт кадра 2 лежит по индексу $2 \cdot 2+1=5$. При раздельном хранении сначала выбирают массив канала $c$, затем его элемент $n$. Кадр остаётся общей временной позицией, даже если его значения находятся в разных областях памяти.

В JUCE AudioBuffer<float> предоставляет отдельный массив каждого канала: указатель на него получают через getReadPointer() или getWritePointer(). Нельзя считать, что правый канал начинается сразу после левого; буфер может ссылаться на внешние массивы.

Блок и буфер

Блок аудиоданных (audio block)?блок аудиоданных (audio block) — Фрагмент из нескольких последовательных кадров аудиоданных, обрабатываемый за один вызов функции. — фрагмент из нескольких последовательных кадров, который обрабатывают за один вызов функции. Аудиобуфер (audio buffer)?аудиобуфер (audio buffer) — Область памяти для хранения аудиоданных. Может повторно использоваться для очередных блоков; вместимость памяти и длина текущего блока могут различаться. — память, в которой находятся эти данные. Слова часто используют рядом: «получить буфер» обычно означает получить доступ к очередному блоку.

Поток обрабатывается порциями, чтобы за один вызов выполнить работу над многими кадрами. При воспроизведении результат должен быть готов вовремя: если новые данные не поступили к моменту, когда они нужны устройству, возникает опустошение буфера (buffer underrun)?опустошение буфера (buffer underrun) — Ситуация при воспроизведении, когда устройству уже нужны следующие аудиоданные, а программа ещё не подготовила их. Может вызвать щелчок или прерывание звука., которое может слышаться как щелчок или прерывание. Для записи противоположный случай — переполнение буфера (buffer overrun)?переполнение буфера (buffer overrun) — Ситуация при записи, когда новые аудиоданные поступают быстрее, чем программа забирает их из буфера. Приводит к потере данных.: новые данные поступают быстрее, чем программа их забирает (ALSA, Error codes).

Вместимость выделенной памяти и длина текущего блока могут различаться. Если подготовлена память на 512 кадров, а сейчас передано 128, обрабатывают только эти 128. В JUCE getNumSamples() сообщает текущую длину доступного буфера в каждом канале, а не сумму по каналам.

Размер: кадры, время и байты

Под размером буфера (buffer size)?размер буфера (buffer size) — Длина или вместимость аудиобуфера в единицах конкретного API. В настройках аудиодрайвера обычно означает число кадров, то же число отсчётов на канал. Объём в байтах зависит также от числа каналов и формата отсчёта. в настройках аудиодрайвера обычно понимают число кадров $N$, то же число отсчётов на канал. При чтении API нужно проверить его единицы: некоторые функции ждут число байтов или отдельных значений.

Длительность блока $T_\text{block}$ при известной частоте дискретизации получается по формуле (2).

Если каждый отсчёт занимает $b$ байтов, объём самих аудиоданных $M$ вычисляется по формуле (3).

У 32-битного float один отсчёт занимает 4 байта, у 64-битного double — 8. Формула считает только значения отсчётов; объект буфера, указатели и выравнивание памяти могут занимать дополнительное место. Таблица 1 сравнивает одинаковые по времени блоки.

В AudioBuffer частота дискретизации не хранится. Один и тот же буфер на 480 кадров соответствует 10 мс при 48 кГц и 5 мс при 96 кГц. Само изменение числа в переменной частоты не выполняет передискретизацию: для сохранения длительности и высоты звука нужны новые значения отсчётов.

Примеры на C++ и JUCE

Примеры используют JUCE 9.0.3, последний стабильный релиз на 2 октября 2026 года. Они рассчитаны на C++17 или новее в проекте с подключённым модулем juce_audio_basics. Два первых фрагмента размещаются внутри функции, последний определяет отдельную функцию. Для прямых импортов нужен заголовок <juce_audio_basics/juce_audio_basics.h>, для std::size_t — <cstddef>.

Посчитать длину и объём

Создадим стереобуфер и повторим расчёт таблицы 1. Содержимое нового буфера не инициализировано, поэтому перед чтением заполняем его нулями через clear() (JUCE, AudioBuffer). Выделение памяти выполняется при подготовке, вне функции обработки звука в реальном времени.

juce::AudioBuffer<float> buffer (2, 480);
buffer.clear();

const int channels = buffer.getNumChannels(); // 2
const int frames = buffer.getNumSamples();    // 480 на канал
const std::size_t values =
    static_cast<std::size_t> (frames) * channels; // 960
const std::size_t dataBytes = values * sizeof (float); // 3840

const double sampleRate = 48000.0;
const double durationMs = 1000.0 * frames / sampleRate; // 10

Записать три кадра стерео

Первый аргумент setSample() — индекс канала, второй — индекс кадра внутри него. В этом примере канал 0 принят за левый, канал 1 — за правый; сами номера не назначают каналам роли.

juce::AudioBuffer<float> example (2, 3);
example.clear();

example.setSample (0, 0,  0.0f);  // L0
example.setSample (1, 0,  0.25f); // R0
example.setSample (0, 1,  0.5f);  // L1
example.setSample (1, 1,  0.0f);  // R1
example.setSample (0, 2, -0.5f);  // L2
example.setSample (1, 2, -0.25f); // R2

В левом массиве теперь 0.0f, 0.5f, -0.5f, в правом — 0.25f, 0.0f, -0.25f. getNumSamples() вернёт 3. Пара значений с индексом 2 образует последний кадр; индекс 3 уже выходит за границу.

Обработать каждый отсчёт

Функция ниже уменьшает амплитуду всех каналов вдвое. Предполагается, что вызывающий код разрешает запись во все каналы переданного буфера. Внутренний цикл проходит по кадрам одного канала; внешний выбирает каналы.

void attenuateBlock (juce::AudioBuffer<float>& buffer)
{
    const int frames = buffer.getNumSamples();
    if (frames == 0)
        return;

    for (int channel = 0; channel < buffer.getNumChannels(); ++channel)
    {
        float* samples = buffer.getWritePointer (channel);
        for (int frame = 0; frame < frames; ++frame)
            samples[frame] *= 0.5f;
    }
}

После attenuateBlock (example) левый канал содержит 0.0f, 0.25f, -0.25f, правый — 0.125f, 0.0f, -0.125f. Каналов по-прежнему два, кадров три, а отдельных отсчётов шесть. У моно функция обойдёт один массив. При нулевой длине она сразу завершится.

Указатель samples даёт доступ к данным канала. Его не освобождают вручную и не сохраняют для обработки будущего блока: при смене памяти он может стать недействительным. Для чтения без изменения нужен getReadPointer().

В плагине (plug-in)?плагин (plug-in) — Программный модуль эффекта или инструмента, который загружается в DAW или другую программу-хост и обрабатывает переданные ему аудиоблоки. JUCE аудио приходит в аудиоколбэк (audio callback)?аудиоколбэк (audio callback) — Функция, которую аудиосистема вызывает для передачи очередного блока входных данных и получения выходных. Обработчик должен завершиться до срока, когда нужны данные. processBlock() класса AudioProcessor. Он получает входные данные и должен записать выходные. Число кадров может меняться от вызова к вызову, включая нулевые блоки, поэтому длину берут из текущего буфера. Каналы для записи выбирают по конфигурации входов и выходов: переданный буфер может содержать дополнительные входные каналы, менять которые нельзя. Функцию из примера применяют к буферу, где это условие уже проверено (JUCE, processBlock).

Размер блока и задержка

Меньший блок обычно сокращает ожидание следующей порции данных, но требует чаще вызывать обработчик. Например, при 48 000 Гц 128 кадров занимают примерно 2,67 мс, 512 — 10,67 мс. При фиксированном размере это соответственно 375 и примерно 93,75 блока в секунду. Вызовы имеют свои накладные расходы, а времени на подготовку очередного результата при малом блоке меньше.

Длительность блока не равна полной задержке (latency)?задержка (latency) — Время прохождения сигнала через тракт от входа до выхода. Включает буферизацию, драйвер, преобразователи и алгоритмы; длительность одного блока не равна полной задержке. от входа до выхода. Задержка включает очереди входа и выхода, работу драйвера, преобразователей и алгоритмов; некоторые алгоритмы специально накапливают данные. Поэтому значение 10,67 мс для 512 кадров описывает одну порцию, а не гарантированное время прохождения звука через программу. PortAudio, например, отдельно сообщает фактические входную и выходную задержки потока (Retrieving Stream Information).

Самопроверка

Источники

• Smith S. W. The Scientist and Engineer’s Guide to Digital Signal Processing. Гл. 4.3: Floating Point (Real Numbers). в списке литературы → — знак, значащая часть и степень в двоичном представлении; форматы одинарной и двойной точности.
• Smith S. W. The Scientist and Engineer’s Guide to Digital Signal Processing. Гл. 4.4: Number Precision. в списке литературы → — конечная точность, округление результатов вычислений и неравномерный шаг представимых чисел.
• ALSA Project. PCM (digital audio) interface — определения отсчёта и кадра, чередование каналов и отдельные массивы, опустошение и переполнение буфера.
• PortAudio. API Overview — форматы данных, раскладки каналов, передача блоков, требования к обработчику реального времени и отдельные параметры задержки.
• JUCE. AudioBuffer — число каналов и отсчётов на канал, инициализация, доступ к массивам и запись значений. API сверено с исходниками версии 9.0.3.
• JUCE. AudioProcessor, processBlock — переменная длина блока, нулевые блоки и правила доступа к входным и выходным каналам.
• JUCE. Релиз 9.0.3 — версия фреймворка, использованная в примерах.