Звук в DIY проектах

Если ваше хобби/DIY, как и моё, связано с компьютером, то на каком то этапе вам захочется использовать звук. Предлагаю поговорить о звуке и обменяться опытом. Конкретно говорить будем, про запись и воспроизведение звука на компьютере. Возьмем компьютер под управлением Linux, но и под Windows должно работать. Язык для программирования предпочитаю Python. Как известно в Linux есть ALSA и для нее есть python библиотека pyalsaaudio. В каком то проекте голосового помощника я видел ее использовали для регулировки громкости. Про громкость поговорим потом. Т.к. библиотека не является системонезависимой поэтому возьмем другую хорошо известную - sounddevice. Библиотека основано на кросс платформенной C/C++ библиотеке portaudio.

Необходимый минимум для использования sounddevice есть в описании и он весьма прост:

import sounddevice as sd
sd.play(myarray, fs)

здесь myarray — массив со звуком, надо сказать, что sounddevice поддерживает массивы numpy. fs — битрейт записи или частота дискретизации. Откуда это все брать? Нужна еще библиотека, например soundfile.

import sounddevice as sd
import soundfile as sf

myarray, fs = sf.read('my-file.wav')
sd.play(myarray, fs)
sd.wait() #  ждем конца воспроизведения

Можно создать свой сигнал, например синус, таким образом для каких то нужд можно получить генератор любой звуковой частоты:

duration=1 длительность сигнала сек 
frequency = 1000 # частота Гц 
samplerate = 24000 # битрейт 
amp = 10000 # амплитуда 
############# 
#берем numpy 
import numpy as np 
t = np.arange(duration * samplerate) / samplerate 
signal = amp*np.sin(2 * np.pi * frequency * t) 
sd.play(signal) sd.wait()

Естественно выбор не ограничен синусом. Не намного сложнее запись:

import sounddevice as sd 
import soundfile as sf

fs = 48000 # битрейт записи 
duration=3 # длительность записи 
rec = sd.rec(int(duration * fs), samplerate=fs, channels=1, blocking=True) 
sd.wait() 
sf.write('my-file.wav', rec, fs)

Есть еще функция для одновременной записи и воспроизведя. Какие то подробности можно посмотреть в описании. Но это на мой взгляд мало интересно, т.к. недостаточно гибкости… Переходим к потокам. Про потоки в описании тоже ест и даже с примерами, поэтому отмечу, на мой взгляд, интересные моменты. Создаем поток:

stream = sd.Stream(device=(dev_in, dev_out),
            samplerate=41000,
            blocksize=blocksize,
            dtype="int16",
            channels=(1,2),
            callback=callback_fun)

Данный тип потока поддерживает и запись и воспроизведение. В библиотеке есть и раздельные, но этот мне показался наиболее интересным. В параметре device, поэтому содержится указание на на эти устройства. Где же их брать? Воспользуемся функцией sd.query_devices():

device_info = sd.query_devices()

в результате получим список с доступными звуковыми устройствами. Например такой:

0 sof-hda-dsp: - (hw:0,0), ALSA (2 in, 0 out) 
1 sof-hda-dsp: - (hw:0,3), ALSA (0 in, 2 out)
2 sof-hda-dsp: - (hw:0,4), ALSA (0 in, 2 out)
3 sof-hda-dsp: - (hw:0,5), ALSA (0 in, 2 out)
4 sof-hda-dsp: - (hw:0,6), ALSA (4 in, 0 out)
5 sof-hda-dsp: - (hw:0,7), ALSA (4 in, 0 out)
6 sysdefault, ALSA (128 in, 0 out)
7 samplerate, ALSA (128 in, 0 out)
8 speexrate, ALSA (128 in, 0 out)
9 pulse, ALSA (32 in, 32 out)
10 upmix, ALSA (8 in, 0 out) 
11 vdownmix, ALSA (6 in, 0 out)
12 default, ALSA (32 in, 32 out)

в параметр device можно записать или номер или имя, например device = (12,12). Я пробовал в параметр вписать номер от микрофона USB камеры, программа работает через раз — вылетает ошибка с указанием на portaudio, как я понял такая ошибка не только у меня. C default все работает. Так можно получить имя устройства:

dev_in = sd.query_devices(kind="input")["name"]
dev_out = sd.query_devices(kind="output")["name"]

Для работы библиотека предлагает, и это удобно, использовать callback функцию.

def callback_fun(indata, outdata, frames, time, status):
  if status: 
    print(status) 
  outdata[:] = indata

Она вызывается функцией потока. Здесь, в функции видно, что входной сигнал подается прямо на выход. Например сигнал с микрофона можно сразу услышать. Или если кто то делает голосового ассистента, то сигнал с микрофона надо направить на распознавание голоса, а сигнал с синтезатора голоса на выход. В этом случае удобно использовать очереди — queue. Для примера, как проиграть WAV фай с диска? Для этого можно использовать такие функции:

import queue

fifo = queue.Queue() 
inp_fifo = queue.Queue() 
#############
def play(file):
    with sf.SoundFile(file,mode="r") as f:
        data = f.read(blocksize,dtype='int16')
        while len(data):
            if not fifo.full():
                data = f.read(blocksize,dtype='int16')
                fifo.put(data)
#################
def callback_fun(indata, outdata, frames, time, status):
    inp_fifo.put(bytes(indata.copy())) # для обработки сигнала с микрофона
    if status:
        print(status)
    inp = np.zeros(len(outdata), dtype=np.int16)
    if not fifo.empty() :
        bf = np.frombuffer(fifo.get(), dtype=np.int16)
        inp[:bf.shape[0]] = bf #
    outdata[:] = inp.reshape(-1,1)

Отмечу, если помните, при создании потока был параметр channels=(1,2), который значит, что на вход у нас 1 — моно сигнал, а на выход 2 — стерео. Если вы подаете на выход моно сигнал в поток, то он автоматически разведется на два канала.

Пойдем далее. Возможно, что кто то уже догадался у нас массивы — вот он шанс сделать регулировку громкости, т. к. в sounddevice таких специальных функций нет.
Заводим переменную, например vol = 1, а далее магия циф в строке:

 inp[:bf.shape[0]] = bf // vol

нам остается только правильно менять vol. Если взять vol = 1000, то можно практически
занулить звук. Можно пойти дальше… Если у нас есть, например, две входные очереди мы можем смешать звук от двух источников:

# см. В callback_fun
if not fifo1.empty() :
        bf1 = np.frombuffer(fifo1.get(), dtype=np.int16)
        inp1[:bf1.shape[0]] = bf1 #
if not fifo2.empty() :
        bf2= np.frombuffer(fifo2.get(), dtype=np.int16)
        inp2[:bf2.shape[0]] = bf2 #
inp = (inp1 + inp2)//2
outdata[:] = inp.reshape(-1,1)

Или один сигнал в левое уха, а другой в правое:

# см. В callback_fun
inp = np.column_stack((inp1,inp2))
    outdata[:] = inp

На мой взгляд тут широкое поле для творчества. Если кто то захочет повторить мои эксперименты смотрите внимательно, я не профессиональный программист, могут быть ошибки. Ссылка на документацию sounddevice.

Надеюсь эта информация была полезна.