ききながら録音というのはだめだと思うけれど
ネットワークオーディオシステムみたいな感じで
再生オブジェクト自体が記録するデバイスにすればいいんじゃないの

つーかそれ以前にyoutube再生するアプリは
サウンドバッファにPCMをちょっとずつ書き込んでいるんだから
再生しつつファイルに出力すればいいだけなんじゃないの?

発想がアプリ依存なんだからアプリ側を自分の好きなように変える方が多分楽

でWinのDirectSoundとかのサンプルでそういう資料は結構みっかるから
いっそのことwine上でやる方が楽だけど
sdlmixerでできそうですな。