オーディオのタイムストレッチとピッチ変更
オーディオ信号の時間的な伸縮（タイムストレッチ）と音の高さの変更（ピッチシフト）は、音楽制作、音声編集、サウンドデザインなど、多岐にわたる分野で不可欠な技術です。
タイムストレッチとは
タイムストレッチとは、オーディオ信号の再生速度を変更せずに、その長さを伸縮させる技術です。例えば、4秒のオーディオクリップを8秒に伸ばしたり、2秒に短縮したりすることが可能になります。この際、元の音程は維持されるのが特徴です。
タイムストレッチの仕組み
タイムストレッチを実現するためのアルゴリズムは、大きく分けていくつかの種類があります。
フェーズボコーダー
最も古典的で広く使われている手法の一つにフェーズボコーダー（Phase Vocoder）があります。これは、オーディオ信号を短いフレームに分割し、各フレームの周波数成分と位相情報を分析します。そして、これらの情報を基に、時間軸上のフレームを複製したり削除したりして、目的の長さに伸縮させます。位相情報は、音の滑らかさや連続性を保つ上で重要な役割を果たします。
フェーズボコーダーは、高品質なタイムストレッチを実現できますが、計算コストが高いという欠点もあります。また、急激な伸縮や、複雑な音源の場合には、アーティファクト（不自然な音）が発生しやすくなることもあります。
波形編集（Waveform Editing）
より単純なタイムストレッチ方法として、波形編集があります。これは、オーディオ波形を直接操作して、ゼロ交差点を挿入したり削除したりすることで長さを調整します。この方法は処理が高速で、単純な音源や、ある程度の音質劣化が許容される場合に有効です。しかし、伸縮率が大きい場合や、複雑な音源には、「ブチブチ」というノイズや音質の劣化が顕著になります。
サンプリングレート変換（Sampling Rate Conversion）
オーディオ信号のサンプリングレートを変更することでも、実質的にタイムストレッチを実現できます。例えば、サンプリングレートを半分にすれば、再生速度も半分になり、長さは2倍になります。この方法は、最も単純で計算負荷が低いですが、音程も同時に変化してしまうため、タイムストレッチ単独の目的には通常使用されません。ただし、ピッチシフトと組み合わせて使用されることはあります。
位相同期（Phase-Locked Loop – PLL）ベースの手法
近年では、位相同期（PLL）を応用した手法も開発されています。これらの手法は、音の継続性をより自然に保つことを目指しており、特にボーカルなどの発声に効果的とされています。
タイムストレッチの応用例
- 音楽制作：楽曲のテンポ変更、サンプルの調整、演奏ミスの修正など。
- DJプレイ：複数の楽曲をシームレスにミックスするために、テンポを合わせる。
- 音声編集：ナレーションの尺調整、効果音の加工。
- サウンドデザイン：特殊効果音の作成、映画やゲームのサウンドトラックの編集。
ピッチシフトとは
ピッチシフトとは、オーディオ信号の音の高さを変更する技術です。例えば、男性の声質を女性の声質に近づけたり、楽器の音程を上げたり下げたりすることが可能になります。この際、再生速度は通常維持されます。
ピッチシフトの仕組み
ピッチシフトも、タイムストレッチと同様に、様々なアルゴリズムが存在します。
スペクトル分析ベースの手法
多くのピッチシフトアルゴリズムは、オーディオ信号を周波数領域で分析することに基づいています。FFT（高速フーリエ変換）などを用いて、オーディオ信号を短時間フーリエ変換（STFT）し、その周波数成分を分析します。そして、これらの周波数成分をスペクトル的にシフトさせることで、音程を変更します。
この手法は、高品質なピッチシフトを実現できますが、タイムストレッチと同様に、計算コストが高く、特に急激なピッチシフトや、複雑な音源では、金属的な響きや、位相の乱れといったアーティファクトが発生することがあります。
時間領域での伸縮（Time-Domain Stretching）
一部のピッチシフト手法では、時間領域でオーディオ波形を直接操作し、音程を変化させます。例えば、「シュア・ボイス（Shure Voice）」のようなアルゴリズムは、音の周期性を分析し、それを伸縮させることでピッチシフトを行います。この方法は、比較的計算負荷が低いですが、伸縮率が大きい場合には、音質劣化が生じやすくなります。
波形編集（Waveform Editing）
タイムストレッチと同様に、単純な波形編集によってもピッチシフトは可能です。しかし、これは音程と再生速度が連動してしまうため、ピッチシフト単独の目的には適していません。例えば、再生速度を速くすれば音程も上がります。
ピッチシフトの応用例
- ボーカルエフェクト：ボコーダーやオートチューンといった、歌声のピッチ補正や、特殊なボーカルエフェクトの作成。
- 楽器の音色変更：ギターやキーボードの音程を半音単位で変更したり、デチューン効果を作ったりする。
- 音声変換：男性の声質を女性に、あるいはその逆のように変化させる。
- サウンドデザイン：クリーチャーの声、ロボットの声など、非現実的な音響効果の作成。
タイムストレッチとピッチシフトの組み合わせ
タイムストレッチとピッチシフトは、しばしば組み合わせて使用されます。例えば、ある楽曲のテンポを速くしたいが、音程は変えたくない場合、タイムストレッチのみを行います。逆に、ある音源の音程だけを上げたいが、再生速度は変えたくない場合は、ピッチシフトのみを使用します。
しかし、両方の操作を同時に行うことも一般的です。例えば、DJミキサーでは、楽曲のテンポ（タイムストレッチ）と音程（ピッチシフト）を独立して調整し、シームレスなミックスを可能にしています。また、音楽制作では、ボーカルのテイクを録り直しすることなく、テンポと音程を調整して楽曲にフィットさせるために、これらの技術が活用されます。
独立した制御の重要性
現代のオーディオ編集ソフトウェアやプラグインでは、タイムストレッチとピッチシフトの制御が独立していることが重要です。これにより、ユーザーはそれぞれのパラメータを自由に調整し、目的のサウンドを柔軟に作り出すことができます。例えば、「タイム・トゥ・ピッチ（Time to Pitch）」という設定では、タイムストレッチの度合いに応じてピッチシフトも連動しますが、逆に「ピッチ・トゥ・タイム（Pitch to Time）」のような設定では、ピッチシフトの度合いに応じてタイムストレッチも連動します。これらの連動設定をオフにすることで、独立した操作が可能になります。
アルゴリズムの進化
タイムストレッチとピッチシフトの技術は、日々進化しています。以前は、これらの操作を行うと、どうしても音質劣化や不自然さが避けられませんでしたが、近年のアルゴリズムは非常に洗練されており、原音に近い高品質なサウンドを維持しながら、大幅な伸縮やピッチ変更を行うことが可能になっています。
例えば、AI（人工知能）を活用したピッチシフトやタイムストレッチ技術も登場しており、より自然で人間らしい響きを実現するための研究が進められています。これらの進歩により、オーディオ編集の可能性はさらに広がっています。
まとめ
オーディオのタイムストレッチとピッチシフトは、オーディオ信号の時間軸と周波数軸を操作する強力な技術です。これらの技術は、それぞれ単独でも、あるいは組み合わせて使用することで、音楽制作、音声編集、サウンドデザインなど、多岐にわたる分野で創造的な表現を可能にします。アルゴリズムの進化により、これらの操作による音質劣化は最小限に抑えられ、ますます自然で高品質なサウンドを実現できるようになっています。
