sgl-project/sglang-omni

SGLang-Omniは、マルチモーダル、音声、音声合成（TTS）モデル向けのマルチステージ推論・サービングランタイムです。前処理、エンコーダ、自己回帰生成、デコーダ、ボコーダなどを分離して管理し、共有メモリ・NCCL・NIXL・Mooncakeによるステージ間通信と、OpenAI互換APIを提供します。音声生成・ストリーミング・音声認識・話者分離・画像や動画理解に加え、性能および精度評価用のベンチマーク機能も含みます。