プレイベントで音声がノイジーになる

[TakumaNakagame]

考慮点は以下

• nginx周りのチェック (サイマルやると死ぬ問題)
• OBSがnginx pullするときの経路(表なのか裏なのか、そこを変えると挙動が変わるか)
• 配信中のCPU、ロードアベレージの確認
• 配信中のGPU支援が正しく効いているかどうかの確認
• GPUドライバを更新して問題が解消するかどうか
• それでも解消しない場合はOSイメージ再作成

[TakumaNakagame]

まず以下の構成で再現

• Streamyard1部屋から、3つの配信をNginxに投げる
• うち、1つのストリームキーをトラックA用のOBSで参照
• 当日使ったMedia liveに向けて配信

状況

• Nginx01の該当のストリームキーのRTMPを参照したら問題なし
• トラックAのIVSの映像は死んでる

[TakumaNakagame]

念のため、トラックB/C用のOBSを停止させる

状況は変わらず

• Nginx01の該当のストリームキーのRTMPを参照したら問題なし
• トラックAのIVSの映像は死んでる

[TakumaNakagame]

Nginxへのストリームを1本に絞って、OBSを再起動した

状況は改善した

[TakumaNakagame]

↑の対応を戻し、トラブルが再現するか試した

結果、再現しなかった

[TakumaNakagame]

トラックAに加えて、トラックBを有効にしたが、同様に再現しなかった

[TakumaNakagame]

トラックCも追加したが再現せず

[TakumaNakagame]

一旦事象再現は諦めて、ロードアベレージの改善と、マシンの追加を行う

マシンの追加については以下の通りとする

• Nginx： 1台 → 6台
• Nginx： 8コア16GB → 2コア4GB
• Switcher： 3台 → 5台

※メモリ制限があるのでSwitcherを5台にした

[Gaku-Kunimi]

ロードアベレージが高い問題の一原因が特定

観測された現象

• nginx を落としたら、 rtmp をシーンに表示していないのにも関わらず、 CPU 使用率が 40% -> 10 %に減少象
• メディアソースの 非アクティブ時にファイルを閉じる にチェックを入れて、閉じるようにしても、状況は変わらず、ログに再接続が出てしまう (同時に CPU 使用率が 40% 台に)

09:19:44.309: [Media Source '1001_media']: Reconnected.
09:19:44.493: [Media Source '1005_media']: Reconnected.
09:19:44.501: [Media Source '1000_media']: Reconnected.
09:19:44.505: [Media Source '1002_media']: Reconnected.

• メディアソースに GPU デコードを有効化したら、 cpu 使用率が 1ソースあたり3% ずつ下がった

考察

• 今回のシーン設計では、 セッションごとに rtmp メディアソースを作成しており、 Track A では 6 つのソースから同時に接続されていた (うち3 つは ストリームキーが有効でなく真っ黒画面)
  • ほとんどが rtmp メディアソース というこれまでにない
  • CPU使用率が高い理由も頷ける
• メディアソースに GPU 支援をつけない理由がないので、有効化する

@Gaku-Kunimi がシーン作成スクリプト修正する

• ハードウェアデコードの有効化
• オンライン登壇メディアソースは共通化
• 裏 LAN 経由でのメディアソース参照 local-nginx{01,02,03,04,05,06}.cloudnativedays

[TakumaNakagame]

#230

[TakumaNakagame]

リハーサルでも本問題が発生したため、継続調査する