ACE-Step1.5に関する個人的な考察

下記の使用法に関しては、API利用での設定に関して書いていますので、ComfyUIの場合にどうなるかは分かりません。また、よく分からないし、試行錯誤が足りない状態での感想なので、的外れなことを言っているかもしれませんのであしからず。

プロンプト、歌詞に関して

まず、LLMを使うべきかどうか？これに関しては今の時点では正解が分からない。ただ、LLMの性能があまり良く無さそうなので、そのLLM前提での最適化と言うのは個人的には厳しいのではないかと思う。

以前からSunoプロンプトを作成していた人に関しては直接作成しても戦えるのではないかと思うが、何がどこまで入力できるかがはっきりしていない。以前の記事でも書いたが、入力の形式がSunoとは結構違うようだ。

LLM使わない方が多くトークン使えるのかと思っていたが、どうもそうではないらしい。正しくはこちらだと思われるが、違っていたらすいません。

--- DiT-onlyモードの本当のメリット

1. 速度
- LLM処理をスキップ → 生成時間短縮

2. 予測可能性
- 入力したプロンプトがそのままDiTへ渡る
- 結果が安定

3. 制御性
- LLMによる意図しない書き換えなし
- 指定したメタデータがそのまま使用される

---
トークン制限まとめ

- Caption: 256トークン（約512文字）
- Lyrics: 2048トークン（約4096文字）
- LLM使用有無でトークン効率は変わらない
- 違いは速度と予測可能性のみ

ただ、必要なデータを全て渡さないといけないし、今のところ正解が分かっていない。困ったもんだ

出来上がり品質に関して

個人的にはturboモデルで作っても、Baseモデルで作っても時間があまり変わらない（RTX 5060ti 16GB）。とは言っても、バックグラウンドでやってるので、正直どのくらい違うかはあまり気にしていない。

ただ、Sunoでも思っていたが楽器が少ないし、入っても歌の入っていないところでおかずが入る程度と言うのがACE-Step1.5ではより顕著な気がする。一応、これに関してはBaseモデルでLegoタスクやCompleteタスクを使用することで追加生成が出来る。ただ、この追加に関してもよく分からない。

とりあえずやってみたのがこちら。基本の出力に楽器を足してみたが、正直、増えたか？って感じ。Sunoより楽器が一つ増えたとしてもまとまりが感じられない。これは、楽器の多い雑なバンドよりも、上手いスリーピースバンドの方が聞けるような話だと思う。このまとまりの無さが、基本のシステムの話なのか、プロンプトが足りていないのか、どちらかなのか、両方なのかもよく分からない。

一応今の状態を二つほど載せてみる。

Suno用のマスタリングが効いていないのか、上手く混ざっていないのかもわからない。ちょっと音が悪い。それとたまに切って繋いだようになるのは何故だ？一応不具合報告があるようだ。

まとめ

ACE-Step1.5いじってみて、Sunoのすごさに改めて気付かされる。でも、結局API使えるかどうかが優先なので、こちらをもう少しいじっていこうと思う。