データベース仮想サーバを停止した状態でフレーバーを更新することはできますか。

予約だけできます。
データベース仮想サーバ停止時は、「applyImmediately」オプションに「false」を指定してフレーバーを変更してください。
次回のデータベース仮想サーバ起動時にフレーバーの変更が適用されます。

📘　関連ドキュメント
機能説明書
対象リージョン：東日本第1／東日本第2、西日本第1／西日本第2
データベースの運用操作