Amazon RDS DB インスタンスを変更する時にダウンタイムは発生するのか?

結論

ダウンタイムは発生します。 すなはち、アプリケーションとDBの接続は切断されます。

ダウンタイムを短くするために

ほとんどのケースでは、Read Replicaは変更予定のインスタンスを用意して、Write ReplicaとRead Replicaを切り替える方法が最適解かもしれません(Failover)。
フェイルオーバーは開始から終了まで通常 30 秒以内に完了するようです。

もっとはやく

Amazon RDS Proxyを利用すればダウンタイムは数秒で行われるらしいです。
必要なことと費用を天秤にかけて決めるのが良さそうです。

リファレンス

Amazon RDS DB インスタンスを変更する
Amazon AuroraのDB インスタンスクラス変更方法まとめ