Git For Windows 2.33.1以降で発生する模様。
OpenSSHのバージョンが8.8以上に上がると、ssh接続時にデフォルトでRSAキーの使用が禁止されるようになったせいらしい。
RSAを使用している場合、非推奨ながらsshのconfigに
PubkeyAcceptedAlgorithms +ssh-rsa
を追加すると、とりあえずこれまでどおりRSAで接続は可能になった。
しかし、この方法はいつまで（安全に）使えるのだろう。