PSReadline 2.0.0が問題なのでひとつ前のバージョンを利用する様にすれば現象を回避することができます。
次のコマンドでPSReadline 1.2を追加インストールしてからPowerShell Coreを再起動するとPSReadline 1.2を先にロードする様になりこの問題を回避できます。
この修正自体は別件に対する対応と思われるのですが、コードページの変更を強制しなくなるため本件の対応としても有用です。
ただし、この修正が適用されたPSReadlineはまだリリースされていません。
AppVeyor上の最新ビルドから最新のビルド(Zipファイル)をダウンロードします。
これで最新のPSReadlineがロードされ問題を回避することができます。