何のプロセスがそんなにCPUを使っているのかをチェックしたところ、通常時は1%未満程度しか使っていないESET Service(ekrn.exe)が常時30%~50%程度CPUを使用していました。
これはおかしいと思い一旦ESET Securityの保護を一時的に無効化した状態でビルドしてみたところ、段違いの速さでビルドが終わるではありませんか。
仕事用のSurface BookはESETではないものを使っていますし、ビンゴのようです。
このパスをリアルタイムファイルシステム保護の除外フィルタに指定することで、一時的に無効化した時と同じようにESET ServiceのCPU使用率が下がり、ビルドが遅くなる問題が解消しました。
しかしこれを指定するのはやや不安が残るので、ESETのサポートにどうにかならないか問い合わせてみています。
Windows側からは触るべきじゃないっていう情報があったりするので見えるからといって触らない方が良いと思いますが。