慰謝料請求権の性質は、不法行為に基づく損害賠償請求権です。つまり、兄の行為が義姉との関係で不法行為になる場合は、兄は義姉に慰謝料を払うことになります。
本件では、「財形貯蓄を切り崩して返済してきた」ことが義姉との関係で不法行為になるかが問題になります。私は、心情的に義姉がお怒りになるのはごもっともですが、財形貯蓄を切り崩した分については兄がきちんと補償するのであれば慰謝料を払うような違法性がある行為(つまり不法行為)にはならないのではないか、と思います(あくまで、兄と義姉との具体的な事情が分からないので、確実な回答ではないのですけど)。
むしろ従前から兄と義姉との婚姻関係が破綻していたのではないか、どうして義姉が幼い子供を置いて度々家を空けるようなことをしてきたのか、ここら辺の事情をもう一度調べてみたらいかがでしょう。場合によったら、義姉の方が不貞を行っており、かえって義姉が兄に対して慰謝料を払うべきなのかもしれません。