兼山城は、天文6年(1537年)、斉藤道三の養子斉藤正義により築城されたと言われいる。 その後、土岐氏の配下に置かれたが、永禄八年(1565年)の織田信長の美濃に侵攻で 信長家臣の森可成が城主となり東美濃制圧の拠点とした。
可成の死後、次男長可が継ぎ天正10年(1582年)、武田氏滅亡後、信濃善光寺平 20万石を与えらたが、同年、「本能寺の変」で信長が死去すると政情不安な 信濃を離れ、旧領である兼山城に帰還した。