丸森などの伊具郡は、戦国時代に相馬氏と伊達氏との間の抗争の舞台となった地域で、金山城も境目の城として築かれたものです。その創建は永禄９年（1566年）といわれ、金山地域が相馬氏の支配となった時に、相馬家臣の井戸川将監によって築かれたのが始まりですが、その後の城主は、佐藤為信、中村清忠らと交代し、最後は伊達氏に奪還されました。

天正４年（1576年）、伊達輝宗は、伊具郡地域の奪還を目指して侵攻を始め、天正９年（1581年）には、嫡子である伊達政宗も従軍して初陣を飾りました。天正９年から翌年にかけての侵攻の戦いで、輝宗はこの地域にある諸城を落とし、支配を確立しました。金山城には伊達家の家臣である中島宗求が置かれ、２千石ほどの所領が与えられたといわれています。

その後、小田原の役で勝利を治めた豊臣秀吉によって、伊達家の所領移動が実施されましたが、中島氏の金山支配は変わることなく、近世に入ると、金山・大内・井手で２千石の所領が確定しました。元和の一国一城令によって、諸藩の居城以外の城は、殆ど廃止をされましたが、伊達領内では「要害」の名目で金山城など21箇所が廃藩置県まで残りました。