北上川の改修の歴史は古く、最初は、平安時代に蝦夷を討伐した武将である坂上田村麻呂によるものでした。北上川の支川である雫石川のほとりに、田村麻呂が築いた志波城址が今も当時の面影を残しています。舟運の発達は、江戸方面から米などの物資が中山柵に運ばれたと多くの文献に記されていますので、当時から政治経済の生命線であったようです。

古代末期の東北の豪族である安陪氏により造営された城柵は、北上川の河畔に多数建てられていたといわれています。現在でも、川崎村の北上川と砂鉄川の合流付近には、「框（かまち）」と呼ばれる石積みの跡が確認できます。５つの框は、河崎柵跡の一部と伝えられてきました。現在まで残っている石積みの技術は、当時の技術力の高さを物語っています。

河川の改修については諸説がありますが、河川改修を最初に行ったのは、宝亀11年（780年）から24年にわたって行った坂上田村麻呂で、舟運の目的で行った低水工事であるといわれています。江戸時代になると、伊達相模宗直が登米の新田開発の必要性から慶長10年から15年(1605～1610年)にかけて北上川を川面付近で遮断しました。その後に登場したのが、あの川村孫兵でした。