寛政７年６月28日（1795年８月１日）にオホーツクに着きました。その頃、ロシア人の一団がウルップ島植民に向けて出発するところでした。津太夫たちは日本への手紙を彼らに託しました。しかし、日本の役人は、この手紙の受け取りを拒否しました。津太夫たちはオホーツクで３班に分けられ、野宿を重ねながらヤクーツクを通ってイルクーツクへ送致されました。

１班は真冬の移動であり、その行軍は困難を極めました。50頭いた馬のうち、生き残ったのは18頭だけだったそうです。３班にいた市五郎はヤクーツクで死亡してしまい、その遺体は、原野に葬られました。イルクーツクに到着した一行を出迎えたのは、大黒屋光太夫一行の一人でロシアに帰化していた新蔵でした。新蔵の勧めで善六ら４人が洗礼を受け、残留を決めました。

この４人と帰国を希望する者たちの間には感情的な対立が生まれてしまいました。帰国希望組と残留組は別々に生活し、善六らは日本語学校の教師として採用されましたが、帰国を希望する津太夫たちは日雇い人夫として生活費を稼ぎました。イルクーツクで生活すること２年、寛政11年２月28日（1799年３月22日）に最年長の吉郎次が73歳で死亡しました。吉郎次はロシア正教に改宗していなかったため、外人墓地に埋葬されたらしいとのことです。