年が変わった1804年、船は太平洋を航行し５月にはポリネシアのマルケサス諸島についた。島の男たちは２ｍを超える巨人で、全身に入れ墨が彫られていた。日本人にとっては鬼のように見えたという。島には10日ほど滞在したが、島の人々は水や食料をもちより、代価として金属を求めた。続いてハワイに立ち寄り、その後カムチャッカに到着した津太夫たちは、世界一周を果たしたことになる。

カムチャッカでは多十郎の持ち物が盗まれるという事件があったが、多十郎はロシアから受けた恩に比べたら気にもならないとレザノフに話し、ロシア人たちを感心させた。このカムチャッカで善六は下船し、日本に向かうのは帰国組のみとなった。８月にナジェージタ号は、長崎に向けて出港する。しかし、千島沖と九州沖で嵐に遭い、船は損傷を受けた。長崎に到着したのは文化元年９月６日（新暦の1804年10月９日）のことであった。

津太夫たちにとって、実に11年ぶりに見る日本の景色であった。レザノフは役人に対し、日本との通商樹立が来航の目的であることを伝えた。幕府は通商問題と漂流民とを分けて考え、まず漂流民をと申し出たが、漂流民を交渉の手段と考えていたレザノフはこれを拒否した。レザノフと津太夫たちは梅が崎の宿舎に幽閉され、日本人との交流も禁止された。日本を目の前にしながら、ロシア人とともに留め置かれたままの津太夫たちは、帰国がかなわないのではと不安を感じ始めていた。