飛騨郡代小野高福が幕府の査察で切腹。即座に一族は陣屋を立ち退きせねばならぬ。鉄舟は五人の弟を連れて江戸の年長の従兄小野鶴次郎家に寄寓を決意。飛騨を離れ江戸へ出発となる。この時家族同様にしていた下僕を陣屋からの付添いとして家士二人。町の人々は町端れの片野まで別れを惜しみながら見送った。当時は十日余の苦難の旅であった。人目にふれぬように先回りして奥右衛門が同行、荷持や子供らの世話をしたと思われる。異母弟の努は二歳、休憩の度に鉄舟は貰い乳やおも湯を作って面倒をみていたという。

　一行はようやく江戸小石川小日向台の兄鶴次郎屋敷の門をくぐった。鶴次郎は病弱でひとり臥せってをり、鉄舟は小野鶴次郎の後継となっていた。休む間もなく乳母を雇い、父高福終焉の時皮袋を渡して五人の子供の行末を頼んだが、鉄舟はその皮袋を鶴次郎の前で開いた。そこには母の遺言状が入ってをり、三井為替店に預けてある三千五百両を兄弟五人で分けるようにとある。一人五百両然るべき旗本の養子にして貰いたい。鶴次郎には四百両を渡し、幼い二人の弟は成人するまで鉄舟が一緒に暮らすことにした。残り二百両は鉄舟の持分としたという。

　白真弓が鉄舟をともに江戸へ出て、どこに住んだか、私は離郷してから取り組んだ。真弓の落ち着き先を探して江戸の古地図を手に聞き歩きながら、地図に"小野鶴次郎"の屋敷跡の文字を見たときの感動は忘れない白。白真弓は関取として浦風部屋に力士名を連ねており、相撲部屋で力士の暮らしをしていたと思われる。

鉄舟は神田千葉周作の玄武官道場の師範代として道場の近くに住む井上八郎の剣術の指南に没頭する。天下の剣は自分が一番との思いあがりに気づき天下無双の名人山岡静山の槍術の門下に入る。静山の「およそ人に勝とうと思えば、まず己の徳を修めよ」の思想に心服して、一日も休まず全身全霊をあげて鍛錬した。その山岡家から井上八郎を通じ婿養子にと申し込まれ、静山師の申し出に感動し、山岡家の一員となる。

鉄舟の持分の二百両はまたたくまに自由に使い果たした。"鉄舟居士の真面目"の中の自伝の中に当時を伝える詩、句、川柳、書画などがある。どれも力のみなぎった作品で、

馬車ならで我乗り物は火の車

かけ取る鬼のたゆる間もなし　 　　鉄舟 　

行先に我家ありけりかたつむり　　　　〃 　

烏瓜を書きて 　

我祖師に似た処ありからすうり　　　　〃 　

など書画の作品は多く残っている。