邸宅主屋の前には、回遊式の日本庭園が造られ、四季折々の風情が楽しめるように植栽と石組みに工夫がされました。格式のある庭園と同じように、松を中心とし、秋に美しい紅葉が楽しめるようにもみじを植え、かつての生家が梅屋敷と呼ばれていたことから、白梅も多く、要所に十三重塔や石灯籠が添えられています。組井筒から流れ出た井戸水は、庭をゆるやかに流れて、屋敷の外の濠へと下ります。

庭の広さは、長屋門からの車回しを含めると凡そ3000平米で、飛び石づたいに園を巡れば、春は梅、桜、躑躅、さつき､夏は花菖蒲と濠の蓮花、秋は紅葉が眼を楽しませてくれます。
武蔵野の田園にたたずむ遠山邸ですから、借景としての山並みは望めませんが、主屋の裏の大欅は屋敷林となって、隣家へつながっていき､水田地帯を輪中の自然堤防のように円弧をつくっています。