築150年を超える（2014年時点）庄屋造りの建物を記念館としています。建物の名前となった十二代当主の田邊泰孝（享年92歳・2013年没）は、若き日より、この地の発展に深くかかわり多くの要職を歴任してきました。
職務を遂行する中で、港北公会堂の緞帳作成に関り、その図柄のために人間国宝、芹沢銈介（せりざわけいすけ）に依頼し、下絵4点を収集しました。
一方で、民族文化にも心を寄せ海外（特に東・東南アジア）に当時としてはまだ渡航が珍しい中、多くの民族文化財を持ち帰り収集・保存に努め、それらは現在まで良好な形で保管されています。

（1921～2013）

記念館外観

芹沢銈介氏ご夫妻（83歳当時）記念撮影