司馬遼太郎の自宅と隣接地に建つ安藤忠雄さん設計のコンクリート打ちっ放しの建物で構成されています。地下1階、地上2階、ゆるやかな曲線を描くシンプルな構造で、雑木林風の庭の小径から窓越しに、司馬遼太郎の書斎を間近に見ることができます。約2万冊の蔵書があり、司馬遼太郎の精神を感じることのできる空間です。