สวนเซ็นกันเอ็น อยู่ภายในบริเวณคฤหาสน์ของตระกูลชิมะสึ ซึ่งสร้างขึ้นในปี ค.ศ. 1658 โดยไดเมียวชิมะสึ มิสึฮิสะ รุ่นที่ 19 ของตระกูล สวนแห่งนี้เป็นสวนที่ไดเมียวชิมะสึ นาริอากิระ รุ่นที่ 28 ของตระกูลรักมากกว่าสิ่งอื่นใด เป็นสวนของไดเมียวที่งดงามกระทั่งอัตสึฮิเมะ ภรรยาเอกของโชกุนโทกุกาวะ และไซโก ทากาโมริ ซามูไรผู้ทรงอิทธิพลในสมัยนั้นยังต้องมาเยือนเพื่อชมความงาม เมื่อเข้ามาในสวนและมองออกไปจะเห็นทิวทัศน์ของอ่าวคาโงชิมะกับซากุระจิมะที่งดงาม พื้นที่สวนประมาณ 49,500 ตารางเมตร มีดอกไม้ประจำฤดูกาลบานตลอดปี และมีการแสดงตามประเพณีของตระกูลซามูไรให้ชมมากมาย รวมถึงร้านค้าและร้านอาหารพื้นเมืองของซัทสึมะที่ช่วยเติมเต็มการเยี่ยมชมของนักท่องเที่ยวให้สมบูรณ์แบบ พื้นที่สวนทั้งหมดได้รับการขึ้นทะเบียนเป็นมรดกโลกทางวัฒนธรรมเมื่อปี ค.ศ. 2015 ในฐานะ “มรดกจากการปฏิวัติอุตสาหกรรมญี่ปุ่นยุคสมัยเมจิ” และในปี ค.ศ. 2018 ได้เป็นโลเคชั่นในการถ่ายทำละครโทรทัศน์แนวประวัติศาสตร์เรื่อง “เซโกะด้ง”