ป้อมวัดช้าง เป็นป้อมที่ตั้งอยู่บนเนินดินกลางคูเมืองด้านทิศเหนือตรงกับประตูวัดช้าง ตัวป้อมมีผังเป็นรูปสี่เหลี่ยมจัตุรัส มีช่องทางเข้า-ออกเพียงทางเดียวที่กึ่งกลางผนังด้านทิศใต้ จากช่องทางเข้า-ออกดังกล่าวมีทางเชื่อมต่อไปออกจากป้อมข้ามคูเมืองไปถึงหน้าประตูวัดช้าง ผนังป้อมด้านในแต่ละด้านมีช่องสำหรับปืนใหญ่