ليس هنالك معلومة اكيدة عن زمن بناء البرج ولكن يقال انها بنيت عام 507 ميلادي في عهد الامبراطور ايوستينيانوس .هذه البرج التي كان يطلق عليها الجنويزيين اسم برج عيسى والتي كان يطلق عليها البيزنطنيين اسم البرج الكبيرة اخذت شكلها القريب من الحالي عام 1348 في عهد الجنويزيين .ولقد تم ترميم هذه البرج عام 1509 اثر الزلزال الذي ضربه من قبل المعماري العثماني المشهور آنزاك خيرالدين .وقد استخدمت البرج في عهد السلطان سليمان القانوني كسجن للمحكومين الذين كانو يعملون في ترسانة (مصنع السفن) منطقة قاسم باشا .وفي القرن السادس عشر قام عالم التنجيم تقي الدين افندي ببناء مرصد على قمته وبعد ان استخدم كمرصد لمدة تم تحويله الى سجن في عهد السلطان مراد الثالث .