Το Φρούριο της Φορτέτζας είναι κτισμένο πάνω στο λόφο του Παλαιοκάστρου, στα δυτικά της σημερινής πόλης. Στο λόφο αυτό υπήρχε η ακρόπολη της αρχαίας πόλης της Ρίθυμνας και το ιερό της Ροκκαίας Αρτέμιδος. Το Φρούριο της Φορτέτζας κατασκευάστηκε μεταξύ 1573-1580 από τους Βενετούς, προκειμένου να προστατεύσει τους κατοίκους από την Τουρκική απειλή.