Il Castello Scaligero venne edificato nella seconda metà del XIII secolo su commissione di Mastino I della Scala, signore di Verona. È circondato tutto attorno dalle acque del Lago di Garda he comunicano con la darsena interna. Le torri disposte agli angoli, il doppio giro delle mura, coronate da merli ghibellini e lo svettante mastio centrale che culmina nei beccatelli sostenenti la sequenza dei merli, restituiscono al complesso l’aspetto di una poderosa struttura fortificata, ricca di memorie storiche. Entro il recinto delle mura, accessibile tramite due ponti levatoi, è ordinato il lapidario romano e medievale che espone pezzi di ragguardevole interesse archeologico. I camminamenti di ronda, le torri e l’elevato maschio centrale sono degli splendidi belvedere panoramici da dove la vista spazia sulla cittadina, la sua penisola ed il magnifico lago. L’accesso al nucleo storico di Sirmione avviene per una porta che fa parte del complesso scaligero e che immette nell’intricato ma suggestivo dedalo di strette viuzze medievali.
Dal 1197 la penisola divenne soggetta al comune di Verona, poi alla signoria scaligera, assumendo una rilevante importanza grazie al controllo esercitato dal castello, che ospitava una guarnigione. L’edificio, quale ancor oggi si può ammirare, è opera degli Scaligeri, benché l’esistenza di una fortificazione anteriore alla loro dominazione sia attestata da più di un documento.
Completamente circondato dall’acqua, il castello domina il lago dall’alto del suo mastio, la torre più elevata. La datazione dell’edificio è complessa. Le analisi murarie hanno portato all’identificazioni di tre fasi, delle quali la prima risale all’epoca di Mastino I della Scala (XIII secolo), la seconda ai primi anni del XIV secolo, la terza alla metà del XIV secolo, quando la darsena venne fortificata. Il nucleo principale è costituito dal cortile principale cintato da quattro cortine, dalle tre torri angolari e dal mastio.
Al complesso del castello si collega la chiesa di Santa Maria al Ponte, detta anche Oratorio della Beata Vergine al Ponte, ma chiamata Sant’Anna dagli abitanti del borgo, che da tempo immemorabile identificano, senza alcun fondamento, la figura ritratta nell’affresco con la madre della Madonna. La chiesetta, da alcuni ritenuta la cappella della guarnigione di stanza al castello, è costituita da un vano con volta a botte e da un presbiterio. Nel Quattrocento era una piccola cappella, probabilmente un piccolo santuario come dimostrerebbe il frammento di affresco trecentesco posto sopra l’altare.
Nel 1387 la dinastia dei della Scala tramontò con la fuga di Antonio e Verona cedette il campo alle due potenze tra le quali era stretta: Venezia e Milano. Per Sirmione iniziò un veloce avvicendamento di signorie, finchè nel 1405 ebbe inizio la lunga dominazione veneziana che durò sino al 1797.