En 1676 Louis XIV avait donné l'ordre d'abattre l'enceinte de Louis XIII : le travail fut terminé en 1705, et s'étendit jusqu'à la Bastille sous l'Empire. 

Le côté pair du boulevard de la Madeleine occupe l'emplacement d'un côté de l'ancienne rue Basse-du-Rempart. Cette rue Basse-du-Rempart, située jadis en contre-bas de l'ancien rempart, allait primitivement de la Madeleine à la rue de la Chaussée-d'Antin. Le tronçon qui allait de la Madeleine à la rue Caumartin disparut en 1902 an profit du boulevard de la Madeleine. La partie Est de la rue avait été supprimée vers 1858, peu d'années avant la construction de l'Opéra et antérieurement, en 1833, le boulevard des Capucines avait absorbé la partie de la rue située entre l'Olympia (auj. bd des Capucines) et le Grand Café.

Dans cette rue Basse-du-Rempart se trouvaient l'hôtel Sommariva, l'hôtel d'Osmond, anciennement hôtel des Tillières, construit par Brongniart. Les écuries du duc d'Aumont et le concert Muzard s'ouvraient dans cette rue qui fut habitée par Mme Récamier, par Mlle Duthé (au 68), par Mlle Guimard (au 60), par Mlle Raucourt (le 6 en 1815), par Mlle Georges Weymer, par Hérault de Séchelles (au 14 en 1792), par la duchesse d'Abrantès. Le baron d'Ivri, amateur peintre, était au 30 en 1810, le général Cavaignac était au 50 en 1845. Sieyés était au 26 en 1833. Gustave Planche y naquit dans une maison qui s'y trouvait sur l'emplacement du Vaudeville.