Entre le boulevard Sébastopol et la rue Saint-Denis, la rue s'appelait rue Aubry-le-Boucher (nom qui est aujourd'hui donné à la rue qui prolonge la rue Berger jusqu'à la place Georges-Pompidou (parvis du centre Beaubourg). Entre la rue Saint-Denis et la rue de la Lingerie c'était la rue aux Fers ou au Fèvre (1250). Entre la rue de la Lingerie et la rue Vauvilliers, c'était la rue de la Petite-Friperie qui longeait au nord l'ancienne Halle aux Draps, qui s'étendait avant 1554 entre la rue de la Lingerie et la rue de la Tonnellerie (rue du Pont-Neuf actuellement). 

En 1907 la rue Berger a absorbé la partie de la rue des Deux-Écus qui s'étendait entre la rue Vauvilliers et la rue du Louvre. La mise à l'alignement de ce dernier tronçon a fait disparaître plusieurs anciennes maisons, entre autres le 15 de la rue des Deux-Ecus qui était l'hôtel de François Rouillé, seigneur de Plaisance (1754), et les dépendances de l'ancien hôtel de Brissac qui s'étendaient sur l'ancien 21 de la rue des Deux-Ecus. 

Avant les démolitions de 1907 et la mise à l'alignement de la rue Berger (ancienne rue des Deux-Écus dans cette partie) on voyait encore quelques restes de l'hôtel de Brissac au 11 de la rue Sauval. Dans cet hôtel de Brissac qui datait du commencement du XVII^e siècle, Bussy-Rabutin descendit avec sa fille au début du procès avec La Rivière. (F. de Rochegude).