Ce premier cimetière correspond à la partie de la nécropole actuelle qui s'étend a l'Est de la rue Caulaincourt. C'est là que furent enterrés en 1504 le Père Ange de Joyeuse, maréchal de France et capucin confident de Richelieu, et le Père Joseph du Tremblay, dont les corps étaient gardés antérieurement par l'église des Capucins de la rue Saint-Honoré.

L'accroissement de la population à Montmartre rendit ensuite nécessaire le percement d'une voie qui passe en viaduc au-dessus de la nécropole; c'est la rue Caulaincourt, ouverte en 1886.

Le cimetière actuel renferme de nombreuses tombes historiques, parmi lesquelles nous citerons les suivantes :

Cavaignac (monument par Rude), Mme de Girardin, le chanteur Nourrit, Halévy, Stendhal, Murger, Saint-Lambert, Greuze, Mme Récamier,  le maréchal Lannes,  le maréchal de Ségur, la duchesse Anne de Montmorency-Luxembourg, Nestor Roqueplan, Théophile Gautier, Alfred de Vigny, Foucault, les deux Goncourt, Frédérick Lemaître, Armand Marrast, Paul Delaroche, A. Dumas fils, Horace Vernet, Offenbach, Léo Delibes, Ernest Renan, Hector Berlioz, Adolphe Adam, Carafa, A. Thomas, Brascassat, Duc, V. Massé, Clapisson, l'amiral Baudin, Niedermeyer, Diaz, C. Vernet, A. Scheffer, Millet, Troyon, Bellangé, Tony Johannot, Alfred Dehodencq, Mme Desbordes-Valmore, E. de Girardin, Gavarni, Delphine Gay, le ténor Dupré, Philippe Gill, Henri Heine, Meilhac (pleureuse de Bartholomé), Gérôme, Waldeck-Rousseau, Villemain, Georges Feydeau, Louis Jouvet, François Truffaut, Emile Zola, Edgar Degas, etc.