Als die Friedhöfe der Stadt geschlossen wurden, brachte man die Gebeine von Millionen Parisern hierher; Schädel und lange Knochen sind entlang der Gänge zu geordneten Mustern gestapelt. Über dem Zugang zum Ossarium fordert eine Inschrift die Eintretenden auf, innezuhalten, denn dahinter beginne das Reich des Todes.

Die Tunnel entstanden als Steinbrüche. Ein großer Teil des linken Seineufers steht auf Lutetium-Kalkstein, der für den Bau der Stadt abgebaut wurde, oft aus nicht verzeichneten Schächten, die später in Vergessenheit gerieten. Eine Reihe von Einstürzen ab 1774, beginnend mit einem Haus in der „rue d'Enfer“, veranlasste Ludwig XVI., eine Kommission und danach die Generalinspektion der Steinbrüche einzusetzen, um den Untergrund zu sichern. Zur selben Zeit war der Friedhof Saints Innocents bei Les Halles hoffnungslos überfüllt, und nachdem 1780 eine angrenzende Kellerwand unter dem Gewicht des Massengrabs nachgegeben hatte, fiel die Entscheidung, die Toten unter die Erde zu verlegen.

Ab 1788 fuhren mit schwarzem Tuch verhängte Wagen nachts von den alten Friedhöfen zu einem Schacht nahe der Rue de la Tombe-Issoire. Den mit Abstand größten Teil lieferte Saints-Innocents, doch kamen Gebeine auch von Saint-Étienne-des-Grès, der Madeleine, dem Friedhof Errancis und Notre-Dame-des-Blancs-Manteaux. Durch diese Überführungen liegen in den Katakomben auch die sterblichen Überreste von Gestalten der Französischen Revolution, darunter Danton, Robespierre, Lavoisier, Madame Roland und Camille Desmoulins.

Anfangs wurden die Knochen einfach aufgehäuft. Ab 1810 machte Louis-Étienne Héricart de Thury, Leiter der Steinbruchinspektion, aus den Stollen ein begehbares Mausoleum: Er ließ Schädel, Oberschenkel- und Schienbeinknochen zu den heute sichtbaren Wänden schichten, stellte geborgene Friedhofsdenkmäler dazwischen auf, fügte Torbögen und Tafeln mit Mahnungen und Betrachtungen über den Tod hinzu und mauerte das Ossarium gegen das übrige Tunnelnetz ab. Im Zweiten Weltkrieg nutzten Angehörige der Résistance die Tunnel, und Oberst Rol-Tanguy leitete den Aufstand zur Befreiung von Paris aus einem unterirdischen Hauptquartier.

Das Ossarium ist nur ein kleiner Teil der Tunnel unter Paris, auch wenn die Pariser oft das ganze Netz „die Katakomben“ nennen. Der Eingang liegt in der 1 avenue du Colonel Henri Rol-Tanguy, nahe der Place Denfert-Rochereau, wo einst das alte Stadttor Barrière d'Enfer stand.