Quels fantômes cache donc une vieille maison vide, une grande maison comme celle qu’habitaient, depuis 1854, les membres de la famille de Laurent Mauvigner ?
Pour répondre à cette question que chacun a pu se poser en revenant sur des lieux chers désertés par des proches, l’auteur se livre à une vertigineuse reconstitution du passé de ces silhouettes qui hantent encore les lieux ; mais il le fait avec la précision et la rigueur d’un romancier réaliste, qui s’interroge à la fois sur l’époque et la psychologie de personnages plongés dans l’Histoire, et qui reconstruit l’ensemble du tableau « comme à partir d’un fémur fossilisé, le squelette d’un animal préhistorique que personne n’a jamais vu. »
Ainsi, le roman remonte les générations et s’attache particulièrement au destin des femmes qui apparaissent sur l’une des photos tirées, dès les premières pages, du tiroir d’une commode : l’arrière-grand-mère, Marie-Célestine, d’origine paysanne, passionnée de piano et attachée à sa maison où elle s’isole souvent derrière ses partitions ; très talentueuse, elle passe des heures avec Brahms, Schumann et Chopin et, par la force des choses, tombe amoureuse de son professeur de piano ; pour cette raison, elle ne supporte pas Jules, le mari que lui impose sa famille en 1906, ni sa fille, Marguerite, qui naîtra de leur union.
Cette Marguerite aura trois enfants, dont le père du narrateur ; mais la malheureuse n’apparaît ni dans les photos, ni dans le récit des aînés. Comme sa mère, et comme son fils, plus tard, elle n’est pas heureuse et reproduit, à sa façon, une part du destin familial ; Marguerite, la grand-mère, est en effet confrontée elle aussi à la marginalisation, à la honte et à la souffrance de l’abandon. Privée du père qu’elle idolâtre et dont elle entretient l’image de héros tombé aux champs d’honneur en 1916, privée du mari qui l’a sauvée de la débauche et qu’elle essaie en vain de faire libérer pendant l’Occupation, elle n’existe plus, ni pour la société, ni pour la famille.
À la fin de cette saga du XX° Siècle, ne reste plus, au milieu de la maison, que le piano et la mélancolie que ne peut que ressentir le narrateur et, avec lui, le lecteur, confronté aux fantômes qui errent encore dans les grandes pièces vides et sur les lignes, derrière la belle couverture blanche des Éditions de Minuit, comme un drap agité par le souffle du Temps.