Au coeur du Marais, dans un bel hôtel classé monument historique (XVIe-XVIIIe siècles), le musée présente les collections d'art réunies par Ernest Cognacq, fondateur des magasins de la Samaritaine, et sa femme Marie-Louise Jay, léguées à la Ville de Paris en 1928. À l'exception notable d'un important tableau de jeunesse de Rembrandt, l'essentiel des oeuvres présentées date du XVIIIe siècle : peintures de Canaletto, Tiepolo, Boucher, Fragonard, Greuze, Reynolds ; pastels de La Tour et Perronneau ; sculptures de Houdon, Lemoyne, Clodion ; porcelaines de Saxe ; objets d'orfèvrerie ; meubles estampillés…