Szegény falusi családból származott, ösztöndíjasként az École nationale des beaux-arts de Lyon elvégzése után Párizsban a École nationale supérieure des beaux-arts hallgatója lett, 1925-ben diplomázott. 1932-tól a Jeu de Paume Museum-ban dolgozott.

1940-ben a náci megszállók ezt a múzeumot használták a magánszemélyektől és más múzeumokból elrabolt műkincsek tárolására majd továbbszállítására. Rose eltitkolta, hogy ért németül, így megtudta, milyen műkincseket milyen címre küldtek. A szállítmányokról tájékoztatta az ellenállási mozgalom vezetőit,  így azok nem robbantották fel a műkincseket szállító vonatokat, és a háború vége felé megakadályozták, hogy több szállítmány elhagyja az országot.

A háború után Rose a francia hadsereg tisztjeként Németországban segített megtalálni az odahurcolt műtárgyakat. Hősiességéért többek között megkapta a Légion d'honneur, Commandeur of the Order of Arts and Letters és a Médaille de la Résistance kitüntetéseket.

Életéről  több könyet írtak, Sur le front de l'art címemel kiadott visszaemlékezéséből amerikai film készült a The Train címmel.