Le musée est situé dans le Lincoln Park, dans l'Ouest de la ville. La vue sur le pont du Golden Gate, la collection de quelque 80 œuvres de Rodin ainsi que son architecture, directement inspirée du musée de la Légion d'honneur de Paris, en font un endroit apprécié des touristes. Construit en souvenir des 3 600 soldats californiens morts en France pendant la Première Guerre mondiale, il ouvrit ses portes en 1924 grâce aux efforts et à la fortune de la famille Spreckels.
Albarelle Castel Durante, v. 1550-1555 (California Palace of the Legion of Honor).
Alma Spreckels, d'une famille d'origine française, persuada son mari, Adolph B. Spreckels, un magnat du sucre, de faire du bâtiment le nouveau musée d'art de la ville de San Francisco. Lorsque l'exposition de 1915 fut terminée, le gouvernement français donna l'autorisation d'édifier une réplique permanente ; mais la Première Guerre mondiale interrompit les travaux jusqu'en 1921.
Aménagé sur un site baptisé « le bout-du-monde » (Land's End), le musée ouvre ses portes le 11 novembre 1924 en mémoire des soldats californiens morts sur les champs de bataille du nord de la France.
L'architecte George Applegarth avait souhaité un musée moderne dans un modèle réduit aux trois-quarts du bâtiment original de Paris. Il a été rénové et agrandi par Edward Larrabee Barnes et Mark Cavagnero entre 1992 et 1995 pour renforcer sa structure, travaux rendus nécessaires par le risque sismique dans la région.