Penlee House a fost construit initial in 1865 in casa familiei Branwell. Casa a fost cumparata de consiliul districtului Penzance in 1946, impreuna cu Parcul Penlee, ca un memorial in cinstea celor cazuti in ce de-al Doilea Razboi Mondial, si a fost deschisa oficial ca muzeul districtului Penzance in 1949. In 1974, dreptul de proprietate al acestui muzeu a trecut la Consiliul Judetean Penwith, si incepand cu anul 1985 Consiliul Penzance Town detine si administreaza locatia.

Colectiile adapostite in cadrul muzeului au fost initial luate din ceea ce a ramas din colectia Societatii de Istorie Naturala si Anticariat Penzance, fondata in 1839, care a fost gazduit initial in cupola Market House din Penzance. In timpul anilor 1990 consiliul orasului a efectuat o renovare majora a cladirii, oferind posibilitati adecvate pentru adapostirea importantei colectii de arta. La primul etaj, exista camere dedicate pentru arheologia si istoria sociala a peninsulei Penwith. Crucea mare de granit situata in afara muzeului dateaza din secolul al XI-lea, locatia originala fiind insa Piata Verde din Penzance. In timp ce aceasta cruce se afla in piata, a fost declarata ca punct zero de masurare a distantelor, toate localitatile din cadrul a jumatate de mila departare de cruce clasificate ca apartinand districtului, trebuind sa plateasca impozit administratiei locale din Penzance. Crucea a fost mutata din Piata Verde in 1829 la o casa in North Street, iar cu ocazia demolarii acesteia, circa 1868, crucea a fost din nou mutata la capatul de vest al Market House. Crucea are o inaltime de 66 de metri.