Cladirea Primariei din Ulm se numara, nu in ultimul rand din cauza frescelor sale si a ceasului astronomic, printre monumentele cele mai remarcabile ale orasului. Istoria complexului arhitectural, care este alcatuit din trei componente diferite, a inceput in secolul al XIV-lea. Cel mai vechi corp de cladire, intre timp demolat, se afla in partea de nord a cladirii actuale. In 1357 aceasta era numita Gewandhaus, iar in 1362 era mentionata ca magazin. Accentul comercial in acea vreme era pus pe comertul cu fier, sare, si in special de finet. In 1369, selarii au primit dreptul de a isi vinde aici produsele.

In 1370 a fost construita prelungirea aripii de est a actualei primarii, atunci cunoscuta sub numele de "noul magazin”. La parter exista o sala inalta de 8 metri destinata vanzarii produselor din carne. In 1383, cladirea era cunoscuta sub numele de Casa Tribunalului, deoarece pe partea de nord avea un pridvor deschis, iar in acest loc Curtea Inferioara tinea judecati publice.

O replica a masinariei de zbor a croitorului local Ludwig Berblinger este prezenta in interiorul cladirii Rathaus, pictata cu multa minutiozitate. In 1811 Berblinger, un croitor excentric local, a cusut o pereche de aripi si a cazut zgomotos in apa incercand sa zboare peste fluviu. Nu a reusit sa ajunga pe cealalta parte a raului, dar a ocupat un loc in cartile germane de istorie pentru efortul sau.