Město při soutoku Úpy s Janským potokem se vyvinulo z osady, která byla založena v souvislosti s rýžováním a těžbou zlata. Zlatokopové postupovali proti proudu potoků až k původním žílám, kde otvírali šachty a postupně přecházeli na hlubinnou těžbu. Důlní práce skončily roku 1772. Dnes je Svoboda nad Úpou vyhledávaným letoviskem a nástupním místem k túrám do hor. Jeho středem je protáhlé nepravidelné náměstí, v jehož okruhu se dochovalo několik barokních a klasicistních domů i roubených lidových staveb. Jihovýchodně od náměstí stojí pozdně barokní kostel sv. Jana Nepomuckého z 18. století.
