Kong Oscars gate 62 ble tegnet av arkitektene Fredrik Arnesen og Arthur Darre Kaarbø, og den herskapelige bygningen stod ferdig i 1913. Ved ferdigstillelsen flyttet Westfal-Larsen og flere andre rederivirksomheter inn i bygget, som på folkemunne ble kalt «Rederhuset». Westfal Larsen kjøpte senere aksjemajoriteten i selskapet som eide bygget.

Bygget ble rehabilitert i 1997 da Kunsthøyskolen flyttet inn. Kunsthøyskolen har vært leietakere de siste 20 årene, før de flyttet til nye lokaler i august 2017. Nye leietakere er Kirkens Bymisjon, som overtok i september 2017.