Faktorshúsið á Djúpavogi var reist 1848 og er næstelst þeirra húsa sem uppi standa í sveitarfélaginu. Húsið stendur á grunni eldra húss sem, sem byggt var 1779.
Faktorshúsið og Langabúð hafa sett mikinn svip á byggðina við Voginn. Endurbygging Faktorshússins hefur staðið yfir í mörg ár en nú styttist í að húsið fái nýtt hlutverk m.a. sem upplýsingamiðstöð fyrir ferðaþjónustu.
Framkvæmdir við lóð Faktorshússins hófust í vor og miðar vel áfram. Einar E. Sæmundsen og Jóhann Sindri Pétursson hafa unnið fyrir hönd Landmótunar með sveitarstjórn að því að byggja upp umhverfi hússins og móta að nýju hlutverki. Endurgerð hússins hefur verið í höndum arkitektastofunnar ARGOS ehf., Arkitektastofu Grétars og Stefáns. Verktaki við lóðarframkvæmdir er Ari Ó. Jóhannesson.