Esztergomban a mai Petőfi utca egykor régi római és középkori országút volt, melynek környékére örmények települtek az Árpád-korban. Községük a Villa Érmen nevet viselte. A tatárjárás következtében a kis örmény falu elpusztult, így a terület a magyar királyok birtokába került (V. László, II. Endre), akik a Szent Ágoston rendi szerzeteseknek adományozták. Az így létrejött egyházi központ köré keresztények települtek, akik Szent Anna tiszteletére templomot és hatalmas kolostort emeltek, melyben később teológiai főiskola is működött. A török uralom előtt a terület a kolostorról a Szent Anna kerület (contrata S. Annae) nevet kapta.
A török hódoltság korában újra elpusztult az itteni település, romjaira a XVII. sz. végén alakult az akkor Zsember (Sember) nevű falu. Ekkor már a település központja a mai Vörösmarty utca – Kölcsey utca vonala volt. A török kiűzése után, mikor az esztergomi káptalan visszakapta birtokát Szenttamást (Zsemberrel együtt), itt kezdett el berendezkedni. Esztergom töröktől való visszavétele és az érsekség visszaköltözése közötti időszakban – mintegy 140 éven át – a káptalan ügyeit kihelyezett kanonokok intézték. Az ő szálláshelyük Szenttamás község lett. Nagy valószínűséggel az 1730-as évek egyik esztergomi kanonokja építtette a káptalani házat.
1770-ben készült Felkis Antal (Antony Felkis) geometra térképe a káptalani városról. A rajzon jól látható az Esztergom és Szenttamás közötti határvonal (X jellel jelölve), valamint az A-val jelölt káptalanház épülete is. A káptalani városban szinte teljesen a mai utcarendnek megfelelő településszerkezet alakult ki. A káptalani háznak a városban betöltött központi szerepét bizonyítja, hogy az utak itt futnak össze, szinte egy pontban találkoznak, közvetlenül mellette van a plébániatemplom nélküli település polgárainak kápolnája, sőt a városháza is itt állt.
Az épületről jobbára csak azért emlékezik meg az irodalom, mert 1790. február 20-án a magyar királyi korona és a koronázási jelvények itt töltöttek egy éjszakát. Ez a nap – mint a korona Bécstől Budáig tartó útjának négy napja az egész országban – a város számára a legemlékezetesebbek közé tartozott.
Az épület az első világháború végéig, mint az esztergomi káptalan gazdasági és jogi központja működött. A háború után egy-két évvel a elcsatolás okozta birtokcsökkenés miatt már nem volt értelme ekkora épületet fenntartani erre a célra, ezért a káptalan úgy döntött, hogy volt ügyvédjének, Mike Lajosnak adja át életfogytiglan, ingyen az emeletet lakásul, cserébe azért, hogy az lemond a káptalantól őt megillető járandóságáról.
Az épület az ötvenes évek közepétől a pilisi erdészet tulajdonába került. Több, mint 20 év múlva, 1976-ban vette át a vízügy, majd az épület helyreállítása után 1980-ban megnyílt a Duna Múzeum első kiállítása Esztergomban.
