　国分寺は、天平13年（741）聖武天皇の詔によって全国60余国に造営された僧寺（金光明四天王護国之寺）と尼寺（法華滅罪之寺）とからなる国立の寺院である。僧寺は釈迦如来、尼寺は阿弥陀如来を本尊とし、国家を護るための金光明最勝王経、大般若経、法華経の護国三法を根本教典とした。また、全国国分寺を統括する寺として、奈良東大寺・法華寺を総国分僧・尼寺とし、ここに律令国家の目指した日本全土を仏法に護られた地にするという仏教国家が完成した。

　上総国分寺跡地には、七重塔跡の礎石が残る。塔は礎石の間隔から推測すると相輪を含めて60m前後の高さであったと考えられている。上総国分寺の伽藍配置は藤原京の大官大寺に似たもので塔は中門と金堂で囲まれた回廊内の金堂手前右側に東塔だけがあったものと考えられている。塔跡のまわりは広い空き地で史跡指定地になっている。空き地の南には中門跡があり広い空き地から国分寺がいかに大きなものであったかがうかがえる。

　現在の上総国分寺は西を向いて諸堂が並んでいる。現在の仁王門の後方の林の中がかっての国分寺の金堂跡と伝られている。仁王門前方の車道に面したところには国分寺の西門跡があり発掘の結果三間一戸の八脚門であったことがわかっていて、更に門が建てられる前に南北5間12m、東西3間6.75mの掘立柱建物が建っていたことが確認されている。現在は西門の位置や規模がわかるように整備されている。

　仁王門の前右手に「将門塔」と呼ばれる宝篋印塔がある。説明板によると今は消滅してしまった菊間新皇塚古墳の墳丘上にあって将門の墓と伝えられてきたものだそうである。　しかし塔身に応安第五壬子十二月三日の銘が刻まれていて、将門の命日天慶三年二月十四日と違うことや、塔が南北朝時代のものと考えられることなどから将門に関連したしたものでは無いと考えられている。ただ塔は中世の遺物としては貴重なもので市原市の指定文化財になっている。　

現存する国分寺の薬師堂は、方三間入母屋造り茅葺きの建物で様式から考えて禅宗様の建物である。このお堂は堂内の墨書名から称徳5年（1715）頃の建立とされてる。お堂の右手には薬師堂復元記念碑が建っている。かって復元改築以前は「老朽著しく軒傾き雨露堂内に漏れ倒壊寸前の様相を呈し」と記念碑に書かれている。平成3年12月に落成した。

　上総国分尼寺の中門と回廊及び金堂の基壇が復元されている。上総の国分尼寺は寺域が広く、また発掘調査によって付属施設を含めて寺院の全貌がほぼ明らかになっている。市原市では平成5年から平成8年にかけて史跡の整備事業として中門と回廊の復元と展示館を建設した。

　上総国分僧寺跡は現在の国分寺の周辺から布目瓦が出土していたことから江戸時代よりその付近が国分寺跡と考えられて来たと言われる。大正13年（1924）に千葉県と内務省の調査により七重塔跡が確認され昭和4年（1929）に国の史跡に指定された。一方の尼寺跡はその所在位置が不明であったが、祇園原の老松付近に布目瓦の土壇があることからその場所が尼寺跡とされるようになった。

　上総の国分僧・尼寺跡では戦後まもない昭和23（1948）より現在に至るまでに三期にわたる調査が行われてきていて、尼寺跡では主要伽藍配置や規模ならびに構造と変遷がわかり、全国でも先駆けて尼寺の全貌が解明された。調査の結果として上総国分尼寺は地方の官寺として初めて尼坊等院や中心伽藍以外の政所院・賤院・修理院など運営施設を有することが確認され、規模的にも奈良の法華寺に匹敵するもので現在確認されている国分尼寺では全国最大のものである。

国分寺史跡の整備は公有化の終わった尼寺から始められ。金堂院の中門・回廊などを遺構の真上に原寸大で復元されることになり、平成2年から3ヵ年間は、文化庁の「ふるさと歴史の広場」事業として、史跡の案内施設である展示館を建設し、同時に中門の復元が行われ、平成5年8月から公開されている。さらに平成5年から4ヵ年間は、文化庁の地域中核史跡等整備特別事業として回廊を復元し平成9年7月より公開されている。今後は鐘楼の復元やその他の建物の基壇表示などが予定されているそうである。