Clermont County wurde 1804 im Rahmen eines von der Ohio General Assembly verabschiedeten Ermächtigungsgesetzes gegründet. Der County Seat befand sich in Williamsburg und bald darauf begann der Bau eines Gerichtsgebäudes. Die Kosten für das Gerichtsgebäude betrugen 1.499 US-Dollar und wurden von Nicholas Sinks entworfen. Die zweistöckige Steinstruktur war rechteckig und befand sich auf dem öffentlichen Platz. Das Gerichtsgebäude blieb bis 1823 in Betrieb.
Als Brown County 1817 gegründet wurde, ging ein großer Teil des Clermont County mit., Während dieser Zeit verlegte die Generalversammlung die Kreisstadt trotz Protesten aus Williamsburg nach New Richmond. Ein Standort wurde für das Gerichtsgebäude in New Richmond geplant und beiseite gelegt, aber nichts wurde jemals gebaut. Februar 1824 in Batavia umbenannt und wurde 1824 zum Verwaltungssitz erhoben.
Die Kommissare veranstalteten einen Wettbewerb für die Gestaltung des Gerichtsgebäudes und wählten die Pläne von Hesekiel Dimmit für 3,484 US-Dollar aus. Das Gerichtsgebäude wurde in einer Kombination aus föderalen und griechischen Wiederbelebungsstilen entworfen., Das Gebäude hatte eine rechteckige Form und enthielt eine zentrale Projektion, die eine Uhr enthielt und von einer Kuppel bedeckt war. Das Gerichtsgebäude blieb fast 108 Jahre im Dienst, bis die Grafschaft entschied, dass ein größeres Gerichtsgebäude benötigt wurde. Unglücklicherweise für die Grafschaft war ein aufwändiger Ersatz aufgrund der Weltwirtschaftskrise nicht möglich.