Здание на территории усадьбы было построено в 1790 году по проекту архитектора Джакомо Кваренги. В XVIII-XIX веках усадьба была частным владением. По фамилии последних владельцев Жерновку также называют дачей Безобразовых.
После революции здесь располагался клуб для заводских рабочих, в 1923-м часть парковых земель отдали под пашню, для чего вырубили часть деревьев.
Впервые усадьба Жерновка была взята под государственную охрану 19 апреля 1924 года. Формально здание находилось в статусе охраняемого до 22 июня 1938 года. Второй раз под госохрану Жерновку взяли 30 августа 1950 года как памятник архитектуры ХVIII века.
Последний раз капитальный ремонт усадьбы проводился в 1976-1984 годах. Единственной оригинальной сохранившейся постройкой является невысокий усадебный дом классического стиля с большими арочными окнами с четырехколонным портиком на южном и балконом на северном фасаде.
Усадьбу Жерновка с садом и прудом признали памятником архитектуры федерального значения в 2001 году.
В январе 2023-го начался процесс передачи объекта в собственность города, решение о передаче объекта в федеральную собственность вынесут в ближайшее время.