Первыми хозяевами усадебного места были некие Щербаковы. Александр Щербаков, впоследствии генерал-губернатор, писал: «В Ставрополе моя мать имела дом на Воробьевке, в котором жили такие личности как декабрист Палицын, доктор Майер, унтер-офицер Бестужев, незабвенный поэт Лермонтов».
Первоначальный образ этого легендарного дома до нас не дошел, говорит ставропольский краевед Герман Беликов. Но можно предположить, что это было деревянное строение – оштукатуренное и побеленное под тесовой или камышовой крышей. С западной стороны усадьбы располагалась веранда, дошедшая до наших дней.
Старожилы утверждают, что в глубине усадебного места, у обрыва к Ташлянской долине находился еще один дом под камышовой крышей. Вниз по склону тянулся большой фруктовый сад, переходящий в дремучий Архиерейский лес. Наверняка, выглядело это очень живописно.
Как свидетельствуют архивные документы, в 40-е годы XIX столетия усадьба Щербаковых перешла во владение советнику полковника Щербине. Новый хозяин стал сдавать усадьбу под филиал военного госпиталя.
Затем домом стали владеть Динники. Николай Динник был видным естествоиспытателем. Его перу принадлежали статьи в журнале «Природа» и «Звери Кавказа». Неудивительно, что в «лермонтовском домике» он позднее обустроил зоологический музей, в народе именуемый Охотничьим домиком.
Сегодня о том, что в этом доме в 1840-41 годы жил великий Лермонтов, напоминает мемориальная доска, установленная на фасаде здания в 1927 году.