Отец С. В. Ковалевской очень недоверчиво относился к журналистам и литераторам. Он считал, что в отношениях с ними нужно быть чрезвычайно осторожными. И просил жену ни в коем случае не оставлять дочерей наедине с писателем. Встреча прошла напряженно: Анна сердилась и молчала, «мама изо всех сил старалась завязать интересный разговор», «две старые тетушки-немки поминутно выдумывали какой-нибудь предлог появиться в комнате, с любопытством поглядывая на писателя, как на какого-то редкого зверя, и, наконец, кончили тем, что уселись тут же на диване, да так и просидели до конца его визита». А сам Ф. М. Достоевский «конфузился среди всех этих старых барынь» и ушел, «никому не подав руки».

Достоевский был частым гостем в доме. Юношеская восторженность Софьи напоминала влюбленность, но с годами переросла в дружбу.