Хотя в юности Гафт был застенчивым и робким, он всегда отличался влюбчивостью. Первым увлечением актера стала студентка МГУ Дина, в присутствии которой парень гонял мяч, стараясь выглядеть спортивным и ловким. Чувство Валентина Иосифовича осталось безответным: девушка посвятила жизнь науке, а он — ринулся завоевывать театральный мир. В начале карьеры Гафт познакомился с манекенщицей Аленой Изоргиной, работавшей в Доме моделей на Кузнецком Мосту. При виде девушки прохожие оборачивались, мужчины выстраивались в очередь, мечтая пригласить ее на свидание. Завоевать такую даму было непросто, но актеру удалось отыскать ключ к ее сердцу. Влюбленные поженились и перебрались в комнату Алены, которую приходилось делить не только с ее мамой, но и с многочисленными питомцами: супруга оказалась неравнодушна к животным, то и дело притаскивала в квартиру котят, раненых птиц и собак.

«Я был слишком молод, чтоб совсем не увлекаться другими женщинами, — говорил Гафт о причинах краха брака. — В конце концов, Алена тоже встретила другого человека и полюбила его. Это был киновед Даль Орлов». После развода актер закрутил роман с художницей Еленой Никитиной. От любовной связи родился сын Вадик, однако о его существовании Гафт узнал только через три года: Елена ничего не требовала от артиста и не хотела обременять его обязательствами. В итоге Никитина переехала с ребенком в Бразилию, а общаться с отцом Вадим начал лишь после своего 40-летия.

Второй супругой звезды стала Инна Елисеева — девушка из обеспеченной семьи, дочь лауреата Сталинской премии. Характер у жены оказался тяжелым, зато она была недурна собой и в целом производила впечатление сильной личности. В браке у пары родилась дочка Ольга, но даже это не изменило пренебрежительного отношения тещи и тестя к бедному актеру. «Как-то за обедом я спросил, можно ли мне еще цыпленочка, а мне ответили: «Вот когда будете зарабатывать, тогда и получите». И я ушел из этого дома навсегда. Почему-то пишут, что Инна была балериной, но нет — она вообще нигде не работала», — комментировал Гафт. Звездный отец полагал, что учеба могла отвлечь девушку от личных проблем: ссоры с матерью, несчастливая любовь. Неприятности подтачивали чувствительную Ольгу год за годом, а в 2002-м она покончила с собой. Мог ли Гафт что-то изменить? Какая именно причина толкнула наследницу на суицид? «Оправдания нет, вину мою исправить нельзя», — вынес артист приговор самому себе. Утешение актер пытался найти в новых отношениях, с виолончелисткой Госоркестра Аллой. Однако женщина оказалась слишком ревнивой: подозревала артиста в интрижках с Лией Ахеджаковой и Ириной Алферовой, устраивала публичные скандалы, так что долго роман не продержался.