В 1957 году окончил школу и поступил на актерский факультет Театрального училища имени М.С. Щепкина при Малом театре СССР на курс В.Н. Пашенной и В.И. Цыганкова. Его однокурсниками были: Юрий Соломин, Виктор Борцов, Роман Филиппов, Алексей Эйбоженко, Павел Кашлаков, Юрия Платонова и другие. Окончил училище в 1961 году. В 1961-1963 годах артист Московского театра Драмы и Комедии на Таганке. Уволился из-за претензий профкома, связанных с богемным образом жизни. После этого работал во многих театрах: С июля по август 1963 года - в Московском литературно-драматическом театре ВТО; С 1963 по 1965 год - в Московском гастрольном театре Комедии; Сезон 1965-1966 года в Ногинском драматическом театре; С сентября 1966 по 1967 год - в Государственном драматическом театре Белорусской ССР в Минске; В 1967 году - в Московском театре массовых представлений; С 1967 по 1968 год - в Драматическом театре города Шахты Ростовской области; С 1968 по 1969 год и в 1970 году - в Мичуринском городском драматическом театре; С 1969 по 1970 год - в Омском областном драматическом театре; В 1970 году - вновь в Мичуринском городском драматическом театре; С 1970 по 1972 год - в Драматическом театре Балтийского флота имени Всеволода Вишневского в Лиепае. Вернувшись в Москву поступил в труппу Московского областного театра драмы. В этом театре Варганов работал с 1972 по 1980 год с перерывом в 1978 году, когда он выступал в Московском академическом театре имени В.В. Маяковского. В 1980 году Варганов окончательно перешёл в театр имени Маяковского, где и работал до конца жизни. Наиболее запоминающиеся киноработы - эпизодические роли в философских фильмах «Убить дракона» и «Официант с золотым подносом», а также роль жулика Пузановского в сериале «Следствие ведут ЗнаТоКи», дело №18, «Полуденный вор». Умер 25 января 1995 года в Москве. Похоронен на Кузьминском кладбище (участок № 76) рядом с матерью.