Мэдсен родилась в Чикаго, штат Иллинойс. Она является дочерью Элейн Мэдсен (урождённая Мелсон), поэтессы, режиссёра и драматурга, которая часто работала на PBS, и Кельвина Мэдсена, пожарного. Мать Вирджинии Мэдсен оставила работу в PBS, чтобы больше времени уделить литературной деятельности. Её старший брат — известный актёр Майкл Мэдсен. Её дедушка и бабушка по отцовской линии переехали в США из Дании в начале XX века, а у её предков по материнской линии есть ирландские и индейские корни.
Мэдсен является выпускником средней школы «Нью-Триер» в городе Виннетке, штат Иллинойс[9][10]. После окончания школы Вирджиния училась в актёрской студии Теда Лисса в Чикаго и посещала семинар в театре «Harand Camp Adult Theater» в Элкхэрт-Лейк в Висконсине.