皮特·西格出生在纽约曼哈顿的中城。他的父亲查尔斯·路易斯·西格(Charles Louis Seeger)是一位音乐者。他的母亲是一位古典小提琴演奏家和教师。皮特·西格7岁的时候,他的父母离婚,他的继母露丝(Ruth Crawford Seeger)是一位出色的作曲家。他的长兄查尔斯·西格(Charles Seeger III)是一位射电天文学家,他的二哥约翰·西格(John Seeger)执教于道尔顿学校。皮特的叔叔阿兰·西格(Alan Seeger)是一位诗人,在一战中阵亡。他同母异父的妹妹,佩吉·西格(Peggy Seeger)也是一位著名的民歌表演者,她嫁给了Ewan MacColl,此人被誉为英国民歌之父。皮特的同父异母弟弟迈克·西格是新失落城漫游者乐队(New Lost City Ramblers,该乐队在民歌复兴时期曾经名噪一时,录制了许多民歌音乐)的创始人,乐队的成员之一约翰·科恩(John Cohen)与皮特的另一个同父异母妹妹佩妮·西格结婚。