阿斯泰尔的父亲Frederick E. Austerlitz是一位信奉天主教的奥地利移民,母亲Ann Gelius是德国路德教派的后裔,而阿斯泰尔本人于1912年成为一名圣公会教徒。Frederick E. Austerlitz为寻找工作机会从纽约搬到奥马哈,在那里遇到Ann Gelius并与其结婚。Adele是两人的第一个孩子,弗雷德·阿斯泰尔大约在十八个月后出生。Adele从小就显示出舞蹈和歌唱的天赋,他们的母亲Ann希望离开奥马哈开始利用孩子们的才能。Ann设想一个在当时很常见的由姐弟构成的表演综艺节目的组合。尽管小弗雷德一开始拒绝参加舞蹈课程,并因此经常跟不上姐姐的步子。后来小弗雷德开始学习演奏钢琴、手风琴和单簧管。父亲突然被解雇后全家搬到纽约,由此开始姐弟俩的商业性演出。Adele和小弗雷德刚开始被含有敌意地嘲弄,但幸运的是姐弟俩很快凭借各自的的才能获得公众的好评。阿斯泰尔这个名字取于1905年,目的是为了方便姐弟俩准备表演前用歌舞形式做自我介绍。家里人带有传奇色彩地说这个来自于一个姓"L'Astaire"的叔叔。最终他们的表演成型,并称为少年艺术家表演令人震惊、新颖的音乐足尖舞。在这表演中的前半部分阿斯泰尔穿着燕尾服、戴着一顶大礼帽,在后半部分穿着龙虾套装。这场滑稽的节目于港口城市新泽西的一家实验剧院首演,当地报纸报道说“阿斯泰尔姐弟是歌舞杂耍表演中最杰出的儿童”。一段时间过后,由于小弗雷德能带来教大商业利润,他们获得了一份合同开始在美国巡演,其中包括他们的老家奥马哈。后来由于Adele长得略高阿斯泰尔三英寸,两人的合作开始显得不协调,加上当时童工法的限制,由此全家暂停了演出两年。姐弟俩的表演事业尽管借着运气重新开始,在加入踢踏舞到他们传统舞蹈路线的表演后,两人 的表演依旧不断进步。从Aurelia Coccia那里他们学到了由Vernon和Irene Castle引起流行的探戈、华尔兹等多种舞厅舞。在此时弗雷德已开始经常创造新的舞步,尽管在巡演中这些新的舞步被人批评,但弗雷德依旧不断努力完善它们。1917年,出演带有爱国色彩的时事讽刺剧《Over The Top》标志他们进入百老汇。之后他们参加了许多演出,Heywood Broun对他们1918年的《The Passing Show》评价说“在这个夜晚的表演里有大量优秀舞蹈,弗雷德·阿斯泰尔作为一颗新星升起了……他和他的搭档阿黛尔·阿斯泰尔以优美灵活的舞蹈结束了当晚表演”。在这个时候弗雷德的舞蹈技巧已开始超过他的姐姐,但是此时阿黛尔依旧控制他们舞蹈的节奏,她的活力与幽默吸引了大量关注,而这也有一部分弗雷德细心准备和舞蹈配合的功劳。有些资料说阿斯泰尔姐弟早在1915年就出演了一部由玛丽·毕克馥主演的电影,但阿斯泰尔姐弟否认了此事。在寻找新的音乐和舞蹈创意时,弗雷德·阿斯泰尔第一次遇到了乔治·戈尔斯温(George Gershwin),而乔治当时在Jerome H. Remick's担任歌曲的宣传者。两人偶尔的会面对两人后来的事业有深远影响。