赤坂地区在1567年成立为人继村。关于赤坂地名的由来有两种说法:一种是过去纪伊国坂有着大量红土因而得名;另一种说法是赤坂过去称为‘茜坂’,因此地茜草杂生而得名。江户时代,今日元赤坂附近建成町屋、武家屋敷,逐渐发展为市区。明治时代,1878年郡区町村编制法实行,本地属东京15区中赤坂区的一部分(港区前身)。过去大名屋敷、旗本屋敷所在的高地地区变为官吏、军人、资产阶级家庭组成的住宅区,其他地区则是平民住宅区、个人商店、高级料亭、旅馆的聚集地。1966年实施住居表示,赤坂一丁目至赤坂九丁目、元赤坂一丁目・元赤坂二丁目成立,1967年赤坂葵町改为虎之门二丁目。昭和30年代初至昭和55年间,赤坂与银座并列为高级的繁华街,高级料亭、卡巴莱、夜店、Go Go Club等聚集于此。