矢来町の大部分は旧酒井若狭守の下屋敷でした。
矢来という言葉は、竹や丸太を組み、人が通れない程度に粗く作った柵のことです。正保元年（1644年）、江戸城本丸が火災になったときに、第3代江戸将軍の家光はこの下屋敷に逃げだし、御家人衆は抜き身の槍を持って昼夜警護したといいます。以来、酒井忠勝は垣を作らず、竹矢来を組んだままにしておきます。矢来は紫の紐、朱の房があり、やりを交差した名残りといわれました。
江戸時代での酒井家矢来屋敷を示します。なお、酒井家屋敷の右上端から左上端（牛込天神町交差点）までを、俗に矢来下といっています。
明治５年、早稲田通りの北部、つまり12番地から63番地までの先手組、持筒組屋敷などの士地と、１番地から11番地までの酒井家の下屋敷を合併し、牛込矢来町になりました。下図は明治16年、参謀本部陸軍部測量局の「五千分一東京図測量原図」（複製は日本地図センター、2011年。インターネットでは農研機構）。酒井累代墓なども細かく書いています。
明治18年ごろは下図。池があるので、かろうじて同じ場所だと分かります。何もない荒れた土地でした。なお、以下の地図は『地図で見る新宿区の移り変わり』（新宿区教育委員会、昭和57年）を使っています。
明治28年頃（↓）になると、番号が出てきて、新興住宅らしくなっていきます。１番地は古くからの宅地（黄■）、３番地は昔は畑地。７番地（水色■）は長安寺の墓地だったところ。８、９番地（赤■とピンク■）は山林や竹藪、11番地は池でした。それが新しく宅地になります。
３番地には字として旧殿、中の丸、山里の３つができます。旧殿は御殿の跡（右下の薄紫■）、中の丸は中の丸御殿の跡（右上の濃紫■）、山里は庭園の跡（左の青■）でした。
矢来町の３個の字
11番地は庭園で、ひたるがいけ（日下ヶ池）を囲んで、岸の茶屋、牛山書院、富士見台、沓懸櫻、一里塚などの由緒ある建物や、古跡などがありました。将軍家の御成も多かった名園でした。 矢来倶楽部は９番地（ピンク■）にあり、明治二十五年頃に設立しました。
矢来倶楽部。東陽堂編『東京名所図会』第41編（1904、明治37年）
最後に現代です。矢来町ハイツは日本興業銀行の寮からみずほ銀行社宅になっていきます。
牛込中央通りを見た360°写真。上下左右を自由に動かすこともできます。正面が矢来ハイツ。