1868年1月10日（慶応3年12月16日）、江戸（現東京都）芝中門前町（現在の芝大門）に生れる。
父は幇間で根付師の尾崎谷斎（惣蔵）、母は庸。もともと尾崎家は伊勢屋という商家であると推定されるが、
惣蔵の代には既に廃業していたようである。
紅葉は父の職業を恥じ、親しい友人にもその職業を隠していた。
伊勢屋は呉服屋説と米問屋説があるが不明である。1872年（明治5年）、母と死別し、母方の祖父母荒木舜庵、
せんのもとで育てられる。寺子屋・梅泉堂（梅泉学校、のち港区立桜川小、現在の港区立御成門小）を経て、
府第二中学（すぐに府第一中と統合し府中学となる。現在の日比谷高校）に進学。
一期生で、同級に幸田露伴、他に沢柳政太郎、狩野亨吉らがいたが、中退。
愛宕の岡千仭（岡鹿門）の綏猷堂（岡鹿門塾）で漢学を、石川鴻斎の崇文館で漢詩文を学んだほか、
三田英学校で英語などを学び、大学予備門入学を目指した。