Улица возникла в 1956 году на месте нескольких средневековых улиц на Замковой горе (Рыбная, Школьная, Гостиная и др.), полностью разрушенных во время войны. Сначала называлась Новая улица. В 1965 году переименована в улицу Рыльского – в честь поэта и общественного деятеля, академика Академии наук УССР Максима Рыльского.