Импульсом для второго этапа (начало XI в. — начало XVIв.) градостроительного развитияРыльска была его интеграция в состав Древнерусского государства на рубеже X—XI вв. С 988 года, по указу киевского князя Владимира Святославича, для оборонительной цели начали возводится города-крепости и формироваться военные поселения. В числе данных городов был основан Рыльск, на территории ранее уже существовавшего поселения, на горе Иоанна Рыльского был выстроен городской кремль.
Рыльская крепость занимала плоскую вершину Горы Иоана Рыльского. С запада и севера подступы к ней преграждали речки Дублянка и Рыло, с восточной — Сейм, а с южной — глубокий ров и земляной вал. В северной части городского укрепления находился княжеский двор, в южной — жили дружинники, кузнецы и воротники, в центре, вероятно, стояла церковь. К югу и западу от крепости находились посады — в тот период Рыльск расширялся в южном направлении.
Вплоть до конца XV в. основные силы только формирующегося поселения шли на оборону сначала от половцев и монголо-татарских племен, а затем от Литовского княжества. Не прекращающиеся сражения сказывалось на медленном процессе развития Рыльска как города.
Ситуация меняется, когда в апреле 1500 г. Василий Иванович Шемяка, получивший Рыльск и Новгород-Северский в наследство от отца, обратился к великому князю московскому Ивану III с просьбой принять его на службу с вотчинами, на что Иван III дал согласие.
Юридически Литва признала Рыльск за Российским государством в 1503 г. по договору о перемирии, заключенному по итогам русско-литовской войны 1500−1503 гг. Тогда Рыльск стал одним из ключевых пограничных опорных пунктов, что повлияло в дальнейшем на специфику его развития.
При Василии Шемяке территория города расширилась — в пределы городской черты был включен раскинувшийся на левобережье Дублянки посад. Вокруг для защиты от неприятеля был сооружен 5-метровый земляной вал, перед которым вырыли ров, в ширину доходивший до 7 м. На въездах в город были устроены ворота и подъемные мосты. Земляной вал протянулся от Рыло до современного домовладения № 29 по ул. 25-го Октября, затем прошел между кварталами улиц Урицкого и Ленина до перекрестка улиц Ленина и Куйбышева, а там повернул к Дублянке и окончился у Крутой (Ильинской) горы. Центр расширившегося города, таким образом, оказался примерно на месте современного Дворца культуры (к западу от южной части Советской площади). Здесь же Василий Шемяка поставил деревянную Спасо-Преображенскую церковь (она упоминалась в списках 1628 г., а в 1720 г. сгорела), а неподалеку от церкви расположилась съезжая изба (воеводская канцелярия). Площадь у церкви стала административной площадью города: тут собирался люд, объявлялись указы и распоряжения, устраивались показательные наказания провинившихся. А восточнее, ближе к Дублянке, была устроена торговая площадь, поблизости разместились также соляные и кожевенные склады, резницы (бойня и мясные ряды) и посад. Все постройки в Рыльске в тот период были еще деревянными[8].
Таким образом, в данный период складывается функциональное зонирование территории, сохранившееся до настоящего времени. Выделяется административно-торговое ядро города и посадские жилые районы. В это же период формируется Николаевский монастырь (Волынская пустынь).
Вплоть до второй половины XVIII века Рыльск сохраняет свою функцию пограничной крепости — военного форпоста.
Третий этап градостроительного развития приходится на период 1523 — 1720-е гг.
Основная масса население формировалась из сторожевых людей и казаков. На окраинах постепенно складывались городские слободы: с севера находилась Беломестная казачья слобода (современные улицы Островского и Первомайская), на юге, в район нынешних улиц Красноармейской и 40 лет Октября, располагалась другая казачья слобода.
Территорию, протянувшаяся по горам Иоанна Рыльского, Воскресенской и Ильинской (Крутой) горам, местное население называли Старым городом. С запада от Старого города, на правобережье Дублянки издавна находился посад, где имелась торговая площадь, что соответствует площади Советской (быв. Базарной). Вокруг всего города был устроен земляной вал, на котором также стояли башни.
В XVII веке в городе активно начала развиваться торговля. Из бывших военных зарождалось купеческое и торговое население. Строились гостиные дворы, лавки и склады.
В период эпохи правления Петра I Рыльск постепенно утрачивает статус города-крепости и начинает приобретать новое функциональное значение -центр торговли юго-западной части Российской империи. Крепость и военные укрепления постепенно ветшают и затем вовсе утрачиваются.
В данный период активно формируется структура города Рыльска, которая станет основой для современного устройства территории. Трассировка улиц исторической части города на рассматриваемом этапе складывалась с учетом особенностей рельефа и относилась к дорегулярному (живописному) типу. Участок между рек Дублянка и Сейм имеет пересеченный рельеф, что повлияло на естественное фрагментарное сохранение более древней дорегулярной структуры, сложившейся в соподчинении с природным ландшафтом.
На фиксационном плане «План города Рыльска с поселенными при нем слободами», предположительно выполненным во второй половине XVIII века перед разработкой регулярного плана города 1784 г., представлена градостроительная ситуация, сложившаяся к концу рассматриваемо этапа (Рис. 1.)