В 1795 г. (28 июля) Росси поступил на службу в Адмиралтейское ведомство «чертежником в чине сержанта», а через пять месяцев (1 января 1796 г.) он уже стал прапорщиком; в конце года он был переведен в «Кабинет его величества» на должность «заархитектора», где проработал 36 лет.
В 1802 г. Росси вместе с Бренна уезжает в Италию. Но уже в следующем году его срочно вызывают в Россию для восстановления подвергшегося пожару Павловского дворца. Затем Росси вновь отправился за рубеж, где пробыл до 1805 г., посетив Францию и усердно занимаясь во Флорентийской академии. К этому времени Росси сформировался как авторитетный зодчий с европейским кругозором, в связи с чем в 1806 г. ему присваивается звание архитектора.
1807—1813 гг. относятся к московскому и тверскому периодам творчества Росси. Он работает в «Кремлевской экспедиции», занимаясь строительством на территории Кремля. В 1809 г. Росси приступает к перестройке Тверского дворца — резиденции генерал-губернатора Тверской, Новгородской и Ярославской губерний принца Ольденбурского — мужа сестры Александра I.
В 1814 г. Росси переводят в Петербург, где до 1819 г. он работает на
Императорских фарфоровом и стеклянном заводах, создавая эскизы разнообразных изделий и одновременно все
более расширяя свою проектную и строительную деятельность. С 1814 г. Росси
разрабатывает проекты для Павловска:
пристройки зала к Розовому павильону,
Чугунного моста через Славянку,
Большого трельяжа, Павильона Марии,
Триумфальных ворот.
На 1816—1832 гг. приходится расцвет
творчества Росси. В этот период он
строит грандиозный комплекс архитектурных ансамблей («ансамбль ансамблей»), простирающихся от Фонтанки
до Невы и вдоль Невы от Петровской
площади до Суворовской.
В эти годы были сформированы:
дворцово-парковый ансамбль на Елагином острове;
ансамбль Александрийского театра,
включающий две площади и Театральную
улицу (ныне улица Зодчего Росси);
ансамбль
Михайловского дворца с одноименной
площадью (ныне пл. Искусств), Михайловской улицей (ул. Бродского) и Михайловским садом;
образована Петровская — Сенатская площадь (Декабристов).
Венцом всех этих градостроительных и архитектурных шедевров является Дворцовая площадь, обрамленная огромной дугой здания Главного штаба и
зданий министерств, связанных величественной аркой.
Академия художеств избрала К. И. Росси почетным вольным общником, а Флорентийская академия присвоила ему звание профессора первой степени. Однако известного и еще полного сил зодчего морально принудили в 1832 г. уйти в отставку. Умер Росси в 1849 г. в Петербурге.
Карл Иванович Росси вошел в плеяду крупнейших мастеров мировой архитектуры как создатель шедевров русского классицизма и грандиозных архитектурных ансамблей.