Развитием и совершенствованием гимнастики в СССР до 1949 года руководила Секция гимнастики при Комитете по физической культуре и спорту Совета Министров СССР. Точную дату создания этой общественной организации установить не удалось.
Наиболее вероятным годом создания руководящей организации гимнастов — Секции гимнастики — является 1930 год, когда был образован Всесоюзный совет по физической культуре и спорту (ВСФК) при Совете Народных Комиссаров СССР. Не установлено и имя первого председателя президиума Секции гимнастики. Предположительно им мог быть один из старейших гимнастов и тренеров по гимнастике — москвич Вячеслав Вячеславович Соколовский.
В последующие годы Секцию гимнастики а далее, с 1949 года, Федерацию гимнастики СССР, возглавляли: в 1937-1944 гг. — Белицкий И.М., в 1944-1948 гг. — Подвойский Н.И., в 1948-1950 гг. и 1972-1975 гг. — Бакланов Г.В., в 1950-1952 и 1968-1971 гг. — Миронов Н.Н., в 1952-1953 и 1964-1968 гг. — Рогульский Г.С., в 1953-1957 гг. — Лукьянов С.С., в 1957-1960 гг. — Пушнов С.В., в 1960-1961 гг. — Зеленко Г.И., в 1961-1964 гг. — Фролов В.П., в 1977-1979 и 1986-1992 гг. — Рогатин Б.Н., в 1980-1981 гг. — Попов Н.К., в 1979-1981 гг. — Хрунов Е.В. (летчик-космонавт, Герой Советского Союза).
После вступления в 1949 г. Секции гимнастики СССР в Международную федерацию гимнастики (ФИЖ), она стала именоваться «Федерация гимнастики СССР».