Г. Г. Ягода (1934—1936) • Н. И. Ежов (1936—1938) • Л. П. Берия (1938—1945) • С. Н. Круглов (1945—1946)
И. А. Серов • М. П. Фриновский • Л. М. Заковский • Я. С. Агранов • Г. Е. Прокофьев • М. Д. Берман • Л. Н. Бельский • В. М. Курский • В. В. Чернышёв • М. И. Рыжов • С. Б. Жуковский • Л. П. Берия • Г. В. Филаретов • В. Н. Меркулов • И. И. Масленников • С. Н. Круглов • В. С. Абакумов • Б. П. Обручников • А. П. Завенягин • Л. Б. Сафразьян • А. Н. Аполлонов • В. С. Рясной
Государственной безопасности • Рабоче-крестьянской милиции • Пограничной и внутренней охраны • Пожарной охраны • Экономическое • Транспортное • Лагерей • Тюремное • Шоссейных дорог • Государственной съёмки и картографии • Мер и весов • Строительства Дальнего Севера
Коллегия • УГБ • Управление особых отделов • Управление транспорта и связи • Управление особого строительства • Управление коменданта Московского Кремля • Административно-хозяйственное управление • Управление по делам военнопленных и интернированных • Особое совещание • Следственная часть • Секретариат • Проверочно-фильтрационные лагеря • Школа особого назначения • Ансамбль песни и пляски • Территориальные органы