Должность была введена 3 апреля 1922 года на Пленуме ЦК РКП(б), избранного XI съездом РКП(б), когда в этом качестве был утвержден И. В. Сталин. Первоначально должность генерального секретаря ЦК носила скорее технический характер, но к концу 1920-х годов Сталин сосредоточил в своих руках столь значительную личную власть, что должность стала ассоциироваться с высшим постом в партийном руководстве, хотя Устав ВКП(б) не предусматривал её существование. После XVII съезда ВКП(б), состоявшегося в 1934 году, пост «генерального секретаря» переименовали в "первого секретаря", ЦК ВКП(б) избрал Секретариат ЦК ВКП(б) в составе А. А. Жданова, Л. М. Кагановича, С. М. Кирова и Сталина. Формального утверждения в должности «генерального секретаря» не проводилось, и Сталин прекратил использовать это словосочетание в официальных документах, подписываясь как «секретарь ЦК». Последующие обновления Секретариата ЦК ВКП(б) в 1939 и 1946 гг. также проводились с избранием номинально равноправных секретарей ЦК. На XIX съезде КПСС в 1952 г. Сталин подал в отставку с поста первого секретаря, но вновь был избран одним из секретарей на Пленуме 16 октября 1952 г., однако пост первого секретаря остался свободным. Устав КПСС, принятый на XIX съезде КПСС, не содержал никакого упоминания о существовании должности «генерального секретаря». В ноябре на заседании высшего партийного руководства без участия Сталина первым секретарём ЦК был избран Маленков, Георгий Максимилианович.
В сентябре 1953 года на Пленуме ЦК КПСС Маленков, являясь сторонником коллективного руководства, освободил пост Первого секретаря ЦК партии, на который был избран Н. С. Хрущёв. На XXIII съезде КПСС, состоявшемся при Брежневе, в 1966 году, были приняты изменения в Уставе КПСС, и должность «генерального секретаря» стала официальной.
* После смерти Брежнева Генеральным секретарём ЦК КПСС был избран Андропов, Юрий Владимирович.