1954年３月13日，苏共中央总书记赫鲁晓夫决定将国家安全部门从内务部划出，组建国家安全委员会，直属部长会议。一直到1978年，克格勃成为国家级机构，正式的名称是苏联国家安全委员会。
这就是克格勃的历史，也是一个世界上最知名的特务组织。一个国家的安全在任何国家首脑看来都是重中之重的大事。除了军队以外，任何国家都有严密的安全组织。作为前苏联——一个在国际上很有影响力的社会主义国家来讲，内外危机四伏，必须要有一个健全而又能力超群的组织来为其服务。克格勃的内部组织机构是非常健全而合理的。
克格勃共有4个总局(相当于部级)、7个管理局和5个独立处。
4个总局各有分工：
第一总局，主管对外间谍情报工作。下设4个局，3个室和16个处。
第二总局，主管国内反间谍反颠覆工作，下设3个业务局、8个业务处和8个地区处。
第三总局，主管边防军的总局，下面设有司令部、后勤部、海军局、空军局、边防技术研究室等部门。该总局拥有30支陆军总队、7支海军巡逻队和5支空军大队，共计30万人。
第四总局，即秘密警察总局，其任务主要是镇压一切来自国内外的反动分子和反动活动。该局是克格勃意识形态的心脏，专门暗中反对各类政治上的敌对者。
7个管理局包括：军队管理局(第三局)、技术管理局(第六局)、监视监察局(第七局)、通讯管理局(第八局)、警备管理局(第九局)、行政管理局和人事管理局。
5个独立处包括：特别案件调查处、活动经验分析处、国家通讯处、保卫处和档案登记处。
在当时，想要进入克格勃工作是很难的事情，他们在挑选成员上有很大的“讲究”。普京曾经历过这样的“讲究”。这其中还要分为如下几步：
第一步，看长相。克格勃多会挑选那些相貌普通、没有明显生理特点的人作自己的工作人员，因为只有这样的人在工作中才会更不容易给别人留下深刻的印象，从而被轻易地识别出来。
第二步，看性格。该人一定要为人机智、易于共事、意志坚强和具有正常的性观念。
第三步，看档案。在经过以上两个程序之后，克格勃还会调阅候选人的档案。主要是查看其家庭出身，有无国外关系以及是否受到刑事处罚等内容。克格勃一般对出身于清白的平民家庭、没有海外背景的青年人比较欢迎。
第四步，多样形式的考察。克格勃对经过三关而确定的候选人将进行严格的审查。包括对候选人的电话进行监听（一般是半年时间）；对其日常行动进行严密跟踪监视；向其邻居详细询问有关候选人的各种情况等等。
第五步，找被考核人谈话。鉴于克格勃工作的危险性，加之“肃反委员会”和其后的克格勃在处理“大清洗”等事件中都犯有很多错误，苏联许多民众对其并没有太多的好感，因此克格勃在吸收新成员前都要与其进行谈话，要求其做出自愿加入安全部门工作的表示，以免在以后的工作中陷入被动。
仔细看来，进入任何一个国家机关，都会有这样的程序。但克格勃与别的机关不同的是，他们是严格按照这些步骤来审查欲加入者的。许多人往往在第二关就被“拿”下了。
