在尼西亚大公会议之前，教会的组织，主要体现在“历史的主教制”上。在古教会中所遗传下来的神迹奇事和特殊的属灵恩赐，终于被教训和崇拜方面的形式主义所替代。基督教在罗马帝国中的传播及向西发展，均受到了罗马人爱好律法与秩序等等天性的影响。教会将信徒与上帝的关系看作是两造之间的契约关系，这些原因都加快了主教制的设立。
特别要说明，主教制的设立还有一个最重要的原因，就是当时的教会要面对异端邪说对教会的攻击。教会要反对诺斯底主义，特别是要针对孟他努主义，教会不得不在组织上有所改革。孟他努主义认为那些要被委任为教师职和牧师职的人，并不能以外在的授权礼和主教统绪为标准，而是要靠上帝圣灵的直接恩赐。孟他努主义的这种主张其实是更加坚定了主教职，因为教会认识到只有主教制才能有效地防御孟他努主义那种分裂教会的势头。
教会内部深深地感觉到主教的权力是必不可少的，因此拥护主教权力的人越来越多，再加上一些主教也为主作了美好的见证，特别是有一些主教勇敢的殉道就更增加了主教这一神职的威望。教会中新的一代也已经长大成人了，这一代人并不是直接从异教被引进到教会中的，他们多出生在基督徒的家庭中，并且在这样的家庭里教养成人的。因此很多的基督徒，他们宁愿依靠组织这种外表的宗教势力，却不再去依靠圣灵的直接恩赐。其实主教制的产生也是蕴含了教会中许多的世俗化危机。
基督教的信仰在这个时期，远不如从前那样纯粹，但是教会在组织方面却比从前更加坚强了。教会在组织上逐渐形成了一种趋势，就是以一位独掌大权的最高职员为其首领，来领导信徒，并来防止异端邪说的侵袭。
当时的教会中相信一件事情，唯独主教是奉了上帝的召命来作教会领袖的，并且相信主教在哪里，那里才有教会，又相信基督徒只能通过与主教相交而与基督相交。这就是后来罗马教皇制形成的主要的原因，因为那些地方教会的主教的权威远远比不上罗马教会主教的权威。
到主后476年，罗马帝国崩溃之时，教会已逐渐形成了一种强大的组织，这种强大稳固的组织不仅在教会中发生作用，并在世界上，在社会潮流中也发生了巨大的影响。在另外一方面来说，这种强大的组织在职权上的滥用也导致教会的衰退，也导致后来教会势必要有一个彻底的调整。其实这也是后来新教改革者——马丁·路德进行宗教改革的原因之一。
神学家居普良（Cyprian of Carthage, 主后195-258年）表达了新的教会观， 主教在教会里面，教会在主教里面；凡不与主教同在的都不在教会里面。” 在这个以主教为基础上组成的教会才是唯一的和大公的或普遍的教会。在这个教会以外没有救恩。主教应该组成一个议会，就是“主教团”。主教团的面貌直接影响着教会的发展和建设的。主教团的合一就是普世教会合一的基础。
