说到刚到曼联时的情景，弗格森眼里有点哀伤，“船坞作坊经历了毁灭性打击，人们都消失了，那种环境自然也没有了。”这就是当时曼彻斯特的“原景”：不仅船坞自身，还包括自动化工业，轻工业，由于船坞的分崩离析，一大片地区的工业都消失了。现在，没有人再能够回想得起那一段是怎么样的时光，除了那些从小在这里长大的居民。老爵爷表示在那个时候，他就在哈兰德和沃尔夫船坞对面的地方长大，所以弗格森一直是在夜班工人走来走去的嘈杂、钳工榔头的噪声中成长起来的，但是弗格森那时候习惯了，不过现在他才发现其实做到这一点很难，因为他退休以后是在曼彻斯特宁静的城郊生活。
弗格森的童年和少年时期。虽然不是生活在底层家庭，但是家里的生活也不是太宽裕，因为在那时他不会拥有很多东西，但是老爵爷永远不会称之为贫穷，因为年轻的弗格森不认为那是贫穷，你总有饭吃，你总不会错过上学，你总是能够穿得很干净整洁，虽然没有专门的浴室，但是他们一家人有很大的澡堂，一周能洗一次，那时你会用力的把自己搓干净。那时每个人都是一样的，弗格森认识一些穷人家，他们的家庭很大，老爵爷至今还记得Law的家庭：Law的夫人有18个孩子，他们都和所有人一样住在一间房子里，弗格森还记得他们中的一个兄弟Joe，当他从朝鲜战场回来的时候，整个街区所有人都出来迎接他，隆重得像一场加冕仪式。因为整条街的街坊都是一体的，到处都是叔叔、阿姨、以及兄弟。
在社区里面，弗格森受到的“教育“很好，他们所做的所有事除了踢足球就是打架，那就是你在这片地区要做的事，你会有一种社区的真实感，因为他们都住得那么近，那么亲密。你有时会听到‘夜不闭户’的故事，但是那是真的，进屋你会看到一张字条“利琦(弗格森母亲的昵称)，有人拿走了一杯糖，”、“利琦，有人借了你的一些茶叶”或者“利琦，送你们一点松饼”，类似这样的。人们共同分享彼此的东西，只是出于互相帮助的单纯原因，而远不是你今天得到了什么。你认识所有的邻居，很可能和他们之中的半数人一起工作。那是紧密相连的关系。不像现在，弗格森甚至不认识他对面的邻居，尽管他们可能认识老爵爷。
从小热爱足球的弗格森很快就得到了加入球队的机会，尽管一度他还差一点只能以船工为主业，踢球只能是业余职业或者是兼职。16岁时，这位足球少年加入苏格兰最老的女王公园俱乐部，他当初踢的是前锋。他在足球领域的才华飞速成长，1960年弗格森加盟了圣约翰斯通队，四年之后他又加盟邓弗姆林俱乐部，正式成为职业球员。青年时期的老爵爷才得以离开克莱德河畔，离开高湾港区，正式展开自己的职业生涯。离开了高湾码头，弗格森是当时的优秀前锋，却因为机遇不够，他的职业生涯没有出过苏格兰。