1995年，31岁的马云在接受浙江电视台采访的时候表示：21世纪实际上是个电脑的世纪，是Internet的世纪，由于有了Internet，世界变得更小。现在对中国的很多企业来说，应该充分抓住这个机会，把自己的企业走向全世界，来应用好这个信息高速公路。
1995年3月，马云从杭州电子工学院外办主任的位置上辞职，直到当年6月1日才正式得到批准。外办主任在学院里也是不大不小的官，在当时已经相当于处级干部了，在加上被领导赏识和重用，还没有过31岁生日的马云可以说正值事业上升期，前途无量，但他依然毅然决然的打破了自己手里的铁饭碗，选择了创业这条路。
据说，马云辞职前还有些犹豫，但是有一天下班的时候，在校园里碰到系主任，看到他骑着一辆自行车，车把上挂着两把刚从菜市场买回来的菜。马云突然意识到，“如果在学校待下去，他的现在就是我将来的样子”，这才让马云有了辞职的决心。
后来，马云谈起辞职的这段往事，是这样说的：“我从学校里出来的目的，不是为了挣钱，当然挣钱不是坏事，理直气壮地说，创业者一定要挣钱，但是我确实当时出来，不是为了挣钱。我在29岁那年，被学校评为十大杰出青年教师，但我是本科生，十年以后我凭什么跟那些更优秀的年轻人竞争。在创业过程中的任何经历，再回学校的时候我可能超过任何一个教师的一个经历，所以出于这个目的，我离开了大学，去创业。”
或许正是对一眼看得见的平淡未来的抗拒，以及对未来风险的一种危机感，马云选择辞职创办了中国黄页，进入的领域正是互联网。
1995年，马云受浙江省交通厅委托作为翻译，到洛杉矶沟通落实一起高速公路投资，结果无功而返，马云从洛杉矶飞到西雅图参观了VBN公司，看到几个年轻人在鼓捣电脑，马云非常好奇，身边朋友说你要不试试，于是打开Mosaic浏览器，键入Lycos.com，马云怯生生地输入了几个英文字符：Chinese。
正是这次经历，让马云见识到了互联网的魅力，更让他认准了互联网是未来发展的趋势，回国之后，马云就召集了亦师亦友的24个朋友，给他们滔滔不绝的讲述了自己关于互联网的所见所闻，可惜的是，无论他说的天花乱坠，这些朋友大多数面面相觑，直呼听不懂。
再回过头来看，1995年马云接受浙江台采访的这段话，他对互联网的阐述和介绍，都证明了其超前眼光的正确性。
不过，既然身边朋友没看懂，马云就从学校辞职单干，自己拿出7000元积蓄，又从妹妹、妹夫那里借了一万三，凑了2万块钱，成立了中国第一家互联网商业公司--杭州海博电脑服务有限公司，包括马云和夫人在内共有3名员工，开启了马云互联网创业的第一步。
1996年3月，杭州电信也推出了类似于中国黄页的业务，马云选择合并入股；
1997年，在接到外经贸部成立中国国际电子商务中心的邀请后，马云果断放弃中国黄页，甩卖股份退出，带领团队开发了外经贸部网站、网上广交会、网上中国商品交易市场等一系列网站。
1999年，3年，马云再次辞去公职，离开外经贸部，凑了50万启动资金和17名初始员工一起创办了阿里巴巴，开启了其在中国电子商务领域的传奇之路！