之后，不安分的马云萌生了一个大胆的想法：做一个网站。当时，刚满30岁的马云已经是杭州十大杰出青年教师，而且即将升职做外办主任。但是，特立独行的马云放弃了在学校的一切地位、身份和待遇，毅然决定下海经商。
其实，互联网在当时对于大多数中国人来说还是非常陌生的事物。即使在全球范围内，互联网也只是刚刚开始发展：在大洋彼岸，尼葛洛·庞帝的《数字化生存》一书刚刚面世；杨致远创建雅虎还不到一年；而在北京，中国科学院教授钱华林刚刚用一根光纤接通美国互联网，发出了第一封电子邮件。
就是处在这样的市场形势之下，马云梦想自己用互联网开公司下海赢利。而这个时候杭州还远没有开通拨号上网服务，他的想法遭到亲友们的一致反对。马云于是请了20多个朋友来家里，给他们大讲互联网，不知是因为自己讲得不清楚，还是朋友们当时还无法理解，总之最后包括他自己在内，所有的人都感到稀里糊涂。20多个朋友中，只有一个人鼓励他试一试。
马云辗转难眠，思考了一夜，最终决定还是干，哪怕是20多个朋友全部反对也要干。
马云的一身侠气，使他和别人有不同的思维方式，其实对于互联网他并不是十分的了解，不过他认为无论成功还是失败，都是一种宝贵的经历，为了这种经历他也要试一试。
1995年4月，马云和妻子再加上一个朋友，凑够两万元钱，于是“海博网络”公司正式开张了，网站取名为“中国黄页”，经营项目是专门给企业做主页，成为中国最早的互联网公司之一。
7个月后，与杭州临近的上海正式开通互联网，马云的业务量开始突飞猛进地增长。这时，许多企业纷纷要求建立自己的主页，终于，马云的先见之明为他带来了丰厚的利润。当时，制作一张主页，中英文对照的2000字内容、一张彩照，价格是2万元人民币。不到3年，马云就轻轻松松地赚了500万元，并在国内有了一定的知名度。
1997年，马云接受国家外经贸部的邀请，带着自己的创业队伍挥师北上，建立了外经贸部官方网站、网上中国商品交易市场、网上中国技术出口交易会、中国招商、网上广交会、中国外经贸等数个国家级站点。
这段时间的工作经历对马云弥足珍贵。马云坦言：“在这之前，我只是一个杭州的小商人。在外经贸部的工作经历，让我清楚了国家未来的发展方向，开始从宏观上思考问题，我感到自己不再是井底之蛙。”
1999年年初，开阔了视野的马云返回杭州，进行新的创业，他决定介入电子商务领域。
可是怎么运作呢？当时全球互联网所做的电子商务，基本上是为全球顶尖的15％的大企业服务。马云自小生长在私营中小企业发达的浙江，深谙最底层的市场，对中小企业的困境了如指掌。最后，他毅然做出决断——“弃鲸鱼而抓虾米，放弃那15％的大企业，只做85％中小企业的生意。”
如果把企业也划分穷和富，那么互联网就应当属于穷人的世界。因为大企业都有自己专业的信息渠道，有专门的巨额广告投入，而中小企业却没有这个能力，所以它们才是互联网最大的渴求者，马云马上把着眼点放在了中小企业上。
马云想做的事情就是要把全球的中小企业资料收集起来，进行汇总，成为一个对外的平台。这就好像把散沙集合，必定能够聚散沙成铁塔。这也是互联网经济的独有特色，以小的方面来和大的方面相抗衡，以快的推动慢的。
就这样，1999年9月，马云的阿里巴巴网站横空出世，他立志做中小企业敲开财富之门的引路人。当时国内的互联网热潮正处于激涌状态，无论是投资商还是普通大众，注意力始终放在门户网站上。马云建立电子商务网站，在这时是逆风而起，在整个互联网界开创了一种新兴的模式，被国际媒体称为继雅虎、亚马逊、易贝之后的第四种互联网模式。阿里巴巴所采用的独特B2B模式，就是现在在美国也很难找到一个成功范例。
1999年年底的一天，马云被安排与雅虎最大的股东、被称为网络风向标的软银老总孙正义见面。融资刚刚完成，马云暂时没有融资打算。和孙正义的见面，马云原以为是一对一的见面，结果一推门却发现了一屋子人，包括摩根士丹利在内。原定1个小时的讲述，马云刚讲了6分钟关于自己公司的目标，孙正义就从办公室那一头走过来说：“我决定投资你的公司。”
马云后来说：“孙正义是个大智若愚的人，他神色木讷，说的英语很古怪，几乎没有一句多余的话，仿佛武侠中的人物。在这6分钟内我们都明白对方是什么样的人：我们都是迅速决断的人；我们都是想做大事的人；我们都是能实践自己想法的人。”
软银老总孙正义的人生经历非常曲折，小时候家庭贫困。父亲从小鼓励他“你是个天才”。这让孙正义颇受鼓舞。后来，孙正义从社会最底层一路摸爬滚打，终于成就了自己的事业，而从小就有的许多梦想也都一一实现。他说过：“一个梦想，和毫无根据的自信，一切都是从这儿开始的。”
1999年12月8日，马云又坐到了孙正义的对面，这次双方都不带律师，而是单刀赴会。整个过程不到3分钟，马云获得了孙正义3500万美元的投资。当时，软银每年接受700家公司的投资申请，只对其中70家公司投资，而孙正义只跟一家公司亲自谈判，由此，马云所获得的殊荣可想而知。
最终，马云没有让孙正义失望，在电子商务领域，马云显示了自己的独特视角和预见性。创业第一年，阿里巴巴的会员就达到9万人；2000年达到50万人；在2001年互联网的低迷时期，依然实现了百万会员的目标，并成为全球首家超过百万会员的商务网站；如今阿里巴巴的会员总数已经超过350万人。
在互联网最寒冷的严冬季节，阿里巴巴成为最早宣布赢利的站点之一，并被哈佛、斯坦福等着名商学院选为案例，连续4年被《福布斯》评为全球最佳电子商务站点第一名。
2003年2月，志得意满的马云在北京公布阿里巴巴在新一轮巨额募资中以最终募得8200万美元获得圆满成功，这是中国互联网业最大的一笔巨额募资。这次募资与阿里巴巴的风险投资及本身资产总共突破了10亿元人民币，成为能和国内任何一家门户网站并驾齐驱的大网站。
豪放不羁的马云又确立了更大的目标：2004年实现每天利润100万元；2005年，每天缴税100万元。
马云对外宣称的数字，都是已经通过精确财务统计过的：单日赢利100万元的目标，其实在2003年7月就已经达到；而每天缴税100万元的“狂言”，也都是公司内部正在努力执行的目标。
“伟大的企业要能赚钱，但只会赚钱的企业不是伟大的企业。”
马云的过人胆识不在于使自己的公司能赚钱，而在于推动整个互联网业的发展，他把自己的侠士风范展现得淋漓尽致，着名的“西湖论剑”他功不可没。
马云说：“中国电子商务产业格局将发生巨变，一个新的互联网应用人群正在形成主流，互联网将由‘网民’和‘网友’时代进入‘网商’时代。作为网商的代言人，阿里巴巴有一个使命，那就是要把互联网带入网商时代。”
在中国，所有大型的互联网公司都能在美国找到自己的母版，而惟有阿里巴巴从一出生就是标准的中国胚胎的互联网公司。即便雅虎占有其40％的股份，成为其最大股东之后的一年多时间内，阿里巴巴仍然是在按照马云的思路在运营。
阿里巴巴一直是中国电子商务领域的巨人。但在2003年之前，它擅长的只是B2B领域，而从2003年开始，eBay通过收购易趣，几乎完全拿下了中国的C2C市场，这个局面，直到马云成立淘宝网才被打破。马云表示，如今淘宝网已经拿下了中国C2C七成以上的市场。
尽管雅虎和软银的控股占据了公司的大部分，但是阿里巴巴在中国国内的发展势头仍然没有受到任何的影响。总之，无论商海如何变幻，马云也不会舍弃阿里巴巴，因为当初建立公司的时候他就说过，他不会因为股权而放弃自己的权威地位，他会很好地驾驭阿里巴巴向良好的方向发展，因为他是一个懂得驭剑的侠者。