我国古代海上丝绸之路形成于秦汉时期，秦始皇统一六国，建立了我国历史上第一个大统一的封建王朝，政治上安定统一，经济上统一度量衡，新的土地政策促进了社会经济的恢复发展，但是由于残暴的统治，秦朝很快灭亡。汉朝建立后深刻吸取了秦朝灭亡的教训，实行“轻徭薄赋”的政策，百姓得以休养生息。汉朝很重视农业的发展，认为农事是国家的基础，汉朝政府采取了一系列发展农业的措施，如兴修水利、开垦荒地，积极发展并推广先进的农业生产技术，这一时期农业获得了飞速发展。
农业的发展刺激了手工业的发展，尤其是以丝织产品为代表的手工业开始兴起。朝廷为此设立了东、西两织室，还在山东淄博设立了三服官，官营丝织产业人数多、规模大，在一定程度上刺激了经济的发展。但是对经济起主要推动作用的还是民间纺织业的兴起。据统计，每年官方从各地征收的丝帛达500余万匹，数量如此之多，可见当时纺织业的繁荣。农业和手工业的兴起带动了汉朝商业的发展，加之汉王朝水陆交通便利，全国性的贸易交流市场越来越大。汉朝政府对工商业也采取了一定措施，如“开关梁，驰山泽”，允许商人自由经营贸易。
经过多年的发展，汉朝的经济得到了很大的发展，有史料记载云:“国家无事，非遇水旱，民则人给家足，都鄙廪庾尽满，而府库余货财。京师之钱累巨万，贯朽而不可校。太仓之粟陈陈相因，充溢露积于外，至腐败不可食。汉朝的经济发展为海上丝绸之路的形成奠定了良好的物质基础。我国拥有着悠久的造船历史，早在新石器时代，我国的先民就开始制造独木舟和木筏了。春秋战国时期，造船技术发展很快，春秋时期的吴国位于大海之滨，经过长期的实践和探索，吴国造船技术飞速发展，已经有大翼、桥船、戈船等多种战船。
秦代所造的战船已经具备远航的能力。1956年左右在广州造船工场遗址的考古中发现，秦朝已经能大批量地建造船只，且能造出宽6～8米，长20～30米，载重达数十吨的大型船只。风帆的利用是我国造船史上的一大进步，在出土的战国时期的铜钺上发现了风帆图案，说明当时已经出现了风帆。据考证，这一时期船只配备的风帆是固定的，不能转动，虽然只能被动地借风航行，但在我国造船史上有着重要的意义。到了汉代，造船技术相对前朝又进一步发展，这时已经出现了能转动的风帆，三国时期吴国丹阳太守万震所作《南州异物志》中有相关记载:“其四帆，不正前向，皆使邪移相聚，以取风吹。
风后者激而相射击，亦并得风力。若急，则随宜增减之。邪张相取风气，而无高危之虑，故行不避迅风激波，所以能疾。”虽然有风帆可以自由控制方向，但是在茫茫大海中，若是不沿岸航行很容易迷失方向。汉代随着造船技术的进步，天文学也得到了发展，《汉书·艺文志》中《海中二十八宿臣分》等篇目对当时的天文技术、抗海技术做了详细的说明。天文学的发展使得商人在海上航行时可以“观星定海”，海上航行更加安全、快捷。海上丝绸之路的经济基础、物质基础快速发展的同时，陆上丝绸之路却因为政治、经济等原因时断时续，艰难发展。
早在春秋战国时期，中国就与中亚地区在政治经济上互有来往。秦汉时，匈奴入侵，中国与西域各国的交流被中断，到了汉代，张骞出使西域，才又有了与西域的互通交往。西汉末年到东汉建立初期，政治混乱，农民起义频繁，对边境的管理逐渐力不从心，匈奴趁机入侵，丝绸之路被迫中断。汉明帝时期，汉朝出兵征伐匈奴，大获全胜，汉明帝派班固出使西域各国，班超凭借着杰出的外交才能与阗、疏勒等国建立了良好的外交关系，丝绸之路又得以恢复和发展。公元前3世纪汉朝统一了中国，随着政策的革新，汉朝的经济文化得到了很大的发展，逐渐显示出繁荣之势。
与此同时，罗马帝国正在崛起，国力强盛，这两个东西方大国需要彼此间经济与文化的交流。罗马商人将中国的丝绸带回后，受到了罗马人的喜爱，并将其作为奢侈品，罗马人对中国丝绸的需求量越来越大，但是由于陆上交通的不便利，其间还有波斯国从中抽取大部分贸易利润，罗马只能开辟海上航道。公元1世纪，罗马人发现了季风规律，这使得罗马人可以直接从红海到达印度，推动了海上丝绸之路的发展。班固的《汉书·地理志》是对海上丝绸之路做的第一个正式记载“自日南障塞、徐闻、合浦船行可五月，有都元国；又船行可四月，有邑卢没国；又船行可二十余日，有谌离国；步行可十余日，有夫甘都卢国。
自夫甘都卢国船行可二月余，有黄支国，民俗略与珠崖相类。其州广大，户口多，多异物，自武帝以来皆献见。有译长，属黄门，与应募者俱入海市明珠、壁流离、奇石异物，赍黄金杂缯而往。所至国皆禀食为耦，蛮夷贾船，转送致之。亦利交易，杀人。又苦逢风波溺死，不者数年来还。大珠至围二寸以下平帝元始中，王莽辅政，欲耀威德，厚遗黄支王，令遣使献生犀牛。自黄支船行可八月，到皮宗船行可二月，到日南、象林界云。黄支之南，有已程不国，汉之译使自此还矣。”这是世界上第一条来往于太平洋与印度洋的海上航线，它标志着我国海上丝绸之路的开端。
