1949年中华人民共和国成立时，中国的科学技术水平是极为落后的，工农业实用技术还停留在近代科技发展的初级阶段。当时全国科学技术人员不超过5万人，其中自然科学的专门研究人员不超过500人；专门研究机构仅有30多个，而且许多研究机构已经名存实亡，由于得不到起码的资助，经费、设备和其他科研条件奇缺，一些已经有一定基础的研究项目都难以维持下去。一些传统的科学研究工作只能在不需要现代实验设备的条件下勉强维持，现代科学技术几乎一片空白。面对这样的局面，人民政府清醒地认识到，发展中国的科学技术事业，必须从科技队伍的恢复与建设起步。
1949年9月，由全国自然科学工作者代表会议筹委会推举的15名科学界代表，参加了中国人民政治协商会议第一届全体会议。与会代表根据1949年5月在京召开的全国自然科学工作者代表会议筹备会议精神，在向人民政治协商会议提出的提案中，提出了建立国家科学院的热切愿望，提案内容是：“建立国家科学院，统筹及领导全国自然科学、社会科学的研究事业。使生产与科学、教育密切配合。科学院并负责审议与奖励全国科学创作、著作及发明，科学院为适应特种需要得建立各种研究机构，此种研究机构发展至相当阶段时，为与生产取得进一步配合可成立独立机构。”科学家们提出，新的科学院的建立，主要是将原有的国家科学研究机构加以整理和改组。
早在建国前夕，中国共产党通过在北京、上海等地的地下党组织与中央研究院和北平研究院的党组织联系，指示做好两方面工作；一是力争尽量多的科学家留下来；二是阻止研究机构迁往台湾。这些工作完成得比较成功。另外，党组织中央研究院的进步人士、科研人员建立安全小组，守护图书、仪器和其他财产，为解放后建立自己的研究机构创造了有利条件。郭沫若还代表中国科学界邀请在国外的李四光、李薰等科学家回国参加即将开始的新中国科技事业。1949年初，著名科学家钱三强被中国共产党邀请协助解放军文化管制委员会参加北京的科技接管工作。钱三强作为科学家参加世界和平代表团赴巴黎参加保卫世界和平大会，见到了后来中国科学院的主要筹备人之一——建院后最早的党的负责人丁瓒。丁瓒向钱三强提出了将来通盘考虑全国科学机构的计划，并委托钱三强考虑把中央研究院和北平研究院统一起来的问题。在周恩来的支持下，钱三强还从经济尚十分困难的政府申请到5万美元购置仪器和设备。这些工作都为中国科学院的成立做了很好的准备。
在1949年9月全国政协会议上，通过了建立中国科学院的提案，并指定中共中央宣传部长陆定一负责筹建工作。承担具体工作的是化学家恽子强、心理学家丁瓒，他们是中国科学院第一任党组书记和副书记。
1949年10月17日，中央人民政府委员会第三次会议通过任命史学家、考古学家、文学家郭沫若为中国科学院院长，经济学家陈伯达、地质学家李四光、社会学家陶孟和、气象学家竺可桢为副院长。
1949年11月1日，中国科学院正式成立。并设立了院办公室，严济慈、丁瓒分别任正、副主任，下设秘书处、行政处、人事处。同时还设立了3个局（计划局、编译局、联络局）。
计划局成立后，在1950年期间先后召开了各专门学科会议48次，与各方面科学家共议调整研究工作方案，并调查了全国自然科学研究机构和全国专家的情况。据对全国57个大学和政府产业部门所设的研究机构调查的结果，1950年在高等学校与工业部门的科研机构共187个，其中工程方面的32个，农业方面的112个，地质调查机构17个，医药卫生8个，其他各科18个。同时还对全国科技人才进行两次调查，据专家推荐，有相当成就的自然科学家865人，其中174人仍在国外。据估计，当时在国外的科学家约5000人。这些调查，使国家对中国科技界的现状有了更进一步的了解，为中国科学院领导决策层和计划局调整科研机构，争取科技人才交流和海外科学家回国提供了第一手资料。
中国科学院的建立，得到了原中央研究院、北平研究所及其他研究机构的广大科学家的热烈支持和响应，中国科学界对中科院的成立，反响十分强烈。
1949年10月26日，科学家曾呈奎、童第周致信中科院副院长陶孟和、竺可桢，提出了要求增加国立海洋研究所的建议，并提出了相应的方案。1949年11月，原中国地理所的黄秉维、施雅凤等13人写信给陶、竺二位副院长，对中国科学院接收地理研究所表示衷心的拥护和欢迎，并对中国地理科学的未来充满信心。1949年11月23日，北京地质调查所裴文中、田本裕等21人向中科院递交了一份对目前中国地质工作的意见书，在分析了当时中国地质工作人员有限、设备有限和行政不统一的客观形势后，提出了建议：主张统一地质机构，统一领导，研究调查计划，集中人力物力使调查与研究结合起来。。。。。。此外，就地质工作本身性质而言，它是与其他有关科学密切关联的。。。。。。科学院正好具备这种各种科学联系的条件，所以主张一个统一的地质机关由科学院领导为宜。1952年2月15日，黄海化学工业研究社董事会及董事长给中国科学院写信，无条件申请作为中国科学院直属的化工研究所。
中国科学院的建立使中国的科学事业进入了新的历史时期，它使漂流四方的爱国科学家聚集在一起，共同探索新中国的远大前途。正如1950年6月中国科学院第一次院务会议上科学家们讨论所指出的那样：“现在在科学院的集中领导之下，我们可以开始建立正规军队，开始准备作大规模的阵地战了。”
1950年8月17日—24日，中华全国自然科学工作者代表会议在北京召开。469名全国一流科学家参加会议。会后成立了两个重要的科学组织：全国自然科学专门学会联合会和中华全国科学技术普及协会。
郭沫若院长与中科院其他领导人多次到京郊实地考察，选定中关村为科学发展的重要基地。1954年，近代物理所办公楼拔地而起，这是中国科学城正式奠基的突出标志。
从1949年到1960年，中国科学院由不到300人发展到七万人，科研机构由20多个发展到200多个。
中华人民共和国的成立，在海外科学家与留学生中产生极大反响。据中央教育部的初步估计，截至1950年8月30日，在国外留学生有5541人，其中留学美国的3500人，在日本有1200人，在英国的有443人，还有在其他各国的。在这批留学生中，专攻理工农医学科的占70%，文教、政法、财经学科的约占30%，他们大部分是1946年—1948年间出国的，他们中大部分人在各学科领域学有所成，成为一些学科的专家。在他们得知新中国成立后便跃跃欲试，陆续踏上了归国的艰难路程。从1949年8月开始，钱保功等一批留学生几经辗转，历时4个月回到北京。掀开了海外学子大规模归国的一页。
1950年2月，著名数学家华罗庚在归国途中，发出了《致中国全体留美生的公开信》。信中说，“为了抉择真理，我们应当回去；为了国家民族，我们应该回去”。3月11日，新华社播发了这封公开信，全世界听到了中国科学家的心声。
然而，科学家们归来的航程并不平静。1950年9月，著名物理学家赵忠尧与罗时钧、沈善炯、鲍立奎四人乘坐“威尔逊号”客轮归国，同船的还有邓稼先、涂光炽等一百多位留美学者。在客轮抵达日本横滨时，驻日美军非法拘留了赵忠尧、罗时钧和沈善炯三位科学家。中国政府对海外科学家的回归给予了极大的关注。1950年9月24日，刚刚历尽千难万险从海外归来的中国科学院副院长李四光致电美国总统，提出严正抗议。9月30日，《人民日报》发表科学家和大学教授的联名抗议书。
经过中国政府和广大海外留学人员千方百计的努力，自1950年至1953年约有2000名留学生回到了祖国。物理学家赵忠尧、邓稼先、谢希德、杨澄中、程开甲；化学家傅鹰、唐敖庆、徐光宪；生物生态学家邱式邦、蒲蛰龙；化工专家侯样麟；金属物理学家、冶金专家李薰、叶绪沛、张沛霖、柯俊；工程热物理学家史绍熙；气象学家叶笃正；声学家魏荣爵；铁路电气化专家曹建猷，数学家吴文俊；半导体专家黄昆、林兰英等一大批一流科学家都回到了中国，对中国科学界是一个极大的振奋与充实。
1953年以后，又陆续归国的学者和留学生接近1000人。在这批人中，主要有力学家钱学森、郭永怀、林同骥；核物理学家张文裕；神经生理学家张香桐；林学家吴中伦；加速器专家谢家麟；半导体专家林兰英；生物学家王德宝和钮经义，材料专家师昌绪；泥沙运动与河床演变专家钱宁；爆炸力学家郑哲敏等。
从1949年大约持续到1957年春，回国人数在3000人左右，约占建国前在外留学生、学者总数的50%以上。
1950年8月18日至24日在北京清华大学礼堂召开了中华全国自然科学工作者代表会议，这是中国科学界的空前盛会。参加会议的代表469人，他们中有中国第一流的科学家、科技界的领导干部和青年科学工作者。
这次会议后，中国科学技术活动在更广泛的范围开展起来了。全国各种学术团体在短短几年内共召开全国性学术会议100多次，学会创办的各种学术刊物70多种，并积极与世界40多个国家和地区的科技团体，建立了各种合作与协作交流的联系，安排了各学科领域的科学家出国访问。
1956年2月24日，国务院科学规划委员会成立，由陈毅任主任，薄一波、李富春、郭沫若、李四光任副主任，张劲夫任秘书长，范长江等12人任副秘书长，委员由35人组成，除上述人员外，其余绝大部分委员为我国著名科学家，包括李四光、茅以升、童第周、钱三强、钱学森、严济慈等。1956年11月，陈毅调到外交部工作，中央任命聂荣臻为规划委员会主任。1956年6月，国家技术委员会成立，由黄敬任主任，韩光、刘西尧、张有莲任副主任。
1958年11月23日，中央根据当时任科学规划委员会党组书记聂荣臻的建议，将科学规划委员会同国家技术委员会合并，组成了一个专门领导科学技术研究工作的全国性职能机构——国家科学技术委员会，并任命聂荣臻为主任，韩光为常务副主任，刘西尧等4人任副主任。
1956年4月，根据钱学森的建议，中央正式批准建立了航空工业委员会（航委），负责领导导弹航空科学研究工作，由聂荣臻兼主任，黄克诚、赵尔陆兼副主任。
1958年5月，军委将航委和装备计划科研处合在一起，成立了国防部五院。10月，又根据聂荣臻建议，将航委和国防部五院正式合并，成立了国防部国防科学技术委员会，统一领导全军武器装备的科学研究工作。国防科委也由聂荣臻兼任主任，陈康等4人任副主任。这样，国家科委、国防科委和中国科学院，初步形成了新中国较为完善的科研管理体制。