经过几年学习研究，他初步形成了学习西方先进的政治制度，实行变法维新，振兴中华的政治思想。此间他曾向洋务派领袖之一张之洞建议多印西方政治理论著作，以开启民智。中法战争中，中国虽胜犹败的惨痛现实促使他进一步思考，为了促使人们从沉睡中觉醒，他把西方自然科学知识，引入社会政治领域，撰写了《人类公理》和《实理公法全书》、《礼运注》等政治理论著作。在中国近代思想启蒙运动中，最早举起人道主义的旗帜，向封建主义思想体系开战。
《实理公法全书》共16篇，模仿欧几里德《几何原本》的编写形式，在实理公法的命题下，阐发人道主义学说。书中用实理公法否定封建主义的天理与私法，提出反对封建等级内容的独立的人的价值观，宏扬人的天赋权力学说，反对三纲五常的旧礼教，提出新的伦理道德观念，并描述了新社会理想。在《礼运注》中，他借助对儒家经典的批注，初步阐述了他对人类未来的美好设想。在他看来，人类社会是不断发展的，经历据乱世、升平世、而达到太平世，进入天下大同这种尽善尽美的理想社会。在大同世界，人人平等，享受着充分的自由与公民权利，私有财产已不存在，人们在物质上和精神上都得到极大满足。对这个理想的实现，他坚信不疑。他一生的奋斗，都指向这个高远的终极目标。改变中国的现状，在他看来，只是实现远大理想的第一个步骤而已。
1888年，他再次赴京参加顺天乡试，仍因文章不同常格，没有考中。他多次参加科举考试，并不是为了求取功名，而是为登上政坛，大展宏图创造必要条件。科场的失意，他并不十分在意，中法战争后，帝国主义势力对西南边陲的渗透却引起他的警觉。
这年12月，康有为实在觉得再不能坐视局势的恶化，他怀着一腔忧愤，给光绪皇帝上书，请求改良政治，自强自救。他以强烈的危机感，描述了中国面临的危难局势，对朝政提出批评，提出了“变成法、通下情、慎左右”三条具体建议。所谓“变成法”，就是革除弊政，参照古今中外的法制，推行新法来治理国家。“通下情”就是让朝廷开通言路，广泛听取臣僚及士人意见，使政情上通下达。“慎左右”就是要统治者明辨忠奸，慎重用人，重用贤才，斥远奸佞。这些建议没有完全跳出传统政治的格局，但对当时的政治状况，却有很强的针对性。
他的上书得到朝中开明官吏黄绍箕、沈曾植、屠仁守等人的同情和支持，国子监祭酒盛昱答应为他代呈。可这份上书终因横遭腐朽势力阻拦，没能进呈到光绪皇帝面前。但这行为本身和书中阐述的政治主张，却打动了无数关心国家前途命运的仁人志士。人们纷纷传抄《上皇帝书》，康有为一时成了风云人物。
上书受挫没有动摇他的斗争决心。此时的诗句“治安一策知难上，只是江湖心未灰”抒写了他的心境。当时慈禧太后正热心在颐和园大兴土木，朝中大臣与宦官勾结，把持大权，国事日非。康有为在京一年有余，看透了政局的黑暗，朝廷的腐败，也感到了传统习惯势力的强大，国人思想的麻木保守；认识到要变法自新，实现富国强兵的政治理想，首先必须攻克封建思想文化堡垒，做社会改良的宣传鼓动工作。1889年秋，他反回故里，着手寻求能为中国知识界接受的思想学说，决心先从思想领域打开缺口，做思想发动工作。
这时日本“明治维新”刚刚取得成功，康有为似乎从中看到了中国的希望。1890年他去拜访著名今文经学家廖平，讨论今文经学问题。从廖平的著作中，康有为受到很大启发，找到了改造经学，使之为自己的政治主张服务的道路。
他先后写出《新学伪经考》和《孔子改制考》两部学术巨著，向传统思想学术开战。《新学伪经考》论证长期流传并被统治者作为治国修身指导的儒家经典，大部分不是孔子等人修订先秦文献或典章制度的记录，而是西汉末年的学者刘歆为配合王莽改制篡汉而伪造的。这就等于说两千年来从统治者到普通学者学习并应用的大部分是伪书，人们都受了刘歆的欺骗。这部书出版后在全国引起极大轰动，人们都为他新颖又大胆的论述所震慑，长期统治思想界的经学发生动摇，人们思想为之一新。康有为写《新学伪经考》是为了破除思想迷信，写《孔子改制考》则是为他的政治改革开通道路。在这部书中，他论述孔子的学说主要是关于改革国家制度的理论，孔子一生的主要事业就是托古改制。他试图让人们相信，民权、民主、自由、平等等学说都是孔子的发明。他主张的维新变法正是继承着孔子遗志，是遥隔2400年后与孔子所为一脉相承的圣业。这样一来，他的思想学说蒙上了一层神圣的灵光，许多人解除了思想顾虑，接受了他的维新观点。这两部著作虽然不免有牵强附会之处，但在中国思想学术史中却是震铄古今的不朽文献。在近代思想界，它如划破漫漫长夜的一声惊雷，震聋发聩，使人猛醒。
康有为来广州，使一个青年学子怦然心动。他就是成为康有为开门弟子的陈千秋。陈千秋当时正在广州最有名的书院学海堂求学。他天资聪颖，好学上进，具有高昂的爱国热情，对康有为上书批评时政的行为非常敬佩。听说康已到广州，便前去拜访。一见面，他马上被康有为深湛的学识和精辟的思想见解所吸引，茅塞顿开。经反复考虑，放弃了学海堂的学业，前来拜康有为为师。陈千秋入师门后，更感到康有为的学问壁立千仞，难窥堂奥。便向学海堂学友梁启超谈了自己的感受。梁启超16岁即中举人，是名噪一时的才子。听了陈的介绍，引起极大兴趣，便去拜谒。交谈中，他也一下子被康有为的气魄征服。想不到自命不凡的自己，相形之下显得那么浅薄、无知，真是山外有山，天外有天！他认定从康有为这里，才能学到真正的学问。于是放下自己的举人架子，拜当时只是秀才的康有为做自己的老师。陈千秋后来英年早逝，康有为万分痛惜，体会了孔老夫子痛失爱徒颜渊的心情。梁启超成为康有为最得力的助手，在中国近代学术思想史上，是与康相映的一颗巨星。
陈、梁之后，有志好学的青年学子不断前来求学，在他们的请求下，康有为正式办起了学堂——长兴学舍。长兴学舍兴办后，慕名而来者络绎不绝，1893年学生有40余人，1894年达100余人，到1898年戊戌变法时，连同在其他地方慕名来投的学生已达1000余人。随着学生不断增加，学堂不得不一再迁址。1893年迁到广府学宫仰高祠（今广州市工人文化宫），挂起了“万木草堂”匾额。
康有为办学注意对学生精神气质的培养，着重传授有实用价值的知识，注意培养学生从经世致用角度理解学问，增强救国救民的社会责任感。万木草堂不教授八股文等升官发财的敲门砖之学，它的课程主要有四大类：义理之学，即儒家哲学、诸子哲学、佛学、西方哲学等；考据之学，即经学、史学、掌故之学、地理、数学、物理学等；经世之学，即政治学、中国及世界各国制度沿革等；文字之学，即中外语言文字学。
康有为讲学特别认真、投入。他声音宏亮，精神饱满，往往一讲就是几个小时，仍神完气足，精力充沛。他学识渊博，每论一学、一事，必详究本末，考辨得失，广引例证，结合宣传自己的学术观点和政治主张，以启发同学们深入观察事物，分析思考问题，培养治学能力，形成远大的政治理想。康有为立身刚直，人品高尚，万木草堂的学生们对他非常尊敬。除给学生们讲课外，康有为还每天到讲堂解答同学们提出的问题。他的学生多是勤奋好学、善于思考的人，所以不断提出许多疑难问题。疑难越多，康有为越精神抖擞，思路开阔，学生们往往获得很大启发。
在康有为精心诱导下，在这所学堂里培养出了一批政治运动的骨干和思想领域的启蒙学者，如徐勤、麦孟华、梁朝杰、韩文举、欧榘甲、陈和泽、曹泰、王觉任等都是大有作为的杰出人物。