李善兰是19世纪中国最大的数学家，他不仅积极翻译和传播西方近代数学，而且深入研究，成就卓著。当时在华的西方人士评论说：“李氏精思四载，乃得对数理。倘生于纳氏（纳白尔），盖氏（布列格斯）之时，则祗此一端，即可闻名于世。”又说：“西国最深算题，请教李君，亦无不冰解，想中国有李君之才者极稀……”这些评说是很有道理的。1868年，同文馆由单纯的翻译学校变为实用科学学校后，设算学、化学、万国公法、医学生理、天文、物理等课程6门，其中唯有算学由李善兰任教习，其余课程的教习都是从外国聘请的。
李善兰的数学研究大致可以分为两个时期。第一个时期是1852年到上海墨海书馆从事西方算书翻译以前。这一时期，李善兰与他同时期的那些数学家一样，以三角函数、反三角函数、对数函数等的幂级数展开问题为主要的研究对象。著作有《四元解》、《麟德历解》、《方圆阐幽》《弧拓启秘》与《对数探源》以及早期的两部著作，其中以《方圆阐幽》为其杰作，书中阐述了他自己创造的“尖锥求积术”。第二时期是1860年，李善兰结束了西方数学的翻译工作以后。这一时期，李善兰的著作大都是会通中西学术思想的研究成果。研究的内容除了继续第一时期的函数的幂级数展开以外，还涉及圆锥曲线、高阶等差级数求和等。著作有《椭圆正术解》、《椭圆新术》、《椭圆拾遗》、《火器真诀》、《尖锥变法解》、《级数回求》以及《考数根四法》等。另有《垛积比类》不知撰著年月，钱宝琮先生估计它的撰成大概是在公元1859年以后。《垛积比类》是级数论和组合论的专著，书中李善兰创立了著名的垛积术和“李善兰恒等式”。
尖锥求积术尖锥求积术是一种求幂函数的积分的方法，是李善兰在翻译西方数学著作之前研究所得的成果，其中“尖锥”是一种处理代数问题的几何模型，各种不同的尖锥相当于给出直线、抛物线、立方抛物线……的方程：y=b；y=bhx；y=bh2x2；y=bh3x3……。
李善兰《则古昔斋算学》
中关于尖锥术的记载李善兰的积分法属于微积分历史上的不可分量方法。他认为“盈尺之书由叠纸而得，盈丈之绢由积丝而成也，”即把体看作是由面迭积而成，把面看成是由线迭积而成。但在实际求积的时候，他把组成体的“面”仍看作是厚度为无限小的体；而把组成面的“线”看成是宽度为无限小的面。因此，立体的体积可以通过对无穷个体微元的求和来解决，例如，以x2为变截面的二乘尖锥的体积等于
立体体积limn→∞[（an）2 （2an）2 …… （nan）2]·an
=limn→∞∑ni=1（ian）2·an=limn→∞n（n 1）（2n 1）6·（a3n3）=（a33）
其结果相当于∫a0x2dx=a33.
以x3为变截面的三乘尖锥的体积等于limn→∞[（an）3 （2an）3 …… （nan）3]·an
=limn→∞∑ni=1（ian）3·an=limn→∞[n2（1 n）]2·a4n4=（a44）结果相当于∫a0x3dx=a44.
推而广之，李善兰得出：由平面积xn迭积起来的尖锥体体积应是an 1n 1.其结果相当于∫a0xndx=an 1n 1因此，李善兰的“尖锥求积术”，相当于给出了幂函数y=kxn的定积分公式：∫a0kx2dx=kan 1n 1李善兰同时指出：同高的几个尖锥可以合并为一个尖锥，它相当于定积分公式：∫a0k1xdx ∫a0k2x2dx …… ∫a0knxndx
∫a0（k1x k2x2 ……knxn）dx在微积分发展史上，李善兰的尖锥求积术并不具有重要的地位。但在中国数学史上，这是独树一帜的创造性贡献。这一贡献的意义在于它说明了：中国自身具有发展微积分学说的基础。就如伟烈亚力在《代微积拾级》序言中所说的：“……然观当代天算家如……戴鄂士（煦）氏、李秋纫（善兰）氏所著各书，其理有甚近微分者。因不用代数式，故成言之甚繁，推之甚繁。今特偕李君译此书，为微分积分入门之助。异时中国算学日上，未必非此书实基之也。”
垛积术自北宋沈括开垛积术研究之后，经南宋杨辉、元代朱世杰的发展，垛积术自成体系，成为中国数学的一项很有特色的内容。无论是所得结果，还是理论的深度都有很大的提高。李善兰的垛积术包括许多内容，其中最出色之处有：
（1）推广朱世杰的三角垛求和公式，得出∑ni=11p！r·（r 1）（r 2）……（r p-1）
=1（p 1）！n（n 1）（n 2）……（n p）
∑ni=11p！r·（r 1）……（r p-2）（mr p-m）
=1（p 1）！n（n 1）……（n p-1）·（mn p-m 1）（2）讨论了自然数幂的公式，并得出∑ni=1ip=Ap1（np 1） Ap2（n-1p 1） …… App（n-p 1p 1）其中系数按p的层次列表如下
1p=1
11p=2
141p=3
111111p=4
12666261p=5
157302302571p=6
……
上下层系数之间有关系：Api=（p-i 1）Ap-1i-1 i Ap-1i
（3）创造了“三角自乘垛”求和公式，即“李善兰恒等式”（n pp）2=∑qk=0（qk）2（qk）（n 2q-k2q）（4）创造了中国独有的垛积差分法，即公式ut=∑ni=0（n t-1-in）di
∑ut=∑ni=0（n l-in 1）di
∑hui=∑ni=0（n t h-1-in h）di李善兰的“垛积差分”是一项具有开创意义的工作，这种差分公式的特点可以这样来描述：当n，k为整数时，二项式系数（nk）的上下标以正负号来分为（ ）（- ）（——）（ -）四个区，比做一，二，三，四象限，著名的牛顿、高斯、司特林、贝塞尔等人创立的差分公式，是数个一、二象限二项式系数的迭合，而“垛积差分”公式是一三象限的迭合，这是与众不同之点。
（5）创造了李善兰多项式∑ti=1in（k i-1k）=∑ni=0Lin（k）（k n t-ik n 1）垛积术除了可以从级数论方面加以研究外，还可以从组合数学和整数论方面加以研究。从组合数学角度看，李善兰的垛积术所涉及的组合函数、组合恒等式、递归函数、计算函数等，都是组合计数理论的对象，因此，李善兰的垛积术还是组合数学中的杰出成果。
除了“尖锥术”和“垛积术”之外，李善兰在幂级数展开方面也很有成就，他得出下列二个重要的级数展开式：1-x2=1-∑∞n=1（2n-3）！！（2n）！！x2n
lgn=lg（n-1） lge∑∞n=11knk1872年，李善兰写成《考数根四法》1卷，讨论了有关确定素数的问题。其中，李善兰证明了费尔玛小定理，这本书弥补了中国数学在关于素数研究方面的空白。