我国是世界上最早发明舵的国家，舵的发明是我国造船和航海技术方面的重大成就，它对世界航海事业的发展有着不容忽视的影响。
古代航行初期，船体较小，一般是利用篙和木桨来控制航行方向。随着造船技术的进步，活动范围扩大到深水区域，篙就用不上了；由于船体增大，桨的数量增加，需要多人来划，这时候桨要负担推进和制导方向的职能，操纵起来就不容易了。于是，桨分成两种，一种专管划行，一种专管控制方向，专管控制方向的桨称为舵桨，它的位置逐渐从船舷移至船尾中央，成为尾桨，操纵方法逐渐从划动改变为不离开水面的左右摆动。这就是后世的导向装置——舵的始祖。尾舵桨也有一些大的缺陷，比如遇到浅滩和靠岸时不易操纵等。
因此，人们进一步改变其形状及安装方式，终于产生了真正的舵。舵发明的确切时间，现在还不知道，但最迟在东汉时已经出现和使用。1955年广州近郊东汉墓中出土了一只陶制船模型，其船尾部有一支舵。这是目前世界上发现的最古老的舵。
我国船舶独特的尾部结构，恰好便于垂直舵的装置。我国的船舶一般是首尾翘起的，尤其是尾部翘得更厉害，这就成为安装垂直舵的理想地方。后世就在尾端修建舵楼，用来操纵船舵。
宋代发明了平衡舵，就是把一部分舵面分布在舵柱的前方，可以缩短舵压力中心对舵轴的距离，减少转舵力矩，从而操纵更为轻便；同时，还把舵面做成扁阔形状，增大舵面面积，提高舵控制航向的能力。这真是一项别具匠心的发明！
此外，我国古代劳动人民还发明了“窗孔舵”（亦称开孔舵），因为舵上有许多孔。这些孔并没有影响舵控制航向的作用，反而使舵在水中更容易转动。一般的大船都有几个舵，根据水的深浅交替使用。欧洲人在采用中国的舵之前，不得不用浆来划船，这样，远洋航行对他们来说是不可能的。约在12世纪，舵传入欧洲。舵在欧洲的使用，为15世纪大航海时代创造了条件。