二次大战中，于1939年开始的大西洋海战，德国使用的主力潜艇—VII级潜艇在战场上已逐渐显得过时，因此海军潜艇总司令卡尔·邓尼兹将VIIC型和IX级潜艇的建造计划变更，全力将资源投入于高速新式潜艇的建造。
XXI级潜艇改进了德军旧有的电池容量，约有VIIC型的3倍，大大增加了它的水下航程，并缩短所需要浮出水面的时间。XXI级能用了不到5小时的通气管充电，就能拥有水下以5节速度连续潜航2到3天而不用重新充电的能力。
XXI级也比VIIC型还要安静，使其在潜航时较不被发现。XXI级的舰体也设计的简单化、流线型，提高潜航速度和减少潜航阻力使它较难被加以追踪后摧毁。
XXI级的舰内空间与设备也比以往来的更大更好，大型的舰体搭载了多组蓄电池后仍有空间，同时舰上的冷冻设备和其他舰上没有的淋浴间。另外XXI级也有特别的液压鱼雷系统，能让装配鱼雷时间变得很短（能在20分钟里发射18枚鱼雷），鱼雷射速也更快。
XXI级同时还有更先进的声纳系统，可以瞄准发射鱼雷时不需要借由潜望镜来加以瞄准，增加其隐蔽性。XXI级潜艇内共存有23枚鱼雷，或17枚鱼雷和12枚水雷，艇首有6座鱼雷发射管；以往潜艇配置的甲板炮和多门高射炮也只剩下一门20毫米高射炮。
XXI级的生产采用了与以往不同的方法，邓尼兹将它模组化生产，将整艘潜艇分为8个部份生产，于32家造船厂的零件所制造，再集中到11间造船厂里进行组装，生产速度大幅提升，每6个月就能下水一艘，也减少了盟军轰炸的效果。然而此作法却使得多数零件有着整合或质量不一的问题，事后还需要另做调整。1943年到1945年之间，德国在汉堡的布洛姆·福斯造船厂、不来梅的威瑟公司造船厂和但泽的希肖造船厂共组装了118艘XXI级潜艇，但因为质量问题，仅有4艘通过试验能够在战争结束前接战。1944年5月，第一艘的XXI级潜艇下水，而德军有经验的潜艇水手极为缺乏，出战的XXI级非常少，其量产时间过晚，盟军压倒性的海空兵力，XXI级潜艇对战况影响不大。
只有U-2511和U-3008这2艘是进行过战斗巡弋的XXI级潜艇，且它们的出击颇为失败。由艾伯特·施尼上校所指挥的U-2511在躲过了护卫舰诺福克号重巡洋舰的搜索后，正要准备对其船发动攻击时，就传来了德国投降的命令，于是施尼潜航返回德国港口。
大部分的XXI级潜艇都直接报废或凿沉处理，但有8艘被盟国瓜分研究，美国得到了U-2513和U-3008，并服役于美国海军；U-3017则交给了英国皇家海军，并改名为“HMSN41”；U-2518给了法国海军，改名为“罗兰德·末里罗特号”，并持续服役到1967年。
因为波茨坦协定，苏联得到了4艘XXI级潜艇，U-3515、U-2529、U-3035和U-3041，并服役于苏联海军，分别改为B-27、B-28、B-29和B-30（后改称为B-100）。
然而西方盟国认为苏联已获得更多的XXI潜艇，美国联合情报委员会估计1948年1月时苏联拥有15艘XXI级潜艇，并能在2个月里建造6艘，一年半里建造39艘，并使用但泽的潜艇制造厂，进行与德国相同作法的分节制造。
U-3538到U-3557里的XXI级潜艇（分别为苏联编号TS-5、TS-19、TS-32和TS-38）由于没有完成而报废，并在1947年于但泽港里凿沉。这4艘获得的XXI级潜艇被派往波茨坦进行试验，直到1955年凿沉或用于1958年至1973年之间的核武试验。苏联也以XXI级潜艇为基础，研制了W级潜艇。
原本在战后被凿沉的U-2540，又在1957年被打捞上岸，作为西德海军的威廉·鲍尔号调查船，后来成为了德国不来梅港海事博物馆。1985年，有人于德国汉堡发现了部份报废的“易北河II”潜艇洞库里的U-2505、U-3004和U-3506，后将它填补。