山口组成员的襟前饰物是菱角形金针，成员多身上刺青。在山口组全盛时期，其成员所到之处，汽车要让路，商品要折价或干脆不要钱，一般百姓谁也惹不起他们，就是一些很有地位的人物对他们也要礼让三分，山口组的威名可谓举世皆知。
山口组的第一任首领是出生于兵库县淡路岛的渔民山口春吉。山口春吉因在农村破产来神户谋生，一时找不到职业，就投奔到神户最大的赌徒集团大岛组门下。他以骁勇善赌得到大岛组首领大岛秀吉的悉心栽培，遂以大岛组赌徒为基础，纠集50名赌徒、浪人于1915年正式成立山口组。山口组的最高首领称为“组长”，在各地的头目以他们的姓氏为名组成次级组、会，其下又有更小的组、会，根据地位高低有不同的职位称呼。二号人物称“若头”，即帮头，下设“帮头助理”、“老弟头”、“老弟”等。各组第一任首领死后，若要保留组名，新头目则被称为第二代、第三代等。
山口组成立后，山口春吉大量地吸收神户地区来自农村的港口搬运工入伙，并施展手腕把利润颇丰的浪曲剧场的演出权搞到手。山口春吉经营山口组10年后，于1925年把首领的宝座让给了23岁的儿子山口登。
山口登一上任就显示出王者之气，他以巧妙手段独占了神户中央市场的搬运作业权和相扑、歌谣的演出权，并拥有春日井梅莺、广泽虎造等日本一流歌手，使山口组事业有了空前的发展。但山口登由于在多年的奋斗中树敌过多，1940年夏在与笼寅组争夺名演员广泽虎造的武斗中被刺，此后病情加重，于1942年死去。山口组处于群龙无首的状态，田冈一雄因为与山口登之女文子的恋爱关系而于1946年出任第三代首领。
田冈一雄出生于1913年，自幼家境贫寒，而且父母早亡，很小的时候就被叔父领到神户抚养。高小毕业后，田冈一雄到川崎造船厂当了一名见习工，不久就参加了山口组。田冈一雄自幼喜欢斗狠，骄横凶悍。到了山口组后，更是如鱼得水。
有一次山口组在对外袭击战中，田冈一雄竟用手把对手的眼珠给挖了出来，由此获得“熊人”称号，山口登对他特别关照，总是把最重要的也是最能体现个人才能的工作交给他做，而田冈凭借其过人的天赋和胆略总能圆满完成任务。
1936年，一位远近闻名的赌徒酒后闯进兵库的一家山口组事务所（也是赌场）寻衅闹事。众位山口组的成员与之相搏，都不能制服这个赌徒。田冈正好路经此地，当即挥起日本刀，一刀就把赌徒杀了。警察闻讯而来，田冈一雄并不逃避，在向山口登告别后昂首进了监狱，他被判了8年徒刑。
正当田冈在狱中度日如年时，山口登因病于1942年死去，山口组一时群龙无首，而此时日本由于战局不利，加紧征兵，山口组的大多数成员都应征入伍，山口组的活动几乎处于停滞状态。1943年，田冈一雄遇大赦提前出狱，回到山口组后，立即召集昔日的部下成立了田冈组，并且在成立之初就干了几件惊天动地的大事。
第一件事是利用日本人对旅日华人、朝鲜人的排斥心理，把这些外国黑帮控制下的黑市摊位及部分地盘抢了过来，所使用的手段就是恐吓、凶杀和炸弹。结果使田冈组的名声响彻神户一带。自然，地盘也随之扩大。
第二件事是广开财源。田冈认为，黑道组织如果经济上不能自立，无异于自杀。所以田冈出狱后即先后开办了赛车场、赛马场、赛艇场、土耳其浴室，使一般平民的消费都能装入山口组的钱袋。
第三件事就是争夺山口组的首领宝座。山口登的女儿深山文子与田冈一雄确定了恋爱关系后，田冈就顺理成章地成为了山口组组长的理想人选，他也通过自己的努力确实让山口组恢复了生机。1946年，田冈一雄继任山口组第三代组长，当时，他只有33岁。
田冈认为山口组要想生存和发展，就必须保证组织的团结。他知道自己刚上任，有些人不太服气，于是处处身先士卒，以笼络人心。田冈的“帮规”甚严，谁违反了处分起来是无情的，断指、处死是常有的事。
但田冈也颇有义气，如果他手下有人受难，田冈必全力相助，或派人或送款。如果手下的人受到其他帮会欺辱，田冈一定为之复仇，有一次，田冈特别欣赏的一位歌手被另一黑社会团体“明友会”成员殴打，田冈知道后立即下令围歼“明友会”。当天就袭击了“明友会”总部，打死“明友会”成员一人，打伤二人。过了几天，“明友会”被迫向田冈赔礼道歉，这就是战后日本著名的“明友会事件”。
1950年，驻日盟军总部决定打击日本的黑势力，发布了以日本主要黑道组织为打击对象的“团体规制令”，命令山口组立即解散。田冈一雄见明里硬顶不过，就于当年的11月20日，在神户的凑川神社主持了山口组的解散仪式。
田冈一雄当然不会就此“金盆洗手”，他偷梁换柱，带领手下的那帮暴徒干起了合法的“正当”行业———土木建筑、流浪演艺、港湾搬运，如田冈一雄设立的在神户的建筑公司，就颇具规模；歌舞表演团曾在日本轰动一时。此外通过与当地有名的“赌徒”帮“本田会”的明争暗斗，田冈最终吞并了“本田会”，控制了当地的赌博业。他又开设了几十家妓院，财源滚滚而来。
田冈控制财路的方法是把手下的各个行业包给若头、舍弟们负责，然后让他们每月按时交纳贡金，违反者给以严厉的处罚，由此保证了日常开支之需。田冈控制山口组期间，手下有340多个组织，黑帮人员l万余人。
黑帮势力的过分扩张挠动了日本政府的神经，尤其是黑帮组织通过恐吓、敲诈勒索等犯罪手段干扰了日本经济社会的正常秩序，最终，日本政府决定出手狙击黑帮组织，1964年日本警方发动“顶上作战”取缔行动，山口组在这次行动中，被列为首要集中取缔对象。