卡彭出生在纽约布鲁克林区。父母为原籍意大利那不勒斯的美国移民；干表兄查理·卢西安诺，也是美国纽约黑帮教父，”教父“原型之一，也是拉斯维加斯第一家赌场的幕后推手，主要投资人。卡彭中学未上完即辍学的卡彭发迹于芝加哥， 1920年代前后，美国颁布禁酒令，芝加哥犯罪集团首脑强尼·托里奥藉此机会，以私酒、赌博和娼妓业等犯罪行为获取庞大利润，此时，卡彭已渐成托里奥犯罪时的左右手。1926年，托里奥因罪行暴露等原因离开芝加哥，卡彭随即接手托里奥留下的芝加哥黑帮组织。之后，卡彭持续带领帮派火拚并行贿政客、警界与司法界。另一方面，禁酒令继续施行，也让卡彭的势力大增。

1929年2月14日下午4点，卡彭和他的手下穿着警服，冲进一座汽车房。里面的人没有反抗，老老实实地靠墙站成一排等待搜查。但是他们等到的却是一阵疯狂扫射，空气里弥漫着火药和鲜血的味道。14人当场毙命，包括控制城北的教父“甲壳虫”莫兰。接下来的日子里，一个又一个的对手死在卡彭枪下。除了手枪、冲锋枪等常规武器外，卡彭甚至动用了手榴弹和重型机关枪。连续10个月清洗行动的成功，全仰仗卡彭的新发明——“G2”小组。这是一个负责搜集情报、进行间谍和反间谍的行动部门。全芝加哥的理发师、酒吧侍者、旅馆服务生、饭店守门人、出租车司机、擦皮鞋的甚至要饭的，都知道一个特殊的电话号码。卡彭能够又快又狠又准地清除对手，“G2”小组居功至伟。

除掉对手后的卡彭把目光转向政界。很快，芝加哥法官约翰逊给他写了这样一封信：“尊敬的先生，感谢您在选举日给予我的帮助。您竭诚关心此次选举的进行，没有您的帮助，我恐怕无法体面地摆脱困境。谢谢您，老人家！这一点我将铭记终身。盼望同您尽快会面！”而在1928年总统大选时，芝加哥刑警队队长罗特士找到卡彭，请求他不要介入总统竞选。卡彭同意了，作为回报，警方承诺尽量不为诸如谋杀一类的小事骚扰卡彭和他的手下。

艾尔·卡彭虽长期犯罪，但美国联邦政府却因始终找不出他犯罪的证据，而无法加以顺利逮捕。直至1931年，一个联邦税务侦探偶然发现卡彭控制的一家赌场隐瞒收入，美国政府才借用逃税罪嫌将卡彭逮捕，把卡彭和其他69名黑手党徒送上法庭。在理论上，他们面临2.5万年徒刑的惩罚。卡彭提出用500万美元补偿税款，芝加哥当局同意了，但被联邦法官否决。卡彭的手下带着枪和成沓的钞票拜访了12名陪审员，但是，法官在开庭前一天任命了新的陪审员。最后，卡彭因隐瞒个人收入罪被判入狱11年。1932年，他被审判宣告有罪依逃税诈欺等罪入狱，之后辗转进入旧金山恶魔岛监狱。因为管制严格的牢狱隔离，卡彭渐失去黑道影响力。

监狱中卡彭依然保持了国王的尊严，女人成了他排遣郁闷的唯一嗜好。不幸的是，由于安全防护方面的问题，他染上了不愈型梅毒。

1939年11月，卡彭获释，获释后的卡彭居住在迈阿密海滩附近椰子岛。他的理智却日益丧失，行动不能协调，言语含混不清，每天身穿睡衣，连续几个小时坐在房外的码头上钓鱼。1947年1月19日凌晨4时，卡彭在睡梦中发生脑溢血。当时在病榻前举行了最后的宗教仪式。最后于1月25日在家里去世。