五月二十，大西军发起攻城战役。炮队使用两千门火炮，对着衡阳南门一阵狂轰，南城顿时陷入一片火海。
安仁王朱由楥亲自跑到南城督战，要求兵士死守南门，决不能放大西军入城。明军将士依托城墙跟城内的掩体躲避着炮击。虽如此，许多士兵还是惨死在大西军的炮火之下。朱由楥牙齿咬的咯咯响，赶紧命令自己的炮队准备还击。
正如朱由楥预料的那样，大西军那边炮火刚停，先锋部队就携带数百云梯冲锋过来，喊杀声震天动地，孙可望的帅旗迎风飘动，显示出十足的霸气。
大西军进入明军射程时，朱由榔命令明军开炮，顿时大西军队伍人仰马翻，但仍然冲锋下去向前，杀声一片。
朱由楥感慨道：“这贼寇怎么都不怕死呢？照这样的打法，咱这衡阳城连四个时辰都守不下去啊。我给父王有军令状，今日不会跟着衡阳同生共死吧。”
副将王兴上前应道：“安仁王莫要伤感，依末将看，这贼军来势汹汹，不过是头阵猛一些，我军誓死扛住，敌人的后续攻击就会慢一些。您想想，他们毕竟只是一群草寇，哪抵得上我军久经训练的王师。况且，当年，不可一世的李自成不也败在了这城下？”
朱由楥看着王兴，淡淡的说：“但愿如王将军所说。我这桂藩存亡，看此一役了。此战若胜，我桂藩遥尊天子，近领南方诸藩，可成一方之首脑也。可是，一旦战败，桂藩无言面对陛下，而且即便突围，也落得个丧家之犬。”
王兴说：“殿下不必如此。今日，末将及诸官兵，必当死战。”
朱由楥说：“朱由楥在此谢过将军。”
一个军士打断二人的谈话：“将军快看，贼寇开始攻城了。”
王兴赶紧命令道：“拼死守卫。不能让贼寇上得城来。”
城上明军弓弩齐发，箭若雨下。大西军在城下积尸如山，伤亡惨重。
李定国命人以壁垒阵缓缓前移至城下，再行攻击。这壁垒阵其实跟壁垒没有多大关系，它让士兵以二十名为单位，头顶盾牌，以躲过楼上的弓箭。
不一会儿，城上的明军只能看到一方方盾牌在缓慢移动。他们知道，这盾牌的下面是缓缓挪移的大西将士。一个校尉令本部士兵用弓弩射击，结果无济于事，箭镞全部落在了附近，根本射不穿盾牌。
朱由楥开始暗叹前年父王的那次鲁莽举动。话说前年，澳门的葡萄牙商人觐见桂王，声言可以卖给桂王火枪三千余支，并保证教会士兵使用。桂王是个守旧的官员，对西洋新兴事物漠不关心。他一向认为，这火器只是外夷小国的灵巧之物，并不适合装备自己的军队，于是冷言冷语的拒绝。
想到这里，朱由楥叹道：“要是当年父王不要那么决绝的拒绝葡萄牙国商人的请求，不过就是耗费些银两，可是却有装备了火枪。今天，军士们要是有三千火枪，那么着盾牌大阵肯定会很轻易的就能攻破。”
王兴说：“安仁王，现在不是说这些的时候，当务之急是如何阻止敌人继续攻击，有效地防止贼军攻入城中才是。”
朱由楥这时候已经慌了神，只是说道：“我哪有什么主意啊。”
王兴说：“依臣下看，赶紧安排王府撤退，不然后果不堪设想，这衡阳城怕是守不住啊。”
朱由楥胆战心惊，急忙说：“好的好的，王将军快去安排人。”这朱由楥不知是被大西军攻城的架势吓坏了，还是明知不敌，难以向父王交待，一个后仰就倒在了城墙上。身边的侍从赶紧围上来，架起他直往王府奔去。
真是屋漏偏逢连夜雨，王府内传出桂王病危的消息。吕王后看着眼前一起昏死过去的父子，对天号哭道：“这是天要灭我桂藩吗？”
桂王突然睁开眼睛，弱弱的说：“王后，你哭什么！寡人还没死呢！”他一抬身子，看见王府里的医官正在给安仁王诊治，惊叫道：“楥儿这是怎么了？”
侍从说：“安仁王在城楼督战，忽然晕厥，我等未敢自专，紧急抬下，心想先就下王爷性命要紧。”
桂王赶紧问医官道：“先生，我儿如何？”
医官说：“回禀大王，安仁王乃急气攻心，千万不能再受刺激。另外，一定要按时吃药，绝对不能乱动，恳请殿下允诺安仁王静养。如若不然，不出三月，安仁王性命休矣。”
桂王倒在床上，口中喷出一口鲜血，什么也没能说来，又昏厥过去。
众人赶紧又围上桂王。
城外的喊杀声越来越大，越来越近。南城守将派人紧急报来，不出一个时辰南城就要守不住了，请桂王抓紧裁夺。可是，众人看着依旧昏厥的桂王，不知如何是好。
突然，桂王开口，说：“侍卫们，你们抬寡人上南城门楼子。”
吕后、马妃赶紧跪倒在地，力劝桂王不要登城。
桂王大怒道：“孤王今日不登城督战，以何面目见天下苍生！况且，崇祯十二年贼寇李自成进犯之时，孤王已经决定杀身成仁。可幸赖老天眷顾，让寡人又多了几年无聊光阴。今日，大西匪寇就在城下，我军随时有破城之危，百姓时刻有倒悬之苦。孤身为大明藩王，怎敢不以死相报朝廷的恩德。”
说完，一脚踹开倒在前面的一后一妃，命令侍卫抬自己上城楼督战。
众侍卫抬着桂王，迎着农民军的杀声，颤巍巍地走向城楼。放下椅子，桂王大声喝道：“给我杀光这帮贼寇，保我大明江山。杀敌一人，晋爵一级。”
一声闷炮在桂王身边爆炸，挡在他眼前的示威瞬间成了肉泥。
侍卫长赶紧求道：“王爷，贼寇炮火太猛，请王爷跟我们回去吧。”
桂王道：“你们这帮鼠辈，见了贼寇就像溜之大吉。殊不知大明虽大，可总是会有尽头。怎么能一地一城尽数给了贼寇呢？”
众人见桂王如此说，皆面面相觑。
侍卫长一声令下：“抬起王爷，回王府，赶紧护卫宫眷出城。”
“是！”众人应下，抬起桂王直往王府奔去。
“临阵退缩，挟持主帅。小心我杀了你们！”
众人默声。
进了府门，见王后、王妃还跪在地上，侍卫长赶紧说：“贼军即将破城，请王后王妃随王爷赶紧出了北门，那边已经有朱将军接应。我等誓死与衡阳共存亡。”
桂王默然不语。
马王妃突然叫道：“四儿呢，四儿呢，我的四儿在哪儿？”
慌乱之中，众人都没有顾及其他。这时，听马王妃如此说，都想起了还有个永明王。可是，永明王哪里去了？
小玉赶紧说：“王妃，您赶紧跟随王爷王后突围，我这就去找永明王。您放心，找到永明王，我们就去梧州跟你们会合。找不到他，我绝不生还桂藩。”
马王妃哭泣道：“那就拜托你了。”回过头对身边的胞弟马吉翔说：“吉翔啊，你跟小玉一块儿去，多带点你们永明王那边的侍卫。”
马吉翔说：“姐姐，你就放心吧，我一定找永明王回来。”
桂王听后，对小玉跟马吉翔点头示意了一下，带着王后、王妃及侍卫队伍一干人马直往北门而去。
等在那边的朱习军见王爷一行来到，立刻率军护送，一路向南，直往梧州奔去。