承興定婚之後，每日與牡丹遊湖賞花，連顯貴也難得見上一麵。劉府則是賓客盈門，地方官商爭相巴結。
    快劍山莊中，高風、樂怡兄妹每日勤讀詩書、勤練武，一心要討好父親。高父整月來依舊是陰沉著臉，絕口不提高亮，連帶莊中的氣氛也緊張了不少。紙包不住火，日子久了，眾人亦依稀知道了高亮被什麼有權有勢的女子招作了贅婿，可憐上虞一帶的少女芳心碎了一地。
    高父沉鬱的心情還沒緩過來，又收到了一份退婚書，上麵寫著：
    高務觀兄啟：
    小女劉牡丹因體弱多病，不能與貴公子高風完婚，就兩家姻親之事作出退婚處理，還望務觀兄見諒。
    弟劉富通拜上。
    高父呆在當地好半天才回過神，急急叫人請了夫人來，高風聽得風聲，也趕了過來。高母看完退婚書，略作沉思，便對劉府送信人老張道：“這頭親事是家父與你家老太爺當年定下的，現在劉老爺要退婚，隻怕要先征得家父同意才成。”
    老張揮揮手，劉府下人登時抬了十多箱禮物上前，老張又拿出一張禮單，傲然道：“這是我家老爺的一點心意，夫人收下後足夠為令郎另娶媳婦了！”撇了眾人一眼，頓了頓又道：“若是還不夠，可以再補！”高父大怒：“當初這門親事是劉老先生提的，如今劉富通要悔婚，我高家也不稀罕！”拿過婚書就要蓋手印。
    高夫人連忙按著他的手，怕丈夫被對方以語相激，立時便同意退婚。側頭看向高風，卻見他眼中竟有欣喜之色，登時一怔：我兒文武雙全，才能出眾，又是個自小有主意的，讓他娶劉家的女兒，也實在委屈了。不覺緩了緩手，高父按好手印，喝令老張把禮物帶走。
    高亮行年二十五，早已到了娶妻的年紀，仍舊單身，是因著當年外公與劉家老太爺劉東城為他和孫女劉牡丹訂下的親事。東城病逝後，劉富通夫婦看著女兒漸漸長大，婷婷玉立，貌勝牡丹，又怎舍得將她嫁去上虞這等鄉下地方，劉家諸多藉口，將婚事多番拖延，牡丹今年也有十八了。
    高家在蘇杭亦有產業，高風行事低調，每至杭州，都住在戴府，日常又與顯貴同行，在外人眼中，高風是顯貴跟班，仗著戴家做些小生意而已。高父更是才高氣傲，雖常至蘇杭一帶書院講學，卻從不屑巴結官商富戶。這父子倆，一文一武，確是人才出眾，但從不參加科舉考試，落在劉家眼中，皆是不務正業之徒。歐陽奇武功高強，為人最重承諾，守信用，又一直視劉富通如子侄，積威之下，劉氏夫妻二人雖有心悔婚，卻不敢開口，平日與高家父子往來便不免多了些冷言冷語。
    機緣“巧合”，牡丹認識了吳承興，承興對牡丹也頗有好感，劉氏夫婦於是決定將牡丹配與承興，又遭顯貴阻攔。逼不得已，隻得要牡丹親自向承興表白，承興終究是英雄難過美人關，親自向劉家提親。劉富通又打探得歐陽奇外遊未歸，便決定向高父下手，以高父的脾性，若是以財激之，必定同意退婚，日後歐陽奇回來問起，退婚已成定局，女兒又已另嫁，想反悔也不成了。果如所料，高家爽快退婚，連帶禮物也一並退回。
    高父高母對這門親事也早已不滿，無奈歐陽奇一意孤行，如今劉家主動退婚，二人樂得順水推舟，了卻一樁心事。
    當天，樂怡晚歸，聽得劉家退婚的消息，怕大哥難過，匆匆走至高風住的院子，又怕他難堪，踮著腳輕輕走到房門前。隻見房門緊閉，四周靜悄悄，樂怡皺著眉，駐足細想如何安慰高風。
    忽然聽得一把熟悉的聲音哈哈大笑：“這回劉老頭還不賠了女兒又折兵！”
    顯貴笑完，接著道：“大哥這回恢複了自由身，可得好好想想怎樣把唐姑娘追回來！”高風隻是低低應著，似有滿懷心事。
    樂怡想：原來大哥早已有心上人，這回劉家退婚，實在是好極了。當下也不打擾，轉身回房去了。
    次日，顯貴拜見完高父高母，樂怡尋了個機會，引了他去後院，詢問她大哥心怡那位唐姑娘是誰。顯貴裝作不知，惹得樂怡不耐煩，沉聲道：“那我去稟告父親，說顯貴大哥你一心向文，要拜他為師學習四書五經。”顯貴嚇得連連擺手，慌忙道：“好妹妹，別去，別去，你家老爹還不酸死我！”看看左右無人，低聲道：“你大哥鍾情的是四川唐門的唐婉姑娘。”樂怡忍不住歎了口氣：唐門的女兒可不好娶！