最初，憶家人隻有憶離和憶絮，兩個人分別寫著自己的小說，各自沉迷在自己的小說世界裏。後來，由於某些客觀+主觀的原因，憶離和憶絮的關係開始慢慢好起來，兩人偶爾也會坐在一起討論小說，互相劇透。當時因為憶澄還沒有開始寫小說，所以憶離和憶絮還沒有組成小組，隻是單純的喊一句“partner”。
    再過了沒多久，憶澄也加入了這兩個瘋子的行列中去，開始了寫文的生活。在憶澄決定了她的筆名之後，憶家人才發現，他們的名字的第一個字都是“憶”，於是就想到了組成一個小組，是專屬於憶離、憶絮、憶澄三人的。最初，他們想了N個名字，不過最終都以太撈而pass掉了。後來隻能根據“憶”字組詞，回憶、失憶、思憶、拾憶……好吧，雖然有些是灰常滴離譜，但是，最後，三人還是決定了——悸憶組合。“悸”取自於憶絮的《悸憶、夏》，而“憶”取自於憶離的憶，也可以說是失憶的憶，因為憶離有一段時間曾消極地想過如果能失憶該多好……這個就留下以後再講吧！
    就這樣，憶離、憶絮和憶澄三人共同組建了一個小說組合，好吧必須得承認，這名字有點……撈……憶離繼續沉醉於自己的《麒麟、羽翼》，並開始多網站發展；憶絮仍然致力於自己的《悸憶、夏》，在連城首先突破10000點擊率；而憶澄嘛……說是更文，但又沒更多少，說沒更吧，但又確實碼字了，真拿這澄子沒辦法……
    一年後，憶澄不知在哪裏拉了一個高級……不，是超級腐女進來，還沒進來啦，隻是與憶離和憶絮開始熟悉起來。這位超級腐女畫畫水平還不錯，至起碼憶離是永遠也不會畫出這麼有創意的畫了……【boss曰：老四，這是褒，不是貶啊，貶的是偶啊！老四曰：偶知道-_-||】再後來，這個超級腐女在某一天突然在微博上發布說她要寫小說，於是乎，憶家人都灰常地歡迎她加入……雖然也有過勸阻，但也罷了，多一個人加入憶家人也好。然後，她的筆名從此確定——憶弦，還是老大憶絮起的。
    老四憶弦加入了之後，boss憶離開始覺得悸憶組合已經不能滿足這四個人了（貌似有點顏色啊，這句話……）然後，憶離決定把悸憶改為記憶，名曰記憶組合。但是憶絮卻認為，組合這兩字兒太撈了，又把組合改為組織，從此以後，悸憶組合正式改名為記憶組織。
    現在，記憶組織有四人：boss憶離，老大憶絮，老三憶澄，老四憶弦。至於為什麼木有老二，這不明擺著嘛，誰會那麼二啊！