興平元年公元194年，劉備入徐州支援陶謙時，結識了徐州巨富糜竺、糜芳兄弟，遂引為肱骨心腹。
糜氏一族是彼時徐州首屈一指的豪商富賈，擁家資上億，故而徐州牧陶謙及曹操都極盡籠絡。
而糜竺單敬劉備，不惜豪擲千金嫁妹聯姻，糜芳也與哥哥一起追隨劉備，他不似糜竺那般儒雅雍容，為人頗為勇武，故而成為營中佐將。
糜芳雖出身優渥卻不辭奔波勞苦，隨劉備征呂佈攻曹操，一起渡江逃亡江夏。
赤壁之戰後，劉備終於虎口拔牙，在東吳與曹操的夾縫之中占據了荊州諸郡中的桂陽、武陵等5郡，在荊州短暫停留後，劉備率主力開拔蜀地，準備圖取益州，故晉關羽為襄陽太守，鎮守荊州，同時擢升糜芳為南郡太守，屯於江陵，掌管荊州人馬的糧餉輜重。
劉備此舉看似雙重加固，令糜芳襄助關羽，共守荊州，實際上不乏節制關羽的用意，而且失荊州的禍事正是因此而起。
我們知道關羽勇冠三軍，然為人高傲，對於久經沙場卻未曾建過奇功的糜芳，關羽壓根不放在眼裡，縱然糜芳是國舅爺，也沒什麼用，關羽照樣嗤之以鼻。
久而久之，兩人離心離德。
建安二十四年，劉備拿下漢中，關羽聞訊攻打襄陽樊城，糜芳依舊鎮守江陵，負責為大軍供給糧草。
當關羽鏖戰曹將徐晃時，糜芳卻因往日恩怨，故意拖延糧餉使大軍饑疲，這令前方沖鋒陷陣的關羽大為不滿，遂咬牙切齒誓要嚴懲糜芳。
正待二人計較之時，東吳瞅準時機悄然出手，遊說糜芳歸降。
按常理糜芳為蜀漢元老劉備心腹，其人斷然不能叛投東吳，然而事實就是這麼離奇，糜芳鬼使神差獻出江陵城，逃奔東吳。
正所謂牽一發而動全身，糜芳的出逃令整個蜀漢陷入被動，荊州之失、關羽父子之死、其兄長糜竺引咎而死，甚至劉備東征孫吳夷陵慘敗，都與糜芳關聯密切。
造成如此後果，糜芳永世不可能再回蜀漢。
孫權沒有虧待糜芳，任其為將軍，賜府邸衣食，掌持一方人馬。
但糜芳的日子並不好過，自打他落腳東吳，吳人皆斥其『失忠與信，自絕於人』，飽受奚落。
糜芳最後一次出現在史書中，是投奔東吳3年後，即公元223年。
彼時劉備遭夷陵大敗，於白帝城重病死去，而他的國舅爺糜芳，卻在東吳跟隨孫權南征北討，建功立業。
此後糜芳就如石沉大海一般，徹底失去了消息。
學者分析認為，糜芳入吳後，雖有孫權照顧，但處境遠遠沒有在蜀漢那般優越，從國舅爺一朝淪為叛賊，惹眾人鄙夷指責，加之哥哥糜竺因其罪過悵然病死，令糜氏一門蒙羞，糜芳的內心必然有很大的負罪感，他的處境可謂如履薄冰。
再者糜芳並不善戰，故而上陣的機會並不多，所以他很有可能鬱鬱而終，帶著愧疚悔恨死在了東吳。