唐德宗貞元末(805年),白行簡考中進士,授祕書省校書郎。
元和中,盧坦出任東川節度使,召他爲掌書記。
元和十二年(817年),盧坦死,他便離開東川幕府,於次年春取三峽水路歸潯陽,與他任江州司馬的哥哥白居易團聚。白居埸曾寫了《得行簡書聞欲下峽先以此寄》和《對酒示行簡》兩首詩以記其事並慶賀他兄弟倆的重逢。
元和13年(818年),白居易被貶爲江州(今江西省九江市)司馬,白行簡與白居易在江州相聚。當白居易被任命爲忠州刺史時,白行簡也一同與兄長溯江而上。
元和十四年春,白行簡隨其兄白居易前往忠州,第二年(820年)又隨兄回到京城長安,授職左拾遺,累遷司門員外郎,主客郎中。長慶末年,振武水運營田使賀拔志歲終結課失實,朝廷詔命白行簡複覈,他把情況查實後,揭露了賀的舞弊行爲,賀畏罪自殺。
寶曆二年(826年)冬,白行簡病卒,時年52歲。