平治の乱で父・義朝とともに戦うが敗れ、伊豆の国（現在の静岡県東部）へ流刑となる。
1180年に謀反を企て、上総、鎌倉、信濃の味方も加えた総勢二十万騎で駿河へ攻め入った。この「富士川の戦い」では初めて平家が敗れ、各地の源氏は次第に勢いを増していった。
平家が滅んだ後に頼朝は征夷大将軍となり、鎌倉に幕府をたてて武家政権の基礎を固めていく。まさに平家滅亡の口火を切った人物といえよう。
しかし、作者の平家への同情が色濃い「平家物語」の中では、やはり頼朝が語られる場面は少ない。