Qara Qarayev 1918-ci il fevralın 5-də Bakı şəhərində məşhur həkim-pediatr Əbülfəz Qarayevin və Sona xanım İskəndər qızının ailəsində anadan olub.
Qara Qarayev nəslində özünü musiqi sənətinə həsr eləmiş ilk adamdır. Ata tərəfi Abşeronun Fatmayi kəndindən, ana babası İskəndər bəy Axundov isə Şamaxının məşhur nəsillərindən idi.
Qara Qarayev 1926-cı ildə Azərbaycan Dövlət Konservatoriyası yanında musiqi məktəbinə qəbul edilib, 1930–cu ildən Azərbaycan Dövlət Konservatoriyası yanında musiqi texnikumunda professor Georgi Şaroyevin fortepiano sinfinin tələbəsi, 1935–ci ildən isə Konservatoriyanın bəstəkarlıq (Leopold Rudolf) və Azərbaycan xalq musiqisinin əsasları (Üzeyir Hacıbəyov) siniflərinin tələbəsi olub.
1938–ci ildən 1940-cı ilədək P.İ.Çaykovski adına Moskva Dövlət Konservatoriyasında bəstəkarlıq sinfində (A.N.Aleksandrov) oxuyub. 1941–ci ildə Bakıya qayıdaraq Müslüm Maqomayev adına Azərbaycan Dövlət Filarmoniyasının bədii rəhbəri vəzifəsini tutub.
1944–cü ildə Azərbaycan Bəstakarlar İttifaqının İdarə Heyəti sədrinin müavini və yenidən 1946-cı ilədək Moskva Dövlət Konservatoriyasında bəstəkar Dmitri Şostakoviçin tələbəsi olub.
1946–cı ildən Azərbaycan Dövlət Konservatoriyasında bəstəkarlıq sinfində müəllim kimi işə başlayıb, elə həmin il Cövdət Hacıyevlə birlikdə yazılmış “Vətən” operasına görə SSRİ Dövlət mükafatı laureatı olmuş, SSRİ Bəstəkarlar İttifaqı təşkilatı komitəsinin üzvü seçilmiş və “Əməkdə igidliyinə görə” medalı ilə mükafatlandırılıb.
“Yeddi gözəl”, “İldırımlı yollarla” baletləri, “Don Kixot”, “Alban rapsodiyası” simfonik qravürləri, “Leyli və Məcnun” simfonik poeması və s. Q.Qarayevin dünya musiqi xəzinəsinə bəxş etdiyi incilərdəndir.
Böyük bəstəkar, pedaqoq və ictimai xadim Q.Qarayev sənətdə daim yeni axtarışlar sorağında olub. Onun Nizaminin "Yeddi gözəl" poemasından bəhrələnərək yazdığı "Yeddi gözəl" və Cənubi Afrika yazıçısı Piter Abrahamsının romanı əsasında yazdığı “İldırımlı yollarda” baletləri dünyanın bir sıra ölkələrində uğurla göstərilib.
Qara Qarayev həmçinin gözəl müəllim olub, neçə-neçə dahi bəstəkarlar yetişdirib.