Брамс започва да пише Втория клавирен концерт през 1878  по време на свое пътуване до Италия. След няколко прекъсвания на работата, той все пак го завършва през 1881. Въпреки вдъхновението на италианската атмосфера, концертът е типично немски. Брамс е солист на премиерата в Будапеща през ноември 1881. За разлика от Първия концерт Вторият веднага се харесва на публиката, изпълняван е многократно и от Брамс, и от Ханс фон Бюлов. Създаван е в най-силните в творчески план години на композитора, едновременно с Цигулковия концерт и Втора симфония. Тогава Брамс е знаменит и вдъхновен. Музиката на концерта е грандиозна, с епичен размах, написана в знаковата тоналност Си бемол мажор. Към класическата тричастност Брамс добавя скерцо. Смята се, че материалът в скерцото е отпаднал от Цигулковия му концерт и е преработен, за да бъде съхранен.

Въпреки пиетета на романтизма към виртуозния инструментализъм, за Брамс са чужди театралността и самоцелният блясък. Въпреки това концертът съдържа един от най-сложните текстове и е атестат за техническа и музикантска зрелост на пианиста. Сравняван е в това отношение с Петия концерт на Бетовен. Затова неслучайно концертът е определян като симфония с облигатно пиано. Иронично за големия мащаб на творбата Брамс нарича скиците към опус 83 в писмо до своя приятел д-р Теодор Билрот, като „някои малки пиеси за пиано“. Той отива още по-далеч в определението си в писмо до Елизабет фон Херцогенберг: „Това е малък концерт [Konzerterl] с мъничко скерцо [Scherzerl].“ Частта, която Брамс нарича „мъничко скерцо“, е нетипична за концертната форма дотогава – а всъщност това е най-драматичната и бурна от четирите части. Вторият концерт на Брамс се оценява и тогава, и сега като един от най-величествените образци в клавирния репертоар.