David Abercrombie opende de eerste Abercrombie winkel in New York in 1892. Een voormalige landmeter, topograaf, trapper en goudzoeker die nog in het bezit zijn liefde voor de natuur, hij was geïnspireerd zijn passie voort te zetten door het creëren van hoogwaardige goederen voor anderen om beginnen aan hun eigen avonturen.
Een regelmatige klant naar Abercrombie's winkel was fervent visser en klimmer Ezra Fitch. Fitch overgehaald abercrombie soldes naar partners in business geworden en in 1904 de winkel werd Abercrombie & Fitch.
Abercrombie and Fitch hadden verschillende ideeën over hoe het bedrijf ook moeten worden uitgevoerd als van de richting. Abercrombie ontslag in 1907 en Fitch verder met zijn visie op het creëren van een outdoor winkel die het publiek gaf de ervaring van het gevoel alsof ze het winkelen buiten.
Fitch met pensioen in 1928 en bleef het bedrijf groeien tot de jaren 1960 . In 1977, Abercrombie & Fitch ging failliet en niet zou herstellen tot laat in de komende tien jaar.
Abercrombie & Fitch werd gekocht door Limited Brands in 1988. De focus verschoof van outdoor goederen tot, A&F Heren Donsjacks, casual en toch trendy lifestyle kleding gerichte om tieners en jonge volwassenen uit gezinnen upper-middle-inkomsten.