El que sería el hombre más rico nacido en Dumfermline, llegó a Pittsburgh, Pensilvania (EE.UU.), desde Escocia junto a toda su familia, después de que la introducción del telar mecánico dejara a su padre sin trabajo.
El primer trabajo de Carnegie fue como «chico de la bobina» en una fábrica textil. Desempeño otros trabajos como secretario y chico de los recados antes de pasar a ser, en 1853, ayudante de Tom Scott, responsble de la división oeste de la Pennsylvania Railway Company.
Comenzó a invertir por su cuenta en metalurgías y otros negocios, lo que le reportó unos beneficios considerables. En 1859, le ascienderon al puesto de superintendente, puesto que mantuvo hasta que en 1865 dimitió para dedicar toda su atención a los negocios, sobre todo los relacionados con el hierro y el acero.
La Guerra de Secesión hizo que la demanda de hierro fuera constante: era necesario sustituir los viejos puentes de madera por puentes de hierro y, más importante aun, había que prolongar las líneas de ferrocarril.
Carnegie fue el primero en usar un convertidor Bessemer en los Estados Unidos, lo que contribuyó a que se pudiera fabricar acero a más velocidad y menor coste. Ya en el año 1900, la Carnegie Steel Company producía una cuarta parte de todo el acero de Estados Unidos y obtenía un margen de beneficios de 40 millones de dólares.
Carnegie opinaba que la riqueza carecía de valor si no se destinaba a buenas causas, como hizo constar en los tratados que escribió sobe este tema, entre los qaue se encuentara Gospel of Wealth, donde sostenía que cualquier riqueza más allá de lo necesario para sobrevivir debía utilizarse para el beneficio de la comunidad. Cuando vendió su empresa a J.P. Morgan en 1901 por 480 millones de dólares, Carnegie ya había empleado gran parte de su dinero en seguir sus propias recomendaciones. Este hombre culto y hecho a sí mismo sentía devoción por las bibliotecas públicas y gastó más de 50 millones de dólares en la creación de 2.500. Para cuando murió había donado 350 millones de dólares.