Comenzó como un pequeño fuerte de barro de la dinastía Kakatiya; se cree que el nombre procede del télugu Gollakonda, «colina del pastor». Sultan Quli, enviado por los reyes bahmaníes como gobernador, declaró la independencia en 1518 y gobernó desde aquí el nuevo Sultanato de Golconda, y a lo largo de 62 años los tres primeros sultanes Qutb Shahi reconstruyeron en granito los muros de barro. La capital se trasladó a Hyderabad en 1590.

El nombre de Golconda se difundió mucho más allá de la India por las minas de diamantes cercanas, sobre todo la mina de Kollur, que convirtieron la ciudad en un mercado de grandes piedras conocidas como diamantes de Golconda; se dice que el fuerte tenía una cámara acorazada donde en su día se guardaron el Koh-i-Noor y el diamante Hope. A principios del siglo XVII fue también un centro del tejido de algodón, que exportaba muselina y calicó a Persia y a países europeos, y telas estampadas a Java y Sumatra. En 1687, tras un asedio de ocho meses, el emperador mogol Aurangzeb tomó el fuerte y capturó al último rey Qutb Shahi, Abul Hasan Qutb Shah, y la ciudadela cayó en ruinas.

Al recinto más exterior se entra por la Fateh Darwaza, la Puerta de la Victoria, llamada así porque el ejército de Aurangzeb entró por ella, y tachonada de enormes púas de hierro para impedir que los elefantes la derribaran. Bajo la cúpula de la entrada, una palmada dada en un punto concreto se oye hasta el pabellón de Bala Hisar, en la cima, a casi un kilómetro de distancia, un recurso que antiguamente servía de alarma. La puerta de Bala Hisar, la entrada principal del lado este, tiene un arco apuntado tallado con volutas, yalis míticos parecidos a leones y pavos reales de colas ornamentadas.

En el interior, las ruinas incluyen aposentos y salas reales, la mezquita de Taramati, la mezquita de Ibrahim, armerías, un establo de camellos, un baño mortuorio, los arcos Habshi Kamans y la sala del Durbar en lo alto de la colina, con un pabellón baradari en la cumbre que domina Hyderabad. El templo de Jagdamba, junto al palacio del rey y la mezquita de Ibrahim, se remonta a los inicios del periodo Kakatiya y atrae a cientos de miles de devotos hindúes durante la fiesta de Bonalu; cerca se alza un templo de Mahakali. A aproximadamente un kilómetro al norte de la muralla exterior se encuentran las tumbas Qutb Shahi, entre jardines. Golconda, el Charminar y las tumbas Qutb Shahi figuran en la lista indicativa de la India para el Patrimonio de la Humanidad de la UNESCO.