컬럼비아대학은 1754년 식민지 시대 리더들을 양성하기 위하여 뉴욕지방 유지들이 영국왕 조지 2세의 인가를 받아 설립한 킹스 칼리지 (King's College)로 출발하여 독립전쟁 기간중인 1776년에 일시적으로 휴교를 하고 1784년에 다시 개교하면서 대학 명칭을 컬럼비아 컬리지(Columbia College)으로 개칭하였다. 1767년에 College of Physicians and Surgeons와 합병하여 의과대학을 신설하면서 미국내 최초로 M.D(의학박사) 학위를 수여했다. 1896년 종합대학 체제로 개편하고, 학교 명칭을 ‘뉴욕시 컬럼비아 대학교(Columbia University in the City of New York)'로 바꾸었다.

맨해튼 트리니티 처치의 부속건물에서 출범하여 두 번의 이전을 거쳐 현재 맨해튼 북쪽 112가와 121가 사이의 모닝사이드 파크에 위치한 컬럼비아 대학은 남북으로 할렘과 경계를 이루며, 브로드웨이와 암스테르담 애비뉴의 도로가 학교를 여러 부문으로 나누면서 지나고 있다. 컬럼비아대학은 미국 대학 사상 5번 째로 설립된 유서 깊은 대학으로 모닝사이드의 메인 캠퍼스에는 오랜 전통을 지닌 유럽풍의 건물들과 현대식 건물들이 기숙사를 포함한 37개 동으로 공존하고 있다.

컬럼비아대학 학부과정은 컬럼비아 칼리지(CC, Columbia College,1754), 스쿨 오브 엔지니어링(SEAC Fu Foundation School of Engineering and Applied Science, 1864), 스쿨 오브 제너럴 스터디스 (School of General Studies, 1947)로 구성된다. 컬럼비아 칼리지는 일반 대학의 인문학 과정과 같은 성격이지만 스쿨 오브 제너럴 스터디스는 편입생 또는 고교 졸업 후 뒤늦게 대학에 입학하게되는 학생들을 위한 대학과정이다. 대학원 과정은 14개 일반/전문대학원으로 구성되는데, 컬럼비아 칼리지, 일반대학원, 의과대학원, 치과대학원, 공중보건대학원, 간호대학원, 법과대학원, 응용과학대학원, 사회사업대학원, 국제·행정대학원, 예술대학원, 건축대학원, 언론대학원, 경영대학원 등이 있으며, 이 외에 제휴 대학으로 여학교인 버나드 칼리지(Barnard College) 와 교원대학(Teachers' College)등이 있다.

1889년 여학교로 제휴한 버나드 칼리지와는 별도로 1983년부터 컬럼비아 대학에서도 여학생을 받아들이고 있다. 특히 저널리즘(신문방송학) 대학원은 미국 최고로 인정받고 있으며, 매년 신문, 극장, 음악, 문학 등의 분야에 수상 되는 퓰리처상의 선정을 저널리즘 스쿨에서 관리하며 1917년 이래 매년 5월에 컬럼비아대학에서 시상되고 있다. 의과대학 센터(Columbia Presbyterian Medical Center)는 의과대학, 치과대학, 간호대학, 그리고 보건위생대학 등 4개의 학교로 구성되는데 모두 뛰어난 학교로 알려져 있다. 컬럼비아대학은 러시아연구소, 라몬트 해양연구소, 텔리 커뮤니케이션 연구소, 지질학연구소 등으로도 유명하며, 다른 대학보다 앞서 광산학부·교원대학·도서관학부·사회사업학부 등을 개설하여 새로운 학문분야를 개척해왔다.

컬럼비아대학은 22개 부속도서관에 약 1,000만 권의 각종 도서와 630만점이 넘는 마이크로필름 자료를 비롯하여 75만권의 희귀도서들이 소장되어 있다. 부설시설로 미술관, 플라네타리움, 라디오 및 텔레비전 방송국, 지질연구센터, 네비스 하이에너지 미립자물리연구센터 등이 있다. 
《US NEWS & WORLD REPORT》지가 2010년에 발표한 미국 50개 상위 종합대학 순위에서 컬럼비아 대학은 올해 단독 4위로 5위인 스탠포드와 U-Penn을 제치고 최상위권 명문대학으로 떠오르고 있다.

2009/10년도 칼리지의 경우 지원자 21,273명 중에 9%인 1,902명이 입학 허가를 받았고 이 중 1,098명 (61%)이 등록을 했다. 공과대학은 4,154명 지원에 599명(14%) 가 합격하고 321명(56%)이 입학한 것으로 집계되었다. 2010년 현재 총 재학생은 26,399명으로 이 중 7,859명이 컬럼비아 칼리지 학생, 1만 8,540명이 일반/전문대학원 학생이다. 학부 교수는 865명, 대학원 교수는 512명으로 교수 1인 당 학생수는 9명이다. 2010년 학기 등록금은 $43,304이며, 기숙사 비용은 $10,572로 연간 학비는 $53,876 수준이다. 재학생의 평균 40%가 학자금 지원을 받는다. 2010년 현재 외국학생 비율은 중국>한국>캐나다>인도>프랑스 순으로 나타난다. 시카고 대학에 이어 2번째인 78명의 노벨상 수상자를 배출했으며, 15명의 뉴욕시장과 12명의 주지사를 배출했다.