9세기 통일신라의 장보고는 청해진(淸海鎭)을 완도에 설치하여 수군 기지로 삼았으며, 10세기 초 고려는 강력한 수군을 보유하여 서해안을 제압하고 남쪽에 있던 후백제의 영토[羅州]를 점거할 수 있었다. 고려 말에도 수군의 활동은 왕성하여 14세기 후반 최무선(崔茂宣)은 왜구의 침략을 물리치기 위하여 화약무기를 개발, 진포(鎭浦 : 錦江 입구)에서 왜선 500여 척을 격파하기도 하였다.

제도적으로 해상 방어를 전담하는 수군이 확립되어 육군과는 독립된 병종으로 정착된 것은 조선 전기의 일이었다. 그 이전까지의 수군은 육군을 보조하는 역할을 하였다. 이러한 조선 전기 수군의 발전은 고려 말 왜구의 빈번한 침입으로 수군이 재정비되었던 데서 비롯하였다. 조선건국 초 수군은 선군(船軍) 또는 기선군(騎船軍) 등으로 불리면서 그 군액(軍額)이 차츰 확장되었다. 세종 때에 이르면 군액과 함께 병선(兵船)·각포설진(各浦設鎭) 등으로 수군 규모와 편제가 제도상으로 정비되었다.

1592년(선조 25년) 일어난 임진왜란에서 일본군은 해상에서 아무런 저항을 받지 않고 상륙에 성공, 육상의 간선도로를 점령하면서 북상하였다. 육지에서 조선의 육군이 패전을 거듭한 것과는 달리 전라좌수사 이순신(李舜臣)이 거느린 수군은 10여 회의 해전에서 모두 승리하여 전세에 큰 영향을 주었다. 이때 조선 수군이 승리할 수 있었던 요인은 이순신의 탁월한 전술과 더불어 조선 수군의 전선(戰船)과 화기(火器)가 일본 수군보다 우월하였기 때문이었다. 임진왜란 중 경상·충청·전라 3도의 수군을 통합하여 함대를 편성해야 할 필요에서 통제영(統制營)을 설치하고, 수군통제사의 지휘를 받는 연합함대를 편성하였다. 이러한 제도는 1627년(인조 5년) 후금(後金)의 침입에 대비하여 강화도에 설치한 통어영(統禦營)과 함께 후기까지 존속하였다.

조선 수군의 형태
조선의 수군은 그 역할을 중심으로 군관과 전투병, 비전투병으로 나눌 수 있다.
군관은 배를 지휘하는 선장을 중심으로 신호용 깃발을 가지고 신호를 담당하는 기패관, 도둑이나 범죄자를 관리하는 포도관, 훈육을 담당하는 훈도관이 있었다.
일반병은 전투에 참가하는 전투병과 배의 운행에 참가하는 비전투병으로 나눈다.
전투병은 화살을 쏘는 병사(사수), 화약을 쟁여주고 불을 붙이는 병사(화포장), 화약무기를 발사하는 병사(포군) 등이 있었다. 비전투병은 수심이 낮은 곳에서 배를 부리는 병사(사공), 노젓는 병사(능노군), 배를 지키는 배지기(선직) 등이 있었다.