Đầu thế kỷ XIX, các xã: Ninh Động, Mai Vũ, Phúc Ninh, Nội Ninh, Giá Sơn, Hữu Nghi thuộc tổng Quang Biểu, huyện Việt Yên, phủ Bắc Hà, trấn Kinh Bắc; xã Cao Lôi thuộc tổng Mật Ninh, huyện Yên Dũng, phủ Bắc Hà, trấn Kinh Bắc.
Cuối thế kỷ XIX – tồn tại đến trước Cách mạng tháng Tám năm 1945, xã Ninh Động, Mai Vũ, Phúc Ninh, Nội Ninh, Giá Sơn, Hữu Nghi thuộc tổng Quang Biểu cắt về tổng Mật Ninh, huyện Việt Yên.
Sau Cách mạng tháng Tám năm 1945, xã Ninh Sơn được thành lập trên cơ sở các xã cũ: Ninh Động, Mai Vũ, Phúc Ninh, Nội Ninh, Hữu Nghi. Xã Cao Lôi cùng với Khả Lý Thượng và Khả Lý Hạ lập thành xã Khả Cao, xã Giá Sơn cùng với Chu Xá, Nam Ngạn, Đạo Ngạn lập thành xã Chu Ngàn.
Ngày 2 tháng 5 năm 1949, Ủy ban kháng chiến hành chính Liên khu I ban hành Quyết định số 223/QĐ-UB về việc hợp nhất 3 xã: Ninh Sơn, Khả Cao, Quang Trung (gồm 2 làng Mật Ninh, Sen Hồ và làng Giá Sơn cắt từ Chu Ngàn sang) thành xã Quảng Minh.
Tháng 10 năm 1954, chia xã Quảng Minh thành xã Ninh Sơn và xã Quảng Minh.[4]
Ngày 13 tháng 12 năm 2023, Ủy ban Thường vụ Quốc hội ban hành Nghị quyết số 938/NQ-UBTVQH15 về việc thành lập thị xã Việt Yên (nghị quyết có hiệu lực từ ngày 1 tháng 2 năm 2024)[1]. Theo đó, thành lập phường Ninh Sơn trên cơ sở toàn bộ 7,99 km² diện tích tự nhiên và dân số 10.203 người của xã Ninh Sơn.