Nguyện xin theo Nguyễn Tri Phương
Quân Pháp có tàu chiến, pháo binh yểm hộ ồ ạt tấn công vào thành. Trước hoả lực mạnh của quân cướp nước, Hoàng Diệu lên mặt thành chỉ huy quân sĩ đánh trả quyết liệt. Quân Pháp vấp phải sự kháng cự của quân dân Hà Thành dưới sự chỉ huy của Hoàng Diệu, bị thiệt hại nặng và phải rút ra ngoài tầm súng để củng cố lực lượng.
Nhưng trong lúc chiến sự diễn ra khốc liệt thì kho thuốc súng của Hà Nội nổ tung do Việt gian mua chuộc bởi bọn Pháp làm. Một số nhà sử học đoán rằng có liên quan tới phản thần Tôn Thất Bá dẫn tới đám cháy lớn trong thành làm cho lòng quân hoang mang.
Pháp thừa cơ phá được cổng Tây thành Hà Nội và ùa vào thành. Bố chính Nguyễn Văn Tuyển, Đề đốc Lê Văn Trinh và các lãnh binh bỏ thành chạy, Tuần phủ Hoàng Hữu Xứng trốn trong thành cung.
Trong thế tuyệt vọng, Hoàng Diệu bình tĩnh dẫn đầu quân sĩ chiến đấu chống lại quân Pháp dù lực lượng ngày càng yếu đi không thể giữ được thành nữa. Cuối cùng, Hoàng Diệu đã ra lệnh cho tướng sĩ giải tán để tránh thương vong. Một mình ông vào hành cung, thảo tờ di biểu để lại cho Tự Đức rồi ra trước Võ Miếu dùng khăn bịt đầu thắt cổ tự vẫn để không rơi vào tay giặc. Tờ di biểu, ông cắn ngón tay lấy máu viết tạ tội có nội dung như sau:
“Thành mất không sao cứu được, thật hổ với nhân sĩ Bắc thành lúc sinh tiền. Thân chết có quản gì, nguyện xin theo Nguyễn Tri Phương xuống đất. Quân vương muôn dặm, huyết lệ đôi hàng”.
Trăm trận phong trần còn thước đất
Người Hà Nội vô cùng đau đớn trước cái chết của ông, ngay hôm sau nhiều người họp lại sắm sửa mền nệm, rước quan tài của Hoàng Diệu từ trong thành ra, tổ chức khâm liệm và mai táng tại khu vườn Dinh Đốc học, (nay là địa điểm khách sạn Royal Star, đường Trần Quý Cáp cạnh chợ Ngô Sỹ Liên, sau ga Hà Nội).
Hoàng Diệu được đông đảo sĩ phu, nhân dân Hà Nội và Bắc Hà khâm phục thương tiếc, ông được thờ trong đền Trung Liệt cùng với Nguyễn Tri Phương trên gò Đống Đa với câu đối: Thử thành quách, thử gian sơn, bách chiến phong trần dư xích địa - Vi nhật tinh, vi hà nhạc, thập niên tâm sự vong thanh thiên.
Dịch: Kia thành quách, kia non sông, trăm trận phong trần còn thước đất - Là trời sao, là sông núi, mười năm tâm sự với trời xanh.
Vua Tự Đức mặc dầu không ủng hộ Hoàng Diệu trong việc chống Pháp tại thành Hà Nội vẫn phải hạ chiếu khen ông đã tận trung tử tiết, sai quân tỉnh Quảng Nam làm lễ quốc tang. Tôn Thất Thuyết, một đại biểu nổi tiếng của sĩ phu kiên quyết chống Pháp đã ca ngợi ông trong hai câu đối: Nhất tử thành danh, tự cổ anh hùng phi sở nguyện - Bình sanh trung nghĩa đương niên đại cuộc khởi vô.
Dịch: Một chết đã thành danh, đâu phải anh hùng từng nguyện trước - Bình sang trung nghĩa đương trường đại cuộc tất lưu tâm
Hơn một tháng sau, hai người con trai ông ra Hà Nội lo liệu đưa thi hài thân sinh về an táng ở quê vào mùa thu năm ấy.
Hoàng Diệu một trọng thần, danh tướng tài ba trung nghĩa, bất chấp hoàn cảnh thực lực quân sự yếu kém so với quân xâm lược, trong khi không ít quan đại thần trong triều hoang mang, hèn nhát đầu hàng địch, mưu cầu lợi riêng, đã một lòng yêu nước, thương dân, quyết tâm đánh Pháp đến cùng, lấy bảo vệ độc lập dân tộc là trên hết.
Biết kẻ cầm đầu triều đình bất tài, hèn nhát, Hoàng Diệu đã chọn cái chết để bảo toàn khí tiết. Sống thanh bạch, hy sinh oanh liệt và lòng tận tụy vì dân, vì nước của Hoàng Diệu còn mãi trong lịch sử của dân tộc Việt Nam.
