Trước năm 1938, khu vực Căng Bắc Mê là một đồn binh nhỏ của thực dân Pháp, dựng lên để án ngữ con đường thông giữa 3 tỉnh: Hà Giang, Tuyên Quang, Cao Bằng, heo hút hiểm trở rừng thiêng nước độc...
Qua thời gian đồn binh được mở rộng, xây dựng thêm nhà cửa bốt gác, tường rào để giam giữ tù nhân...