Chính dưới triều giám mục của ngài, đan viện Phước Sơn đã được sát nhập vào đại gia đình Xitô.

Qua những bài huấn đức và hơn nữa qua gương sống của ngài, ngài thúc đẩy họ sống các nhân đức nền tàng của người linh mục: khiêm tốn, siêu thoát, hy sinh, yêu thích cầu nguyện và học hành.

Chỉ có Chúa làm chứng và là người tâm sự, đó  là một trong những luật sống đời ngài.

Đức Cha đáng kính có vẽ mệt hơn thường và cuộc lữ hành trần thế của ngài hầu như sắp phải kết thúc.

Chúng ta đã biết Đức Cha Allys như là linh mục thừa sai thế nào, ngài cũng như thế khi làm Giám mục, nghĩa là một vị tông đồ được xâu xé bởi lòng nhiệt thành thánh thiện lo cho lương dân trở lại và  thao thức tìm kiếm những trẻ em bị bỏ rơi hoặc lâm cơn nguy tử.

Đức Cha Allys nói: “Ôi những ngày khắc khoải cho các Kitô hữu. Không gì kinh khủng bằng những sự hăm doạ chết chóc như thế mà âm vang không ngừng đến với chúng tôi và gieo rắc sự kinh hoàng giữa các Kitô hữu. Không gì làm cho mất tinh thần hơn sự bất định liên tục về ngày mai!”

Thụ phong linh mục ngày 10 tháng 10 năm 1875, cha Allys lên đường ngày 16 tháng 12 năm đó đến Miền Truyền Giáo Bắc Đàng Trong.

Ở xa cũng như ở gần, ngài cảm thấy hết lòng gắn bó với Miền Truyền Giáo đã được ngài lãnh đạo rất tốt đẹp.

Đại chủng viện mang ơn Đức Cha Caspar về sự tồn tại và thiết lập bền vững tại Phú Xuân.

Tùng phục hoàn toàn sự Quan Phòng của Chúa là một đặc điểm trong diện mạo tinh thần của Đức Cha Caspar.