Bạc xỉu là cách gọi tắt từ cụm từ “ bạc tẩy xỉu phé” xuất phát từ tiếng Quan Thoại (là tiếng Trung phổ biến trong công động người Hoa ở Sài Gòn) nhằm để chỉ món sữa nóng thêm một chút cafe. Trong tiếng Quan Thoại thì “Bạc” là màu trắng, “Tẩy” là cái ly không, “Xỉu” là một chút và “Phé” là cafe. Vì thế, có thể khẳng định rằng bạc xỉu và cafe sữa là 2 món đồ uống hoàn toàn khác nhau.