Thành phố Kasaoka nằm ở phía tây nam tỉnh Okayama, ven biển nội địa Seto và giáp Thành phố Fukuyama, tỉnh Hiroshima.
Phía nam thành phố là vùng biển với Quần đảo Kasaoka gồm 31 hòn đảo lớn nhỏ. Điệu múa Shiraishi Odori được lưu truyền trên Đảo Shiraishi đã được công nhận là Di sản văn hóa dân gian phi vật thể quan trọng cấp quốc gia. Bãi Oehama là nơi sinh sản của sam biển, loài được mệnh danh là “hóa thạch sống”, và là di tích thiên nhiên cấp quốc gia. Những vùng đất lấn biển rộng lớn trải dài nơi đây; từ xưa, thành phố đã có mối giao lưu mật thiết với vùng Bingo.
