হজের আনুষ্ঠানিকতার অন্যতম অংশ হলো- শয়তানের প্রতীকী স্তম্ভে কঙ্কর নিক্ষেপ করা। এই কঙ্কর নিক্ষেপের স্থানের খুব কাছে ঐতিহাসিক ‘মসজিদে খায়েফ’ অবস্থিত। এই মসজিদে ৭০ জন নবী নামাজ আদায় করেছেন। সওর পাহাড়ের বিপরীত দিকের পাহাড়ের অদূরে প্রতিষ্ঠিত এই মসজিদের আলোচনা বেশ গুরুত্বের সঙ্গে স্থান পেয়েছে।
বিশাল মসজিদটি কঙ্কর নিক্ষেপ করতে আসা হাজিদের মনে করিয়ে দেয় ইতিহাসের অনেক ঘটনাকে। বৃহদাকার মসজিদের উচুঁ মিনারগুলো বেশ দূর থেকে পাহাড়ের চূড়ার সঙ্গে পাল্লা দিয়ে দাঁড়িয়ে আছে। বর্ণিত আছে, হজরত রাসূলুল্লাহ (সা.) এই মসজিদে নামাজ আদায় করছেন এবং বলেছেন, এখানে সত্তরজন নবী সমাহিত হয়েছেন। নবী করিম (সা.) বিদায় হজে মসজিদে খায়েফে নামাজ পড়েছেন। এই মসজিদের অনেক ফজিলত হাদিস ও ইতিহাসের গ্রন্থসমূহে উল্লেখ আছে।
পাহাড়ের চেয়ে নিচু এবং সমূদ্রপৃষ্ঠ থেকে উঁচু স্থানকে আরবি পরিভাষায় খায়েফ বলা হয়। আবার দুই পাহাড়ের মধ্যবর্তী উপত্যকাসম ভূমিকেও খায়েফ বলে আরবরা। অপরদিকে, খায়েফ মসজিদ হচ্ছে মক্কার কাফেরদের বিরুদ্ধে মুসলমানদের বিজয়ের এক স্মৃতিচিহ্ন। ইতিহাসে এসেছে, পঞ্চম হিজরিতে ইহুদিদের প্ররোচনায় মক্কার কাফেররা মদিনায় হামলা করার সিদ্ধান্ত নেয়। এ লক্ষ্যে তারা কিছু আরব গোত্রের সঙ্গে সন্ধি চুক্তি করে।
এই সন্ধি চুক্তি করার জন্য মক্কার কাফেররা যে স্থানটি বেছে নেয় পরে সেখানেই খায়েফ মসজিদ নির্মিত হয়। মূলত মুসলমানদের বিরুদ্ধে কাফের গোত্রগুলোর ঐক্যের ব্যর্থতার নিদর্শন হিসেবে মসজিদটি দাঁড়িয়ে প্রতিনিয়ত ঘোষণা করছে, ইসলামের বিজয়গাঁথা ইতিহাসকে। হজরত রাসূলুল্লাহ (সা.) খায়েফ মসজিদের যে জায়গায় দাঁড়িয়ে নামাজ আদায় করেছিলেন ওসমানিয় শাসনামলে সেখানে একটি বড় গম্বুজ ও মেহরাব তৈরি করা হয়।