روح‌الله خالقی سال ۱۲۸۵ در خانواده‌ای دیوان‌سالار در کرمان به دنیا آمد. پدرش میرزا عبدالله خان منشی و مادرش مخلوقه خانم بودند که در باغ شاهزاده ماهان کرمان که عمارت حکومتی بود، زندگی می‌کردند.
در چندماهگی به همراه خانواده به تهران مهاجرت کرد. تحصیلات ابتدایی‌اش در تهران و شیراز و اصفهان گذراند. در تهران به مدرسهٔ آمریکایی‌ها رفت و در آنجا همراه سایر شاگردان سرود هم می‌خواند.
علاقه و توجه به موسیقی در خانوادهٔ خالقی امری معمول بود؛ پدر و مادر هر دو تار می‌نواختند و پدر مدتی شاگرد استادان مطرح این ساز بوده‌است. همچنین خانوادهٔ او با میرزا غلامرضا شیرازی، نوازندهٔ تار، رفت‌وآمد و آشنایی داشته‌است و فرزندان، وی را «عمو» می‌خوانده‌اند.
با انتقال پدرش به شیراز در سال ۱۲۹۵، در شهریور ۱۲۹۷ به همراه خانواده به این شهر رفت. در آنجا از آموزش‌های میرزا نصیر فرصت در زمینهٔ عروض و نقاشی استفاده نمود. همچنین آموختن موسیقی را نزد شوهر عمه‌اش میرزا رحیم شروع کرد و از او بیش از یک سال ویولن می‌آموخت.در سال ۱۳۰۲ به مدرسهٔ عالی موسیقی رفت و در آنجا تحت نظر علینقی وزیری آموختن موسیقی و نواختن ویولن را آغاز کرد.
در سال ۱۳۰۳ با وجود مخالفت پدرش، تصمیم گرفت صرفاً به مدرسهٔ موسیقی برود. پدرش با وجود علاقه‌ای که به موسیقی داشت، با موسیقی یاد گرفتن وی مخالف بود و در نتیجه او مدتی پنهانی به مدرسهٔ موسیقی می‌رفت. در تابستان سال ۱۳۰۴، چهار کنسرت به رهبری وزیری در مدرسه اجرا شد که خالقی نیز در آن‌ها به عنوان نوازنده حضور داشت.
در دو سال آخر تحصیلش، شهرداری تهران کافهٔ بلدیه را بنیاد کرد و برای آن نیاز به یک دستهٔ ارکستر ایرانی داشت. تشکیل دادن این دسته به خالقی پیشنهاد شد و او این کار را انجام داد.
خالقی یاد دادن موسیقی را از ۱۳۰۷ در مدرسهٔ ورزش آغاز کرد. بعد از لیسانس نیز به هنرستان عالی موسیقی رفت و در آنجا تدریس کرد.
در سال ۱۳۱۰ از دارالفنون دیپلم گرفت و وارد دارالمعلمین شد. در خرداد سال ۱۳۱۳، دارالمعلمین به «دانشسرای عالی» تغییر نام یافت. خالقی مدرک لیسانس خود را از این دانشسرا در رشتهٔ فلسفه و ادبیات دریافت نمود.
وی در ۱۳۱۴ وارد خدمت دولتی در وزارت فرهنگ گردید و در ۱۳۱۷ معاون دفتر وزارتی وزارت فرهنگ شد. در ۱۳۲۰ به پیشنهاد وزیری، معاون ادارهٔ موسیقی کشور و نیز معاون هنرستان عالی موسیقی شد. در ۱۳۲۵ مدتی در وزارت کار و تبلیغات کار کرد. در ۱۳۲۷ متصدی دبیرخانهٔ هنرهای زیبا شد. در ۱۳۲۸هنرستان موسیقی ملی را تأسیس کرد و رئیس آن شد.
در سال ۱۳۳۴ در چارچوب برنامه‌های انجمن ایران و شوروی به این کشور سفر کرد. همچنین در ۱۳۳۵، سفرهایی را به کشورهای رومانی، فرانسه و هندوستان انجام داد. دستاورد وی از سفر هند، مجموعه مقالاتی در زمینهٔ موسیقی و رقص در این کشور بود.
خالقی آهنگساز و موسیقیدان و مورخ تاریخ موسیقی و سردبیر چند نشریه فرهنگی موسیقایی سالها در رادیو ایران نیز فعالیت داشت و از جمله رئیس شورای موسیقی رادیو بود و برنامه‌های رادیویی «یادی از هنرمندان درگذشته» و «ساز و سخن» را راه‌اندازی کرد. وی همچنین، سرپرست ارکستر گل‌ها نیز بود.
از آهنگ‌های ساخته خالقی که در این دوره بسیار موردپسند بود و از رادیو بسیار پخش می‌شد «رنگارنگ شماره یک» در دستگاه اصفهان بود. همکای او با غلامحسین بنان و نیز مرتضی خان محجوبی آثاری ماندگار را در تاریخ موسیقی گل‌ها و نیز موسیقی ایران رقم زد.
از جمله شناخته شده‌ترین ساخته‌های خالقی می‌توان به سرود ای ایران اشاره کرد که از آن به عنوان سرود ملی غیر رسمی یاد می‌شود.
خالقی در ۲۱ آبان ۱۳۴۴ در سالزبورگ در اتریش پس از چند عمل جراحی ناموفق، بر اثر سرطان معده درگذشت و در گورستان ظهیرالدوله در تهران دفن شده‌است.