陵川县位于中原要地本地，地处晋豫两省接壤，是镶嵌在太行之巅的一颗璀璨的明珠。
桂涛声来到陵川，既为太行山的壮观风景所齰舌，更为抗日军民的救亡热情而冲动。当时，国共两党第二次相助刚刚开始，八路军整编后出征取得了平型关大捷，威信倍增，迎来了团结抗战的热潮。尤其在山西一带，国共两党步队共同抗日，创建了普遍的统一战线。桂涛声到达陵川时，八路军的3个师（115、120、129师）正深入太行、吕梁、五台诸山脉创建敌后抗日根据地。而太行山位于晋冀豫三省边界，军事战略意义极为紧张。桂涛声忙着加入牺盟会的种种活动，到街头演说，宣传群众，讲授抗日救亡的原理，宣传“游击战争”、“统一战线”，临时间，陵川到处是义愤填膺的人群控诉日本陵犯者，到处是热血青年争相加入八路军。实行全民抗战，打败小日本成为期间的最强音。陵川自卫队由300多人敏捷扩编为1000多人，出现了不少“母送儿，妻送郎”参军的感人场合场面。
1938年4月初，日军3万余人分9路打击八路军总部，计划摧毁太行山根据地。八路军贯彻毛泽东的游击战头脑，破坏了仇人9路围攻，歼敌4000余人，收复县城18座，进一步奠定了以太行山为中间的晋冀豫抗日根据地的根本。在随游击队转战陵川的进程中，桂涛声眼见了太行王莽岭的“千山万壑”后，又切身以为到了抗日军民才是真正的“铜壁铁墙”，触景生情，酝酿半年的诗篇《在太行山上》从心底迸发了出来，他顺手写在香烟包装纸上。5月，桂涛声离开太行山，6月返回武汉，即带着歌词去见冼星海。
