沂蒙山小调的诞生地可以追溯到山东省临沂市的费县薛庄镇上白石屋村。它的起源可以回溯到1940年，当时驻守沂蒙山区的抗大文工团成员李林和阮若珊等人创作了《反对黄沙会》，这首歌后来成为《沂蒙山小调》的前身。

真正使其名声大噪的是1953年秋，当时山东军区政治部文工团的李广宗、王印泉等人为这首歌进行了改编。他们将原有的抗日主题改为歌颂家乡，增加了两段歌词，赋予了作品新的生命，正式将它命名为《沂蒙山小调》。从此，这个版本的《沂蒙山小调》便在民间流传开来。

在新中国成立后，来自渤海区的革命文艺工作者对《沂蒙山小调》进行了进一步的发展和定型。他们深入群众，收集包括民间小调在内的各种音乐元素，使其更加丰富多样。1950年，李广宗等人被调往山东军区文工团，他们的工作对于《沂蒙山小调》的传播和普及起到了关键作用，使其成为了具有深远影响的民间歌曲。