생쥐 트루블로프는 작은 여관에 딸린 술집 벽 속에서 산다. 밤이면 술집에 집시 악사들이 찾아와 음악을 연주하는데, 그럴 때마다 트루블로프는 꼼짝 않고 음악에 귀를 기울이다가 엄마가 데리러오면 그제야 마지못해 잠자리에 든다. 트루블로프는 집시들이 연주하는 모습을 보면서 음악을 듣는 걸 정말 좋아한다.

그런 트루블로프를 보고 목수 할아버지가 발랄라이카(우크라이나의 민속 악기)를 만들어 주는데, 처음 잡아본 발랄라이카는 끼익 끽 괴상한 소리만 내고 연주하기가 쉽지가 않다.

밤마다 최고의 발랄라이카 연주자가 되는 꿈을 꾸던 트루블로프는, 어느 날 밤 길을 떠나는 집시들을 따라 몰래 집을 나서고 만다. 그리고 집시들을 따라 이 마을 저 마을로 떠돌아다니면서 음악을 배운다. 트루블로프의 연주 솜씨는 하루가 다르게 쑥쑥 는다.

어느 날 동생이 트루블로프를 찾으러 오고, 집에 돌아온 트루블로프는 식구들이 여관에서 쫓겨날 뻔한 상황을 발랄라이카 연주로 해결해 준다. 트루블로프 형제들은 악단을 만들어 연주를 하고 점점 유명해진다.