Whisper Me a Love Song sigue a Himari Kino, una alegre estudiante de primer año de instituto que puede hacerse amiga de casi cualquiera a quien conoce, y a Yori Asanagi, una estudiante de cursos superiores reservada cuya actuación con su banda llama la atención de Himari en cuanto empieza el curso. Durante la ceremonia de bienvenida de los de primer año, Himari queda cautivada por la música de Yori y, tras la actuación, le confiesa sus sentimientos en un arrebato, solo para descubrir que Yori no tiene experiencia en el amor y no sabe cómo responder.
Lo que empieza como un malentendido incómodo va convirtiéndose poco a poco en algo mucho más delicado. Al darse cuenta de que Himari se enamoró de su música y de su actuación, y no de ella como persona, Yori decide que quiere conseguir que Himari se enamore de verdad de ella. Las dos empiezan a pasar tiempo juntas después de clase en la azotea, donde Yori suele tocar la guitarra, y esos encuentros tranquilos se convierten en el escenario de un vínculo en crecimiento, construido a partir de la curiosidad, la sinceridad y el afecto.
Ambientada al ritmo de la vida escolar y la música en directo, Whisper Me a Love Song se centra en el frágil momento en que la admiración empieza a transformarse en amor.