Myriad Colors Phantom World transcurre en una versión de Japón en la que los fantasmas —seres sobrenaturales como los espectros y los yōkai, antes descartados como supersticiones— han coexistido siempre con la humanidad. Cuando un virus que afecta al cerebro altera la manera en que las personas perciben el mundo, estas criaturas ocultas se vuelven visibles para el público y una nueva generación de jóvenes despierta habilidades especiales, lo que les brinda los medios para enfrentarse a fantasmas capaces de perturbar la vida cotidiana.
En la Academia Hosea, Haruhiko Ichijou y Mai Kawakami figuran entre los estudiantes dotados que se adaptan a esta nueva realidad. Haruhiko puede invocar y sellar fantasmas mediante dibujos, mientras que Mai canaliza el poder elemental hacia las artes marciales. Junto con Ruru, un fantasma amistoso, forman el Equipo E, un grupo dedicado a ocuparse de fantasmas que a menudo son más traviesos que maliciosos. Entre la rutina escolar y los incidentes sobrenaturales, Haruhiko, Mai y Ruru se mueven por un mundo en el que lo real y lo irreal se superponen constantemente, convirtiendo los problemas ordinarios en encuentros con lo extraño y lo invisible.