Такая интерпретация создает систему более сложную, чем общепринятое представление, ведь чтобы несоответствие оставалось незаметным, нужно, чтобы связи между разными цветами и другими ощущениями особым образом соотносились друг с другом у разных людей.

Если синий кажется красным, то тогда зеленый обязательно должен казаться синим, иначе смеси этих не будут соотноситься. Цветовосприятие определяется физикой света в любом случае, поэтому соотношения должны сохраняться, и, вероятно, какая-то небольшая, некритичная вариативность в восприятии действительно существует, но она должна обеспечиваться равномерным "поворотом" спектра, ведь основных пигментов, отвечающих за восприятие света, два, и если изменится только один из них, то "поворот" будет неравномерным. При этом, так как свойства фотонов постоянны, это будет выглядеть не как нелогичный "разрыв" в спектре, а как растяжение градиента цветов в одном месте и сужение в другом.
Если выстроить систему, используя в качестве отправной точки ощущения, квалиа, а не физику, то пример на картинке оказывается более надуманным, чем в случае физической интерпретации. Потому что в физикалистской картине мира существует только один вариант связи между цветами, а на уровне квалиа либо связей вообще нет (если рассматривать ощущение связи между ощущениями как отдельное квалиа), либо связи ассоциативные вперемешку с врожденными, уникальные для каждого человека.