在《表象的结构》中，古德曼（Goodman）维护了一种极端唯名论立场，其核心在于用纯粹建构性的符号替代具有一定客观性的观念结构，以古德曼的表述便是用「符号系统」替代「世界结构」「认知结构」与「概念结构」。在《艺术的语言》中，古德曼（Goodman）延续了这一立场，并试图将符号系统的解释带入了视觉之中，说明人们对图像的观看实质上是一种符号解释的过程。

古德曼的这一立场遭到吉布森（Gibson）的反对。在《图像中的可用信息》（The Information Available in Pictures）一文中，吉布森指出，人的眼睛感受到的既非「图像」亦非「符号」，而是一种完整的「光学阵列」（optical array）。这一光学阵列来源于不同表面间邻接顺序的变化，这一变化将使得不同表面间的光线配置发生变化，产生吉布森所说的「遮蔽边缘」（occuding edge）现象，而人的眼睛所知觉到的正是这种光线的配置。

在《设计的生态学》中，后藤武等人敏锐地指出，吉布森对视觉的独特理解构成了一种对过往视觉理论的超越。在开普勒（Johannes Kepler）的视觉理论中，人所看到的是放射光通过瞳孔后，经过水晶体折射而在视网膜上形成的图像，然而这一图像中并不存在空间与关于事物本身的信息，且瞬间就消失了，因此需要解释意义的结构和保存瞬间影像的记忆结构，换言之，眼睛不过是一个将影响传递到脑中的相机，完整的视觉信息是由一个「脑中的小人」——将平面影响转换成立体影响的结构——完成的。不难发现，在这一视觉理论中，客观实在并不重要，毕竟视觉信息不过是视网膜上的某种形象，因此即便不存在客观结构，人也可以通过长期的训练构成某种视觉解释系统，而这正是古德曼看似激进的图像理论的关键所在。

1971年，古德曼在《论吉布森的新观点》（On J.J.Gibson’s New Perspective）中尝试反驳吉布森的视觉理论。在这篇两页纸的文章中，古德曼列出了两组图片，其中每组中的A图均是「正常的透视」，B组则是现实中不存在的「反透视」。古德曼认为人们能够理解「反透视」便已说明视觉信息并不具有吉布森所言的恒常性，视觉经验并非是生理的，而恰恰是心理的，「我们必须『阅读』（read）图像——也就是说解释（interpret）图像而非记录（register）图像」。

古德曼的视觉理论所强调的是观看与解释的同步性，然而从物理时间而言，对同一影像的观看与解释必然不是同步的，两者或是「一前一后」或是「相互交叉」，就此而言，对古德曼观点的更好理解是，观看无法离开解释，而这恰恰是开普勒视觉理论的正常延展，并不具有古德曼所设想的突破性。相对的，吉布森的理论则通过将整个眼球中的光线都纳入到感知中，绕过了对视网膜上图像的再现问题，因为不同角度的不同强度射入的光线本身便构成了一种有效的知觉、空间信息，通过光线的变化（自身运动或是外部运动），人们可以识别出那些视觉信息中的「不变量」（invariants），从而直观地把握世界的空间、材质。

在此基础上，吉布森激进地认为，现实与图像是绝对两分的，图像之所以能再现现实并非由于视觉机制的一致性，而恰恰是由于图像展现甚至强化了现实中那些不变量。这一论述引起了他与贡布里希之间长达数年的论战。这场论战主要在 Leonardo 杂志展开，其间两人也通过纪念文章、往来信件、出版著作等方式持续着辩论，可以说整个辩论的过程见证了贡布里希图像心理学的建构与吉布森知觉生态学观点的成熟。暂且不论吉布森如何看待这场论战，贡布里希显然十分重视其与吉布森的观点交锋，直到吉布森死后多年，贡布里希仍在《吉布森与知觉心理学》（Reed 所写的吉布森传记）中检讨吉布森的错误，重审自己的观点。

概括来说，通过《天空是界限》《镜子与地图》等文章及与吉布森的来往信件，贡布里希构建了其了自己的基本观点：1.吉布森对特定视觉现象（如对作为一种二维图像的「视野」的认可）的理解是正确的，然而这些理解恰恰证明了，人的视觉并非完全生理学的，其中存在着文化建构；2.吉布森在图像与现实之间的二分是错误的，从现实、影像、照片、素描、漫画等等的真实性是逐渐下降的，而非截然二分的；3.一个艺术家完全可以脱离吉布森意义上的现实（需要光线不断变化）去进行创作，同样构建出某种真实的效果，一个最典型的对象便是「天空」，画家对天空的观察永远不可能在吉布森的意义上完成——就此而言，古德曼的观点是正确的，人们确实是在解释而非记录图像。

贡布里希的视觉理论可以看作是阿恩海姆（Arnheim）的一种发展，在《视知觉形式动力理论》艺术中，阿恩海姆将格式塔的「完形」理解为一种「动力」机制，其中漫画是典型的例子。贡布里希则在这一机制之上加入了社会的或者说符号学的因素，认为人对图像的完形不仅取决于那些先天图式，也取决于文化要素，从而构建其一种外推的理论，认为现实中的物体识别是通过平面图像加外推来完成的。这一机制集中呈现出贡布里希与古德曼的分歧所在。在对贡布里希的视觉心理学进行综述的文章中，Blinder 指出，相比古德曼，贡布里希的视觉理论可以说是「客观主义」的：在古德曼的理论中，一个人对图像记号的反应完全取决于不同的文化条件，「图式」不过是一种习惯的结果，符号构成而非反应了我们所知的世界；相对的，在贡布里希那里，实际上存在着某些某些「预先编程」或是「先天反应机制」，符号的构成也不可完全脱离于客观现实。

不妨将古德曼、贡布里希与吉布森之间的争论简单归纳为三种立场：其中古德曼与吉布森各占一端，前者是极端的观念论者，后者是一位「激进现实主义者」，贡布里希则是两者之间的调和者。我们可以在整个二十世纪思想脉络中找到古德曼与贡布里希的位置，前者可以看作形式主义的后续与计算主义的先声，其关键在于将人所认知的世界认定为一种符号构造；后者则延续了某种社会人类学传统——从贡布里希追溯到潘诺夫斯基、卡西尔、齐美尔、涂尔干大概并不会显得奇怪——我们甚至可以说贡布里希不过是以图像理论的方式复述了涂尔干在《原始分类》中所建立起来观点，该观点将符号当作主客观世界间的调和中介（作为参照，齐美尔将符号的增殖理解为主客观矛盾的体现/缘由之一，卡西尔则将符号的发达理解为主客观矛盾的一种解决）。然而我们并不能为吉布森找到一个恰当的位置，无论是其所属的心理学还是讨论发生的艺术学，甚至是整个哲学、社会学、人类学系统中，吉布森的观点都严重缺乏对应物。

我们要如何理解这种空白？在《吉布森与知觉心理学》一书的书评中，贡布里希用吉布森的一封私人信件证明了吉布森晚年观点的回撤，即部分认同的观念能够影响视觉的看法，然而这种理所当然的回撤——事实上任何一个人都不会认为自己是一个绝对的生物学构造而不存在任何社会因素——要如何与吉布森一贯强烈现实主义态度连接？里德（Reed）指出，吉布森唯一的观点便是让他与他一生中所采用的方法不同，这种方法便是计算机研究刺激的「输入与输出」方法。贡布里希则将这种观点理解为，一种对自动机模式的反抗，「（吉布森）强调，我们并不是由外部力量触发的自动机」。

里德与贡布里希或许真正理解了吉布森理论的关键所在。吉布森对「光学阵列」等问题的强调并不真的指向一种绝对意义上正确的视觉心理学构造，而在于对自动机模式的反抗。无论是贡布里希还是古德曼，当他们将符号引入到视觉机制中时，他们便不得不承认一种开普勒式的视觉，即人们看到的只是平面图像，客观感受是通过其他感知与大脑的联合作用还原的，并且这一还原遵循着某种特定的机制。吉布森深知大脑机制的稳定，更知道平面图像可以而且非常容易被电信号所模拟，因此承认视觉机制是平面图像与大脑还原的结合，无异于承认人类就是一台不断输入输出信号，并遵循一定公式转换信号的机器，而这恰恰是吉布森希望逃离的图景。

如是我们便能够理解吉布森理论的古怪之处，他对质感、重力、纹理、边缘、光线的前所未有的强调并不是一种对视觉机制的盖棺定论，而恰恰是对视觉复杂性的承认。在那篇书评的最后，贡布里希认为，吉布森的错谬之一在于忽视了视觉机制的复杂。然而事实恰恰相反，吉布森并不否认，而是彻底承认视觉机制与整个知觉机制的复杂——他必须承认，因为他将人类全部的自由寄托在了这种复杂性之上，这种复杂性意味着，在真实世界中的活动能够给予我们独一无二的经验，这一经验无法被任何数据或是电信号刺激所替代。就此而言，当贡布里希写下吉布森忽略了视觉机制的复杂时，贡布里希指出的是一条不同于吉布森的路径：相信现实与想象的两种生活，相信艺术中能创造另一种真实，人类的自由则在这另一种真实之中。然而这并未回应吉布森的恐惧，因为后者从不否认艺术的效果，只是希望能从实在的坚固中获得慰藉。

在此重新理解吉布森的理论系统，应当说，吉布森试图发展出的是一种知觉的道德，或者说有道德的知觉，其关键在于仍在于处理主客观之间的对立，不过不是构造一条挣脱现实世界的通路，而是直接从「动态的躯体」中找到我们自由的关键所在，以此调和「我」与世界的关系。这种处理与知觉现象学的基本面向吻合，也直接影响了设计学与建筑学两个领域。然而其中却始终分享着吉布森所面对的那种紧张：深藏于「动态的躯体」之中的自由是否意味着，总有一种足够「高分辨率」的模拟能够替代躯体本身？回顾吉布森学术生涯的开始，二战时，他在军队进行研究，发现飞行员降落时正是通过不断变化的光流来判断落地时机。在飞行模拟器已经相当普及的当下，吉布森要如何看待那些通过算法虚构的光线呢？