audio-thumbnail
甜约翰「城市的浪漫运作」
0:00
/241.92

大学二年级时,刚从柏拉图和卢梭处解放出来的我立马就投入了各种心灵哲学和后人类理论的怀抱,毕竟这类《攻壳机动队》式的探索才是我理解的真正当代学术。也不知从何时起,逐渐感受到人文社科学者们的焦虑,从虚拟现实到人工智能,哪怕讨论难度越来越大,硬着头皮也要聊上几句,即使没有技术研究者愿意倾听,也要在区域、性别、种族的棱镜下,将结构性不平等再批判一番。如此一来,在塞尔思考心灵本质的中文屋里,在维特根斯坦设计的白房子中,挤满了前来朝圣或意在超越的研究者,他/她们相对而立,却彼此无法沟通。汗淋淋的房间里,充满了沉默。

断章取义

断章取义,其意自见

图灵之后

Lydia H. Liu, After Turing: How Philosophy Migrated to the AI Lab - PhilPapers
What happens to philosophy when philosophical activities migrate to the AI lab? My article explores the philosophical work that has gone into the machine simulations of language and understanding after Alan…
对许多观察家来说,同样的问题在别处,在五十年后,甚至在当下仍然存在。我想更有可能的答案是,图灵误判了这一问题——机器会思考吗?——的时间跨度,因为没有证据表明人们放弃了对思维机器的争论。

文章探讨了剑桥语言研究组(CLRU)在 20 世纪 50-60 年代作为早期「人工智能实验室」所做的开拓性工作。该研究组对维特根斯坦进行了大量研究,致力于将「家族相似性」和语义网络等概念形式化。作者进一步将剑桥语言研究组的语言研究方法与塞尔以种族为中心的「中文屋」思想实验进行了对比,并认为 CLRU 的方法展示了跨语言的意义生成和机器的可学习性,超越了塞尔模型中对可理解与不可理解、机器与人类之间的僵化二分。

内心独白

ChatGPT: it has no inner monologue or meta-cognition
This is the second in a series of short posts about ChatGPT. As I said before, the insights are not particularly original, I’m just raising awareness of issues. In this post, I’ll explore the deficien
「问它为什么会说某些话」总是毫无意义——你只能得到胡言乱语,哪怕无比可信。这些话甚至可能看起来像是对其输出结果的合理解释,但这完全是基于此前结果的一种编造,而不是对它的大脑之中实际发生什么的解释。如果你想要接近理性的逻辑或解释其思维过程,你需要让 ChatGPT 在回答问题时大声思考,而不是在事后。

文章认为 GPT 既没有内心独白(monologue)也缺乏元认知(meta congnition)。它用来给出答案的「思维过程」中不存在循环结构,因此它无法解释其思维过程。这一猜想进一步解释了,在稍微复杂的计算问答中,当被问及其计算过程时,它总是会给出极其可信的废话。

智能幻影

AI’s Ostensible Emergent Abilities Are a Mirage
According to Stanford researchers, large language models are not greater than the sum of their parts.
谢弗和他的同事们还注意到,没人声称大型视觉模型具有突现特性。事实证明,视觉研究人员并不使用自然语言研究人员所使用的苛刻指标。当谢弗将这些指标应用于一个视觉模型时,奇迹出现了。

研究人员认为大型语言模型并不具备突现(emergent abilities)。企业家们吹嘘的模型的不可预测性和能力,只是使用了误导性的指标进行衡量的结果。论文指出,在超过一定的复杂度阈值后,大型语言模型的能力与模型规模相关,且呈线性增长。

逆转诅咒

Paper review: LLM Reversal Curse | annotated by Ramu
LLMs are not as good at Generalization as we thought them to be!
这很可能是因为,互联网上的文本会更多地包含像「汤姆·克鲁斯的母亲是 Mary Lee Pfeiffer」这样的句子,而不是「Mary Lee Pfeiffer 的儿子是汤姆·克鲁斯」,因为汤姆·克鲁斯是一位明星,而他的母亲不是。

研究发现大型语言模型存在「逆转诅咒」(reversal curse),即使它们学会了「A 是 B」,也无法推理出「B 是 A」。对于此类问题,大型语言模型的回答准确率几乎为 0%,且无法通过训练来提高模型给出正确答案的可能性。此外,研究也发现这类「逆转诅咒」在人类身上也存在。至于这究竟体现了大型语言模型的某种根本缺陷,还是该研究设计的某种缺陷(逆命题之间原本就不总是等价),暂时不得而知。

时空模型

Language Models Represent Space and Time
The capabilities of large language models (LLMs) have sparked debate over whether such systems just learn an enormous collection of superficial statistics or a coherent model of the data generating process -- a world model. We find evidence for the latter by analyzing the learned representations of…
我们的分析表明,现代大语言模型获得了关于空间和时间等基本维度的结构化知识,支持大语言模型学习的不仅仅是表面统计信息,而是文字意义上的世界模型(world models)。

研究人员发现大语言模型内部似乎具有一个世界模型,也即具备了空间和时间表征,可以预测真实地理坐标和时间,测试样本则包括名人姓名、现代歌曲、电影与书籍名称以及近年来的《纽约时报》头版。尽管个人并不认同信科大哥们对「世界模型」这类词汇的松弛使用,但是考虑到人文社科学者更喜欢大谈 ChatGPT 和后人类,我只好沉默不语。关于更多延展讨论,可以参考英文讨论

学书不成

学书不成,学剑不成

魔眼之匣谜案

魔眼之匣谜案
★轰动日本推理届,《尸人庄谜案》第二弹 入围《这本推理小说了不起》《周刊文春 MYSTERY BEST10》《本格推理 BEST10》等权威榜单 ★ 神秘巫女|死亡预言|深山孤岛|生存游戏|烧脑诡计…

熟悉的设定系推理,熟悉的弱势男与天才女的组合,设定相比第一作僵尸围城更加新颖,但是似乎并没有玩出花来,对于推理的质量,似鸟鸡老师的评价相当准确:「精确度超越前作」,因为别的部分不如前作。可是设定系推理的关键又怎会是精确度呢?只能说和最新作《凶人馆谜案》比起来,感情线少一些,更不像是粉丝向作品。

数字垃圾:电子产品的自然史

Digital Rubbish
This is a study of the material life of information and its devices; of electronic waste in its phys…

在序言里提了一个想象里很美的理论分析框架,正文除了复读该框架外推进不多。经验案例是拼盘式写作,主题从硅芯片、纳斯达克屏幕、垃圾运输、博物馆到垃圾再利用,写作上做出一些层次,但无法掩盖整套理论未能有效发展的事实,且援引过多二手材料,章节内部复读情况也比较严重。好在议题有趣、理路不偏,算是还过得去。

秉烛夜游

秉烛夜游,昼短夜长

杀戮尖塔

素闻尖塔惹人沉迷,今日方知牌佬三昧。女友在沉迷半天后推荐给我,本着休息一下的想法打了几把,最后就打了几十把,若不是有死线在前必须工作,估计要一波直接打到进阶二十——当然,有此心,没此力,能力不足,只在掌握 S/L 大法之后才领悟了人类的愚蠢。

Slay the Spire on Steam
We fused card games and roguelikes together to make the best single player deckbuilder we could. Craft a unique deck, encounter bizarre creatures, discover relics of immense power, and Slay the Spire!

回到游戏本身,职业/卡组间的差异性相对明显,职业内可以有不同的打法取向,特定的大小构建组合,也可以照更新的端口化思路自由构建。相对于在高难度中看着怪物数值增长,个人觉得随机的每日挑战和普通难度下的通关乐趣更朴素直接,因为学习曲线不算陡峭,随机性带来的体验更加正面。

玩物丧志

玩物丧志,岂不美哉

出于再次整理所有研究材料的需要,我又开始在 Scrivener 和 Obsidian 的搭配之外寻找更加合适的卡片笔记工具,看了也测了一圈之后,最后留下了 Heptabase。尽管如此,软件主打的白板功能和今年更新的日志功能,我个人几乎用不上,日常使用只是在卡片库(Card Library)里建卡片,利用卡片视图和标签筛选的功能整理笔记,一个月十美金订阅,算是有六美金浪费。

前阵子写短文推荐过,最近用得更多索性再分享一次。本质上是和 Connect Paper 类似的文献图谱工具,但是和 Zotero 同步以及免费使用两点算是其他同类应用无法比拟的优势。在简单的引用网络之外,也允许通过作者和刊物等维度进行关联,在做文献综述或发掘时可以很快地帮助找到关键研究节点,捕捉最新研究动态。