audio-thumbnail
Matt Maltese「Rom Com Gone Wrong」
0:00
/3:25

九十年代初期《纽约客》刊载漫画「在互联网上,没人知道你是一条狗」,预言了千禧年以降的互联网本体论焦虑。再往前推十年,塞尔(Searle)发表著名的思想实验「中文房间」,试图证明计算机并不拥有人类意义上的智能。大型语言模型的到来将两种焦虑完美结合:不需多少年,我们就将无法分辨屏幕对面的聊天对象究竟是人类还是智能水平恰到好处的电子哈士奇。正如工厂的出现反向强调了机器无法执行的工作,计算机的到来迫使人们更重视「智能」中的「推理」而非「记忆」和「运算」,人类的「自我」总是通过对异类的排除来构造。那么,我们又将在人的定义中排除什么,才能在大型语言模型的映照下,表明人之为人的价值?

断章取义

断章取义,其意自见

压缩即泛化,泛化即智能

压缩即泛化,泛化即智能
随着百度文心一言、ChatGPT、GPT4等先进技术的问世,我们或许是历史上首次深刻意识到机器智能已经走到了一个临界点,未来的增长曲线或许会变得非常陡峭。 大家所看到类似ChatGPT产品的底层算法都是GPT(Generative…
通用人工智能(AGI)的追求在于更强的泛化能力。泛化能力越强,智能水平越高。压缩就是泛化。对于一个数据集最好的无损压缩,就是对于数据集之外的数据最佳泛化。GPT 预测下一个 token 的训练任务,等同于对训练数据进行无损压缩。GPT 是目前最好的数据无损压缩算法,因此具备最强的智能。

借塞尔的中文屋为引子逐步展开,说明大语言模型的实质是一种压缩算法,而通用智能就意味着压缩。文章整体立场一致,唯一需要考虑的问题是:「压缩即智能」背后暗示着的「信息」模型——也即将智能看作对「输入」信息进行处理再加以「输出」的能力——是否忽略了世界的更多面向,用更简单的说法就是,语言是否表达了世界的全部?

大型语言模型的未来边界

我们和OpenAI联创聊了聊GPT的当下局限:两年后可能就没了
我们和OpenAI联创聊了聊GPT的当下局限:两年后可能就没了
我认为我们的预训练模型已经知道它们需要知道的关于语言的潜在现实的一切。它们已经拥有这种语言的知识,同时也拥有关于产生这种语言的世界中所存在的各类过程的大量知识。大型生成模型所学习的是它们的数据——在这种情况下大型语言模型是对真实世界的各类过程中产生的数据进行压缩表示(compressed representations),这意味着不仅涉及人们及其思想和情感,还涉及人们所处的状态和他们之间的互动。

《纽约时报》前主编采访 OpenAI 联合创始人兼首席科学家,讨论大型语言模型的底层逻辑和未来边界。Sutskever 认为大语言模型的限制仍未知,基于概率和文本的模型可以实现真正的「理解」;没有证据表明语言不能充分表达世界;通过 RLHF 对齐可以改变模型的思维习惯减少虚假信息。语言模型是对「真实世界的各类过程中产生的数据」的压缩表示,而这些数据又是对现实的压缩表示,双重压缩之下,语言模型在何种程度上掌握了(对何人来说得以成立的)真实?

ChatGPT 与存在主义的忧伤

对ChatGPT的焦虑,可能是人类存在主义的忧伤_思想市场_澎湃新闻-The Paper
ChatGPT是OpenAI研发的聊天机器人程序,通过大量语料学习后,可以像人类一样进行聊天交流,甚至能完成撰写代码、论文和视频脚本等任务。ChatGPT一经问
如加缪所言,忧伤者有两种忧伤的理由,要么他们无知识,要么他们抱希望。对人工智能及其一切科技的无条件拥抱和怀疑,都是理性价值崩解与重塑时代,人类存在主义的忧伤。我们丝毫无需去怀疑科技对于进步带来的巨大力量,也一定可以预见在不久的将来,AI 抑或其他科技将深刻重塑我们的组织结构、行业形态甚至日常生活,但回归到个体,扪心自问,我们的独特价值何在?在面对工具繁茂的今天,人是不是有足够的智慧去超越人类自身存在主义的忧伤,学会拥抱工具、拥抱自身,或许这是更重要的命题。

围绕 GPT 讨论三个问题:意识是否可以归结于电信号;语言的边界和认知边界的关系;价值理性和工具理性的关系。最后回到洞穴喻讨论个体的存在危机。勾连脉络很多,几乎没有好好展开,部分讨论有些离题。

ChatGPT 动了谁的奶酪?

ChatGPT动了谁的奶酪?
它带来的知识危机,会冲击现在的“精英”吗?
最后,我觉得肯定有一些重复性比较高的职业会被取代,但是我认为「专家技能」(expertise)不会被取代,事实上我觉得,这一类型的工作只会增加而不会减少。为什么?因为我们讨论技术也好,讨论专家技能也好,它不只是你脑子里面的这个东西而已,它是知识和行动的结合。你得会做事情,你得会下判断,你需要根据客户的反应来做出这样的判断,而不只是你能够说出一些东西来。ChatGPT 能够说出很多东西,但是他没办法给你做任何判断。主播刚才也说了,你如果问一些让它给你下判断的事情,它会跟你说,我是个 AI,我做不了这个事情——但人可以做这个事情。

教育学学者谈大型语言模型的应用与知识生产、观念学习之间的关系,认为学习不是知识获取的过程,专家技能(诊断、负责与界限)无法被取代。

斯威夫特才不会

The Real Taylor Swift Would Never
Fans are using AI tools to synthesize the star’s voice, demonstrating how new technology is blurring the boundaries between reality and fiction.
在某些方面,粉丝们可能为虚构的未来做了特别充分的准备:多年来,他们一直在讨论在粉丝小说中使用真人的道德规范。虽然每个粉丝圈都不一样,但研究人员表示,这些社区往往有自己的规范,并且在一定程度上会自我调节。他们可能是互联网上最勤奋的调查员之一。 Acosta 告诉我,K-pop 粉丝非常善于分辨什么是真实的什么是假的,以至于有时他们设法阻止关于他们最喜欢的艺术家的错误信息的传播。例如,众所周知,防弹少年团的粉丝会指出 Twitter 上发表的文章中的事实不准确之处。

专家们焦虑人类是否为深度造假的 AI 时代做好了准备,粉圈玩家们表示早已无所畏惧。文章讨论斯威夫特的粉丝如何利用 AI 声音来创造新的交流素材,对地方性知识(某个偶像的所有资料)的熟悉让他/她们如专家般屏蔽了 AI 的谎言,长期在粉圈征战的打假经验也让他/她们掌握了出色的辨别技术,过滤掉种种威胁后,留下的是纯粹的欢愉。

学书不成

学书不成,学剑不成

密室黄金时代的杀人事件

密室黄金时代的杀人事件
三年前,一名男子在密室中被杀害。嫌疑人被迅速锁定且证据确凿,但因现场是完美的密室,无人能够破解,嫌疑人最终被判无罪。此后,在只要现场是密室就可以保证无罪的日本,密室杀人事件激增。著名推理作家留下的酒…

叙事方法多少有些陈腐,算是套路一种,尤其考虑到作者闭门写了十五年,风格越来越像日本轻小说以及轻小说式的推理作品也无可厚非。密室质量都较高,瓶子和多米诺骨牌两个密室很有意思,脑洞开满,瓶子密室虽说没有叙述性诡计,但是七厘米的地毯并不是什么常见的东西,直接这样列出来当推理条件多少显得有点强硬。作品推进过程中为了保证严谨,也使用超人视角作出了一些外在规定,堵上密室漏洞:如 AI 对比画作、法务部密室分类、密室鉴定人员等等显得中二病的桥段展现了当代作者对本格张力的明确认知。整个作品推进速度很快,结构上也轻巧自然,作品中的女主人公蜜村就是密室本身,而本作也算是一个「新人」作者写给密室这一类型的情书。纸上造景,苦心经营,令人动容。

实验心理学史

实验心理学史
本书阐述了近代心理学在科学和哲学思潮的影响下,在西方国家形成和发展的历史,叙述了实验心理学的建立和它在德、奥、英、美等各国各种心理学派的发展情况。代表大会召开为止的时期。

阅读范围内心理学史最佳作品,成书时间较早,评述比例适宜,理论重点介绍到位,脉络明朗潜力无限。中译依照五十年代英文二版翻译而来,彼时库恩等科学社会学研究尚未现身,波林仍是按照「心理学不断朝向科学靠拢」的思路在编排所有材料,但却完全没有忽视「前科学」阶段的心理学萌芽。上册前半本涉及内容庞杂多元,既有颅相学、催眠术等「民间科学」,也有经验主义与联想主义等等「道德哲学」源流,详尽勾勒十九世纪道德哲学分化为心理学、生理学、哲学、社会学等学科的过程,可作心灵哲学、认知研究、感觉史等领域入门用。

秉烛夜游

秉烛夜游,昼短夜长

亿万恋人

故事开始于神秘富豪叔叔给作为主角的你留下了一个亿现金后莫名消失,自此你的生活就发生了改变。四个身份及风格各异的帅哥出现在你的身边,你还绑定了一个氪金抽卡系统,抽出来的东西可以送给帅哥提高好感度。有了那么多钱,一单一个 648 都不需要眨眼睛,你的目标是抽出珍贵的 SSR,送给心仪的对象,疯狂刷好感并走上人生巅峰。

Billionaire Lovers on Steam
You’re a broke college graduate. Your rich, distant uncle has just shown up and given you 100 million dollars! And right at this moment, four handsome men come into your life. Could this be… the romance you’ve been waiting for!? But wait, there’s something behind their smiles that says otherwise…

在氪金与帅哥的包围下,你的生活看似很美好,实际却在慢慢沉入泥沼,身边的男人们似乎都有不为人知的秘密,而越靠近他们,就会越不幸。没错,这是一个伪乙女游戏,两三个小时的时长以及环环相扣的多周目剧情带你彻底认清「杀猪盘」的真面目。该游戏被玩家誉为「恋爱脑的清醒水」,称其为反诈骗游戏也不为过。

简单的独立游戏,精美的立绘,新颖的反套路,后背发凉的游玩体验,作者表达了三个朴实无华的道理:不要相信天上掉的馅饼,恋爱要擦亮眼睛,以及远离抽卡游戏。

玩物丧志

玩物丧志,岂不美哉

上线有一段时间的英语学习插件,最初是提供 YouTube 和 Netflix 的增强学习模式,四月中旬更新后加入了 AI 口语训练功能。视频学习部分广受好评,几个模式确实也对应上不少使用场景,个人唯一的抱怨是分句的方式有点智障,实际上并不适合用来练听力;AI 口语的部分实际上是 GPT+TTS+Azure 的口语评分功能拼盘,看起来很美好,实现出来的效果一般般,由于响应速度的问题,比起一般的日常口语训练,反而更适合面试或是考试这类本身就需要一定准备时间的场景。除了功能部分外,整个插件和网站设计风格非常好,也算是重大加分项。

持续使用 Readwise Reader 有一段时间,最爱的功能自然是利用 GPT3.5 辅助理解文章的「幽灵读者」(Ghostreader)。功能刚上线时曾经邮件询问过官方是否基于 GPT-3,如何承担高昂的 API 费用,时隔三个多月才收到回复,说此后可能会提供自定义密钥的功能。猜测 90% 的用户都只会使用总结全文的功能,因此在最新版本中,Reader 也将这一功能单独摘出来,在侧边栏上就能轻松触发,同时也解决了过去不支持中文文章的问题(尽管同时带来了新问题,原本能够处理的英文长文现在无法被处理)。至于使用方法,我个人是当作讨论的对手,让 AI 给出几个版本的总结后再尝试找茬,最后记下自己的版本,如此既有一个靶子来加快思考,也不至于完全照着 AI 的逻辑走。