根据我的经验,成为创始人是一段特别孤独的旅程。毫无疑问,对于雄心勃勃的科学家来说,这是一个可行的选择,但它不可能让科学研究变得轻松,也不可能减轻压力。
很多东西想写的时候因为忙碌没有写,到后来可能也就不想写了。以前旅途中总是在工作,现在一般在阅读或者看看窗外。这次旅途上阅读的一本书,关于生命,然后又看的了 Felix Hill 的新闻。
阅读的书中所写,以及我所看到的,有的人尽管在健康时说,如果有天要离开,会选择把剩下的时间,留给自己和亲人朋友,好好旅行,做自己想做的,之类的;但是到了最后却全都选择了,用尽努力延续生命。
有人这么努力地珍惜生命,有的人却随手就走了,哪个更正确呢?都已经在DeepMind做自己最喜欢的工作了,仍然选择了离开,可见幸福真是一个很难界定的事情,一切都来自于个人内心的体验。如白居易:“ 唯有衣与食,此事粗关身。苟免饥寒外,馀物尽浮云。 ”(参考文献: 《初除户曹,喜而言志》,by 白居易 ),这样想会不会好一点呢?
一旦想清楚,人类也不过是动物世界的一员,满足生存只需要最一般的条件,很多欲望登时就会显得虚无缥缈。天才都比我们敏感,所以在改变世界提供创新方面都比我们做得多,我们只需坐享其成就好。
41岁的Felix Hill出生在英国。他生前曾回忆,父亲和母亲让他“能够做所有美好的事情”,也因此,他生命的前37年都非常幸福。
Felix Hill自小展现出对数学和计算机科学的兴趣。2002年,他在牛津大学读本科,专业是数学,对他来说,在这里的学习是一种将智力推向极限的感觉。后来,他进入剑桥,专注于自然语言处理的研究,拿到了博士学位。2016年,毕业后,他进入了DeepMind,一家由Google支持的人工智能研究公司,这是他梦寐以求的职业。在这里,他可以和自己的科学偶像一起做研究,并分享给全世界的人。
在DeepMind,他逐步成为一名核心科学家,参与多个重要项目,领导了SuperGLUE项目的开发,这一项目彻底改变了自然语言理解的基准测试方式。他的学术研究成果颇丰,在Google Scholar 上,参与创作以及有贡献的论文共85篇,总引用量19703次。
但Felix Hill并不喜欢总聊人工智能,他喜欢聊足球或者80年代的音乐。
在人工智能领域之外,这位科学家曾展现出极为丰富的一面。他会四种语言,英、法、葡萄牙、西班牙语。读书时,Felix Hill曾经利用假期去旅行。他来过中国,“找到一份教青春期早期男孩英语脏话的工作”。他在波兰给青少年翻译嘻哈音乐,还在南美旅游了9个月,去过玻利维亚的银矿、参观过厄瓜多尔的监狱,把钱花了个精光。在进入DeepMind之前,他还做过数学教师。
他分享过自己最喜欢的两本小说,《柏林谍影》(冷战间谍小说)和《午夜的孩子》(以印度为背景,讲述一个家族与个人的遭遇,涉及印巴分治前后的政治动乱、社会变革、宗教纠纷等重大历史事件)。2009年,26岁的Felix Hill在印度经历了三个月的瑜伽和冥想训练。
以下引自2000亿权重。。。
科学家的缺失
LLMs(大语言模型)的规模、简便性和有效性使我们很难进行相关的“科学”研究,即立即改进LLMs的研究。
一些LLM研究人员已经开始接受理查德·萨顿(Rich Sutton)《苦涩教训》一文的观点了:除了规模之外,几乎不需要任何创新。
而且,即使理论上是有可能进行实质性创新的(这是肯定的),但实现创新通常需要在不同条件下反复训练规模最大的LLMs。即使是最大的公司也无力负担。对于一个“普通”的研究科学家来说,这更让人感到难以承受。
对于习惯在小团队(5-10人)中工作的工业科学家来说,这些条件已经很难了。更何况是那些处在学术界的博士生、博士后和在AI/CS/ML(人工智能/计算机科学/机器学习专业)工作的教职员工,他们面临的情况肯定更加严峻。