Re: [新闻] 黄士杰返台分享AlphaGo Zero开发过程

楼主: tlchen (台湾加油)   2017-11-11 03:13:21
※ 引述《capita (小明)》之铭言:
: 改用 ResNet 因为是最当红的神经网络模型,大家都说好,到处拿第一,
: 只要是做机器学习,不改来用看看才奇怪,这跟围棋一点关系也没有。
: 或是三维的围棋,都可以照样修改后让电脑去自行修炼成大师。
: 在一些细部结构上,DeepMind 也试过不同的参数,其中比较好的结果,
: 才变成现在的版本,这种工程调整,跟人类的围棋知识也没有关系。
: 所以这不是围棋专用的算法,如果这样还要说是用到了人类围棋知识,
: 那就随便他了。
很抱歉, 又来碍眼了. 如果认为我是来乱的, 那请退出, 不要浪费您的时间.
很多分散在推文可能讲不清楚, 容我用最后一篇写跟这主题相关的.
但如果板主认为这样的文章不适合出现在这板, 请删掉或来信叫我自删.
首先很简单的澄清, 我已经有两个儿子了, 大概很难被定义成屁孩.
儿子大到觉得老爸陪他去学棋是丢脸的事.
原本跟他说, 我载你去, 之后又要来接你. 不如停个车,
我也付钱一起学一下, 却被断然拒绝.
去年人机大战开始关心围棋, 当时第一次听到李世石这个名字, 就知道我有多菜.
人机大战时是希望机可以赢, 应该不会有什么人类尊严的心结.
以往陪着儿子去比赛, 在场边无所事事一天, 今年夏天索幸自己也报名.
某次侥幸升段, 但绝对是全台最水的段位棋士, 问题只在能不能偷加个 "之一"
跟板友们程度差太多, 但还是略懂一点点, 不是什么都不知道.
数学统计出身, 也做一点 learning.
因为数学的训练, 让我对很多事很小心, 很在意. (虽然在这板是被认为没逻辑)
一个讯息有没有被用到, 有没有乍看没用到, 但实际有用到, 这是我在意的.
如板主建议, 应该要先把定义讲清楚, 再做讨论.
(这其实我很喜欢, 完全符合数学模式. 向来是被抱怨太死板, 讲那什么定义.)
什么是 "人类围棋知识" ? 其实论文题用的是更强的 human knowledge,
但我相信它只是把后面的 in GO 略掉, 应该是那意思.
有网友提到, 在 AI 界的定义, 棋谱不算人类围棋知识.
但从 deepmind 自己也是 AlphaGo Zero 才称没用到人类知识,
他们应该也是把棋谱当做是人类围棋知识.
对我来说, 除了规则外, 人类了解规则后, 对这规则所演生的想法, 成品, 表现,
都归类为人类围棋知识.
棋谱没有直接告诉你棋理, 但它是棋理的展现.
从棋谱可以看到人类怎么下, 可以归纳人类怎么想.
用了棋谱的资讯, 说是没用到人类围棋知识, 或许对 AI 界的术语是那样,
但我相信对于大部份白话的用语, 不是这样的.
我若打了一堆本因坊秀策的棋谱, 我能说我没用到本因坊秀策的知识?
以下讨论, 就局限在我个人的定义, 不认同的, 也没有必要继续看下去.
如 AlphaGo Zero, 一个方法, 程式, AI 等, 它通常有一个架构, 模型, 或是流程.
而再细看, 其间有很多要被微调的参数, 才能让这方法有优异的表现.
现在有几个让人关心的问题, 参数的估计有没有用到人类围棋知识? 模型架构的
选取有没有用到人类围棋知识?
一个没有争议的是, AlphaGo Zero 在参数优化估计上, 它没有用到人类围棋知识.
因此, 如果说法是, 在 AlphaGo Zero 的架构被决定后, 接下来它不需要人类围棋
知识就可以变如此强, 这就也完全没有争议.
但它下的标题是: Mastering the game of Go without human knowledge
我不知道大家怎么解读这个句子.
我个人是认为 (可能您就不这样认为) 不懂 AI 不懂围棋的大众, 会以为有个 AI,
在只知道规则下, 不需要借助任何人类围棋知识, 就能精通围棋.
若是上述的陈论, 那我就无法同意了. 优化的过程, 除了参数的优化, 模型的选择
也是重要的步骤. 参数的优化没用到人类围棋知识, 没有争议. 但模型选择呢?
有人说, 那只是工程上的问题. 这我是完全无法认同的. 模型的选取, 直接影响整
个方法的表现, 通常不只是快或慢而已. 解很可能不一样的.
至于我这篇一开始引的. 是的, ResNet 当红, 拿来试试是自然的. 问题是怎么试?
不用试了, 就是它, 直接开始自战, 是吗? 我想有经验的人不会这样做. Deepmind
也没这样做, 它还是先测试了学人类棋谱的 master 板本, 才再去试自战的.
引个 https://tinyurl.com/y85ukxhn 文末的话:
"The clever insights making Zero better was due to humans, not any
piece of software suggesting that this approach would be good.
I would start to get worried when that happens."
我想说的是, 在这新闻报导出来, 很多人会被误导 AI 可以仅凭规则, 无师自通.
但它其实没有被证实 (下一段补充) 那么厉害. 它仍然是需要人类围棋知识帮它
打好架构, 引导它往哪方向走. 对我来说, AlphaGo Zero 自战学习, 这所谓的
学习, 其实只是更广义的计算. 电脑计算比人类强, 这大家已经没疑问. 而现在
的学习, 其实只是 "随机计算", 这个电脑更该比人强. 但电脑程式的角色其实广
义上仍然是帮人类算人类无法自己算的地方, 它并没有自己学习.
(关于上一段说要补充的. 或许 AI 真有这个能力, 但是, deepmind 似乎不是走
这样的流程)
另外本文一开始引的也提到, 这不是围棋专用的, 所以不算是围棋知识. 我同事
目前在做, 当有 incomplete or delayed 讯息的游戏, ResNet 是否也能做得好?
另外像是加入随机, AI 无法得知最后成败是因运气还是功力, 那是否会让它不易
学习? 或许有人可以归纳出围棋是属于怎样的游戏, 而这样的游戏, 用 ResNet +
MCTS 都可以做得好. 但这是根据规则, 了解这个游戏的特性, 这难道不也是一种
人类的围棋知识? 是 AI 自己能懂的吗?
有人把这篇看完了吗? 我非常佩服你. 我觉得我若是读的人, 可能也看不完.
我想我的想法都陈述了, 这是最后一篇, 相关话题不会再发文污染这个板.
若有兴趣继续讨论的人, 欢迎私信讨论.
作者: khaos (出来混的...)   2017-11-11 07:12:00
id真眼熟,好像以前在LGS见过耶啊 看错了
作者: Eriri (英梨梨)   2017-11-11 07:18:00
其实大家都解释的很清楚了 是你自己钻牛角尖 定义又跟别人不同 甚至快接近无限上纲 了解这游戏的特性后然后做些对工程上比较方便的事 跟大家在这里所谓的是否用到人类知识 根本是两码子的事...
作者: denniswu (denniswu)   2017-11-11 07:38:00
人家nature都accept了 你还要自己认为?还是说要电脑自动产生程式码才是无人为? XDD
作者: CGary (下雨天也挺浪漫的)   2017-11-11 08:24:00
如果要说nature accept这件事 其实跟他提的问题无关 不要因为nature接受这篇论文就说别人自以为是比较好的...这个问题其实当场有另一位讲者有质疑黄博士(也是另一位AI的高手) 但黄博士的看法是可以接受的 他认为这个过程中所取得结果的过程有围棋的影子 但是实际上采用在Zero的方式已经完全没有 可以搬到别的游戏上直接使用...另外,AGZ其实真没一开始跟Master对战学会 在演讲中黄博士有说他们采用resnet在AGZ跟Master是完全不一样的参数 而且投入的资源也不是一样的 因为他们一开始就不认为Zero可以有那么快“学会”下棋 加上要发nature 不能公开, 所以跟柯洁对战还是发表的这篇 分成两个团队各自进行 另外原Po你说的问题中 用用看不用试这件事 其实很可能就是真的 因为这几年搞理论的人 普遍认为搞工程的人对于这些practice背后理论证明底子不足...XD
作者: HeterCompute (异质运算)   2017-11-11 09:12:00
昨天有说Deepmind团队当初做Zero,就是请黄博士把所有Zero有用到人类知识的部分的code一行一行删除剩下给另外一个团队搞,所以就看你相不相信黄博士(?
作者: jackcselab (monk)   2017-11-11 10:31:00
所以AGZ的程式主要不是Aja负责的,所以nature论文他才会排到第五去了
作者: JoeyChen (I am Joey)   2017-11-11 11:00:00
请问那zero目前的程式是for游戏还是已经for所有purpose?
作者: HeterCompute (异质运算)   2017-11-11 11:06:00
For general complete information game.
作者: wadashi1 (阿拉丁)   2017-11-11 11:34:00
所以我才会希望随便延用到任何的棋局游戏像象棋来证明..
作者: birdy590 (Birdy)   2017-11-11 11:58:00
那同样还是工程决定 目前不存在通用的架构所以下一步才会是即时战略 因为根本上差很多如果坚持要一鱼n吃才算 那连人类也做不到有人下棋和打麻将思考的方式会一样吗?
作者: wadashi1 (阿拉丁)   2017-11-11 12:09:00
打麻将牵涉到记忆跟摸牌出现机率的问题,电脑优势太多了
作者: birdy590 (Birdy)   2017-11-11 12:14:00
优势太多但不是稳赢 因为有无法控制的因素这是游戏规则不同可能造成的影响
作者: toulio81 (恩...)   2017-11-11 12:19:00
棋谱本来就算人类围棋知识啊...谁说不算的?
作者: birdy590 (Birdy)   2017-11-11 12:20:00
棋谱广义上是 但规则不是人类按照规则测试挑选适当的架构 这属于工程范围
作者: toulio81 (恩...)   2017-11-11 12:21:00
至于模型选择,可以自己用不同模型对下,那个胜率高就选哪个吧?为啥一定要用人类棋谱验证?
作者: wadashi1 (阿拉丁)   2017-11-11 12:29:00
看到最后面....嗯!游戏创始者跟规则设定者,虽然拥有一开始的所有游戏的规则,但并不一定是玩得最好的,甚至有可能在旁人看来不太会玩游戏,因为他没深入游戏去练习技术。
作者: s891234 (嘟噜咑)   2017-11-11 13:01:00
棋谱当然是人类围棋知识啊
作者: oldTim (TIME WILL TELL)   2017-11-11 17:15:00
原po要将围棋知识定义的如此广我没意见,但试想一个情况如果一个记忆力很好的小朋友只是背了很多棋谱,没有任何定石、死活、厚薄的观念,你会认为他有很丰富的围棋知识还是只是有惊人的记忆力? 更何况AlphaGO初版选择输入棋谱时并没有像ZEN一样特别挑高手棋谱输入,受人类围棋观念更小
作者: mothertime (我超爱傅红雪这变态)   2017-11-11 21:00:00
你没有规则,就会产生AI没气却不提子的状况所以规则是必要的
作者: jpg31415926 (圆周率π)   2017-11-12 00:26:00
没规则怎知道你在玩五子棋黑白棋还是围棋
作者: tcn1john (momo)   2017-11-12 08:21:00
啊就Complete information game了还在麻将
作者: peterhuo (人生位阶乐胜真爽)   2017-11-13 19:11:00
没规则还想教孩子啊XD真X孩

Links booklink

Contact Us: admin [ a t ] ucptt.com