遍地半吊子的尤文配不上逆生长C罗的绝不只萨里

今天尤文比赛,一位平时不太看尤文的朋友跟我聊天:人说C罗是尤文现在细活最好的,我以前一直不信,今天我是亲眼目睹。

由于在训练和测试过程中平均的预测时间范围会发生急剧变化,这种时间戳之间的非恒定差异导致单个模型的预测任务更加具有挑战性。为更加公平的对模型进行比较,我们将增量时间戳信息作为 GCGN 和 GRU 的附加节点特征。

其中,H是节点特征矩阵。上式中定义了函数 F 参数化的 H 的向量场,其中函数 F 可以是任意已知的图神经网络(GNN)层。

尽管拥有特殊的结构,GDE 代表了一类图序列的自回归模型,以混合动态系统的形式自然地通往扩展的经典时空结构,比如:以时间连续和时间离散的动力学相互作用为特征的系统。

所以你当然可以说,目前尤文的很多球员配不上C罗,萨里也配不上这个疯狂逆生长的C罗,这还真不是罗密们挑挑拣拣。但这个局面的形成,除了萨里自己的问题之外,把萨里推上这个位置的人当然也有锅。阿莱格里离开的理由到底是什么?是无缘欧冠奖杯,还是踢得不好看?可是尤文高层又真的像是冲击大耳朵杯的做派吗?有补充踢得好看的要素吗?

(新浪体育 华迪维亚 专栏)

其实对尤文球迷来说,这样的场景不陌生了,囧叔执教的最后两个赛季,很多比赛的场面也没好到哪里去。长时间跟人耗着,靠个别球星一两下闪光或者全队一波发力收割拿下,这比赛真不算少。至少在这点上,萨里没比阿莱格里难看太多。无非是他抱着个传控的标签又没有名望,有时候挨了一些不该挨的骂。你全队几乎没人会带球,哪来的传控渗透?

GDE 和 GNN 一样,都是在图上进行操作。关于符号和基本定义更详细的介绍,我们参阅了关于 GNN 的优秀的相关综合研究(相关研究链接为:https://arxiv.org/abs/1901.00596)以及原论文中的背景部分。

那当然不是这个意思,尤文的实力显然还是更强一些。但尤文绝不具备人们想象中那种完控局面,一浪高过一浪压制里昂的水平,想酣畅淋漓那是做梦。准确地说,尤文是具备“一段时间内”比里昂更强的实力,可能是50-60分钟,状态差点可能也就30分钟。而且在对面气势还盛的时候,防守端能顶住,后期再发力收割。客场对勒沃库森,就这么赢的。

与只具有离散跳跃的标准递归模型相比,自回归 GDE 在跳跃间包含了一个潜在特征节点的连续流 H。自回归 GDE 的这一特性使它们能够从不规则的观测结果中来跟踪动态系统。

然而这回,达尼洛被奥亚尔抹了个干净,先丢球,再要进攻可就难喽。

这一观点将前向传播过程,重定义为常微分方程(ODE)中初值求解的问题。在这个假设下,可以直接对常微分方程进行建模,并可以提高神经网络在涉及连续时间序列任务上的性能。

GDE 模型的主要目的是,提供一种数据驱动的方法为结构化系统建模,特别是当这个动态过程是非线性时,更是难以用经典的分析方法进行建模。

节点分类任务的准确性。上表取值为100次运行的平均值和标准偏差。

GCDE模型。在我们的论文中包含了一个更加详细的版本,以及一些GNN流行的GDE变体版本。

这个突破+传中组合动作,尤文没第二个人做得出来

据悉,我们正计划将它最终部署成具有不同功能的设置(包括预测、控制…),其中包括所有主要图形神经网络(GNN)架构下不同 GDE 变体的工作示例。

中场连续高薪免签功能和类型严重重复的半吊子球员,薪资结构搞得一团糟,球员出不了手,战力也没有本质性的补强;一再跟老臣续签合同,烂合同甩都甩不掉,也缺少发掘青年才俊的慧眼;当然最重要的,明知道球队换血幅度和能力有限,还要换掉最擅长谋略、把半吊子牌尽可能打好的阿莱格里,最后一丝稳定也维系不住了,陷入了全线的混乱中。

无论 GDE 模型的结构是固定还是随时间变化的,它都可以通过为模型配备连续的 GNN 图层来对定义在图上的向量场建模。

但萨里也有他的致命问题。之前说了,尤文这配置就是半吊子,时灵时不灵是必然的。作为教练你就得审时度势,在不同的场合派上能灵的人,把灵的时候那波劲儿攒成实实在在的进球。比如囧叔客场被热刺打得屁滚尿流,突然两个换人,发力3分钟,一波带走。

一、深度学习中的常微分方程

为了在由连续时间系统生成的数据设置中测量 GDE 获得的性能提升,我们使用 GCDE-GRU 及其对应的离散 GCGRU[12],并将结果置于 vanilla GRU 度量标准中进行测量。

如上所述,我们目前正在开发一个Github库,其中包含一系列针对 GDE 模型不同类型的示例和应用程序。

所以真输球了,我好像……也没那么气?因为势头和策略还是那样的,上半场先蹲,稍微难看点,下半场尤其最后能打出点东西。结果没蹲住,打出的东西没换成进球,而已。运气稍微好一点的话(德里赫特治伤导致丢球,迪巴拉禁区倒地没吹),偷一个1-1完全有戏。

文章开头提到的那位朋友还跟我调侃说,感觉C罗在尤文还涨球了。可不是么,你看C罗处理球的节奏和速度,拿球摆脱的稳健程度,都是全面领先球队的。就他那一套边路快速晃动+逆足脚精准传中,整个尤文就没第二个人做得出来。更多的时候,会防守的不会进攻,会突破的不会传中,会快速做球的跑不动——当然,大家还基本上都不会带球。

通过在 Cora、Pubmed 和 Citeseer 上进行一系列半监督节点分类实验,证明 GDE 可以作为高性能的通用模型。这些数据集包含静态图,其中邻接矩阵 A 保持不变,从而使其远离运用GDE的动态系统设置。我们评估图卷积常微分方程(GCDE)的性能,定义为:

那简单了:围剿C罗和迪巴拉,一个人防不住,多几个还不行吗?起速了防不住,犯规还不行吗?其他人根本就不会突破,也传不出渗透球,节奏还慢,真没那么难防。

GDE 可以通过多种方式进行训练,这一点很像标准的神经常微分方程[6]。原论文中也对系统的适定性进行了详细阐释和讨论。

在涉及时间分量的场景中,GDE 中 S 的深度域与时间域一致,并且可以根据需求进行调整。例如,给定时间窗口 Δt,使用 GDE 进行预测的公式形式如下:

一种类型不同但重要性相等的归纳偏差与收集到数据所使用系统的类别相关。尽管从传统上看,深度学习一直由离散模型主导,但在最近的研究提出了一种将神经网络视为具有连续层的模型[6]的处理方法。

哪位说了:你说这么多,难道尤文的实力还不如里昂不成?人家还没有德佩呢。

另一件事情:昨晚上在一个聊球群里竞猜凌晨这两场欧冠哪个球员能先进球,我选了里昂的奥亚尔(正确答案是图萨尔,不过奥亚尔给他助攻了),理由是这样的——如果尤文能赢,上半场很难进球;如果赢不了,多半会被先干一个。这也是基于我对尤文尿性的了解,这种比赛想要取得好结果,除了前半段蹲坑后半段收割,没有别的应对方案。

换句话说,F 利用图 G 节点的连接信息及其节点特征来描述 H 在 S 中的变化过程。其中,S 是模型的深度域;不同于 GNN 由自然数的子集来指定的深度域,S 是连续的,它表示由函数 F 定义的常微分方程的积分域。

萨里呢?德西利奥对AC米兰的时候扛雷比奇和特奥扛得挺好,不给上,结果达尼洛漫不经心的防守直接丢掉一球;皮亚尼奇和夸德拉多状态不佳还能留那么长时间,换人效果挺明显,可惜调整太迟缓;原本磨合得差不多了的4-3-1-2又改成了迪巴拉站中锋位的4-3-3,好些次成功经验都没有坚持,总在莫名其妙的时候搞变化,结果次次踩错步点。

对于所考虑的每个模型,我们收集了标准化 RMSE(NRMSE)和平均绝对百分比误差(MAPE)结果。关于所选指标和数据的更多细节请参见原论文。

毛业雄表示,四川对保障口粮安全和猪肉供给有信心、有把握。目前四川全省已备杂交水稻种2672.7万公斤、玉米种3763.8万公斤,分别占计划的95.2%和89.1%;已备化肥402万标吨、农药1.9万吨、农膜4.2万吨,这些情况与往年基本持平。

GCDE 被证明可以媲美最先进的模型,并且优于它们的离散模型。我们评估了如下两种 GCDE的版本:

“目前大春各项准备正在开展,陆续开始育秧、育苗工作。大春生产预计播种面积7791万亩,水稻将于2月下旬开始陆续由南到北渐次展开。”毛业雄说。

萨里的悲剧:只会做题不会考试 怎么上清华北大?

《Graph Neural Ordinary Differential Equations》这项工作旨在缩小几何深度学习和连续模型之间的差距。图神经常微分方程(Graph Neural Ordinary Differential Equations ,GDE)将图结构数据上的一般性任务映射到一个系统理论框架中。我们将常见的图结构数据放入系统理论框架中,比如将数据结构化到系统中:

因为我从赛季初就一直在说,尤文的阵容配置和球员状态就是三个字:半吊子。除了C罗相对均衡一点,其他中前场球员基本上都是六脉神剑,短板明显,状态也是起起伏伏。里昂主帅加西亚不蠢,一眼看出尤文两个边路毫无威胁,根本无法起速突破,真正的持球威胁点也就是C罗和迪巴拉,后者还基本上只有左脚。那些前插的人,跑出花来也穿不透防线的。

它们的完全离散的形式对应图卷积网络(GCN)[8]。我们参考了包括著名的图注意力网络(GAT)[9]在内的文献作为参考:

GDE 中一项关键的设定涉及到时空图数据信息。在处理图的序列信息时,需要用到 GNN 的递归版本 [11][12]。然而, 与常规的递归神经网络(RNN)及其变体一样,在固定的离散度的情况下不允许其对不规则的样本数据进行操作。这一事实进一步推动了基于到达次数之间的变动的先验假设下 RNN 形式的发展,比如 RNN 的 ODE 版本 [14] 。

自回归 GDE的混合自动机原理图

另一方面,使用自适应步长解算器训练 GCDE 自然会比使用 vanilla GCN 模型的深度更深,后者网络层的深度使该网络性能大大降低。

C罗这个带球威胁,尤文球员基本上也不具备

1、图是由边连接的互连节点(实体)的集合。深度学习模型通常处理用一组特征(通常以一组向量或张量)描述节点的属性图。对于 n 个节点的图,每个节点都可以用 d 个特征描述,最后我们将这 n x d 个节点嵌入矩阵表示为 H。 2、图的结构由其邻接矩阵 A 捕获。节点之间的连通结构表现出标准深度学习模型和GNN模型之间的主要区别[1],因为GNN直接以各种方式利用它对节点嵌入进行操作。

它的核心思想是,让一个 GDE 在两种时间点之间平滑地控制潜在的节点特征,然后应用一些离散算子,让节点特征 H 快速移动,接着由输出层来处理这些节点特征 H 。

这类系统对关系归纳偏差提供了生动形象的样例。在样本统计或机器学习过程中引入归纳误差,是一种普遍用于提高样本有效性和泛化性的方式。从目标函数的选择到适合某项具体问题的自组织深度学习的框架设计,设定偏差也是非常常见且有效的方式。

我苦笑,答曰:真的,你只要看了,谁看谁知道。

新浪国际足球原创专栏:点击进入

目前我们正在开发一个用于介绍GDE模型的 Github Repository(仓库),其中包含使用 Jupyter notebook 且带有注释的相关示例,Github 相关地址如下:

换恋人容易 要换主队却很难?你看球像谈恋爱吗

让诺伊尔打中场哪傲慢了?瓜帅最遗憾的天才狂想

我们的论文可以在arXiv上作为预印本:如果您觉得我们的工作有用,请考虑引用我们的论文。

给定一系列的时间常数以及一种数据的状态——图数据信息流,自回归 GDE 的一般公式为:

C罗和德里赫特算是发挥比较好的

如图为Cora的训练损失和准确率,其中阴影区域是95%置信区间

如图为自回归GDE。拥有已知连续变量的时空GNN模型可以通过从这个系统中通过选择合适的F,G,K参数来获得。

作者其他文章:点击进入作者专栏

四川省农业农村厅副厅长毛业雄介绍,四川7家大型重点肥料企业和984家屠宰企业已全部复工,种子企业复工196家,复工率96%;饲料兽药企业复工469家。

对具有连续动态和不规则数据集的其他应用领域采用 GDE 作为建模工具,也将同样使其拥有优势,例如在医学、金融或分布式控制系统等领域。我们正在这些领域进行另外的一些相关实验,欢迎提出任何要求、想法或合作意见。

有趣的是,自适应步长GDE似乎不受节点特征过度平滑的影响。过度平滑问题[10]阻碍了深层GNN在各个领域的有效使用,特别是在多智能体强化学习(MARL)中,我们目前正在积极探索GDE这一特性,并能够很快进行更为详细的分析。

齐达内敢浪 梅西却慌了 豪华巴萨又矮皇马一截了

静态图结果:节点分类

F,G,K 的不同组合可以产生最常见的时空 GNN 模型的连续变量。

今年四川省农产品生产的任务目标是粮食播面达到9000万亩以上、粮食总产稳定在700亿斤左右、生猪出栏6000万头。为确保春耕不误农时,做到“应播尽播、应种尽种”,四川各地在做好疫情防控的同时,积极组织各类农业企业复工复产,保证农业物资的供应。

实验中我们成功地训练了GCDE-dpr5,它有多达200个ODE函数评估(NFE),这使得它对图中的计算量明显高于vanilla GCN(由于层数太深使得性能大幅度降低)。应该注意的是,由于GDE在求解函数中会对参数重利用,它比对应的离散项需要更少的参数。

这么一帮半吊子,由一个把不准半吊子什么时候灵的半吊子教练带着,再加上任用这个半吊子教练和继续引进半吊子球员的管理层……C罗依然维持着高标准,可他这逆生长,也真是够累的。

随着农业企业陆续复工复产,四川各地农资产品销售门店也活跃起来。记者从四川中江县农业农村局了解到,该县26个农资县级代理商、928个零售门市全部复工营业。为保证疫情防控,中江还组织动员广大农资经营商主动联系农户,登记农资需求,适时送货上门。

其中,参数 F,G,K 是类似于 GNN 的操作或者一般的神经网络层,H+表示经过离散变换后的 H 值。该系统的转变过程可以通过混合自动机进行可视化处理:

我们鼓励大家对GDE的其他应用程序在Github中进行请求/建议操作:我们计划它最终可以包括所有主流图神经网络(GNN)架构的GDE变体的相关工作示例,部署在各种设置(预测、控制…)之中。

关系归纳偏差[1]代表一类特殊的偏差,涉及实体之间的关系。无论是图形模型、概率模型还是其他模型,都是一类专门对实体施加先验结构形式的关系偏差的传统模型。这些图形结构能够在不同领域中发挥作用,它可以通过引入条件独立性假设来降低计算复杂度,也可以通过将先验知识编码为图的形式来增强样本的有效性。

由于 GCDE-GRU 和 GCGRU 的设计在结构和参数数量上是匹配的,我们可以在 NRSME 中测量到 3% 的性能增长,在MAPE中测量到7%的性能增长。

萨里是能鼓捣出好的比赛内容的,这个赛季也有过一些场次。你站在他的角度听赛后发布会,其实他的分析也挺有道理。问题在于,他如今已经有了自乱阵脚的趋势,比如今天是他至少第三次在发布会上说,训练练得挺好,比赛打不出来——这问题可不小吧。

图神经网络(GNN)是图模型对应的深度学习网络。GNN 通常会在这两种情况中使用:一是当目标问题结构可以编码为图的形式;二是输入实体间关系的先验知识本身可以被描述为一张图。

下面是对GDE的介绍。关于更多细节和推导,请参阅原论文,论文相关链接如下:

不规则数据预测任务的结果。此处取5次训练的平均值和标准差。

GDE 模型由于结构由连续的 GNN 层定义,具备良好的灵活性,可以适应不规则序列样本数据。

三、图神经常微分方程

GNN 在许多应用领域都展示了显著的效果,例如:节点分类[2]、图分类、预测[3][4]以及生成任务[5]。

与 ResNets 相比,GNN 作为一个模型类别来说算是相对年轻的。因此,关于多步骤的复杂变体以及类似分形残差连接的相关文献发展得并没有那么完善;而我们可以发现一些新的 GNN 变体是通过应用GDE的各种离散化方案来指导的,而不是完全从头开始。

为了评估自回归 GDE 模型对预测任务的有效性,我们在建立的 PeMS 流量数据集上进行了一系列实验。我们遵循文献[15]的实验预设参数,并且附加了一个预处理步骤:对时间序列进行欠采样,为了模拟在具有不规则时间戳或有缺失值等具有挑战性的环境,这里将每个输入以 0.7 的概率进行删除。

固定步长的离散方案并不能保证 ODE 近似仍然接近解析解;在这种情况下,求解一个适当的 ODE 是不必要的,GCDE—rk4能够提供一个计算效率高的类子结构的FractalNet(比如GCN模型的结构)来提高准确率。         

图神经常微分方程(GDE)定义如下:

下面,我们将对 GDE 进行简要的介绍,不够实际上,只有下面两点关于图的基本知识是我们即将需要了解到的:

一般的 GDE 公式带有几种含义。在一般神经常微分方程中,观察到选择离散化方案可以对 ResNets(残差网络)已知的先前离散多步骤变量进行描述[7]。因此,深度学习中连续动态系统的观点不仅局限于微分方程的建模,而且可以利用丰富的数值方法相关文献来指导发现新的通用模型。