测试机器学习模型不用写代码!谷歌“what-if”工具轻松搞定

By admin in 技术中心 on 2019年4月22日

功能四:探索反事实示例

我们将What-If工具在Google内部团队中进行了测试,该工具在测试中显现出了直接价值。有团队很快发现他们的模型错误地忽略了数据集的整个特征,修复了以前未发现的代码错误。
还有团队使用该工具将模型示例按性能高到低排列出来,并发现表现不佳的模型示例的运行模式。

功能二:编辑一个数据点,看模型表现如何

只需一键,自动对比数据点与模型预测最相似点

功能六:查看混淆矩阵和ROC曲线

https://ai.googleblog.com/2018/09/the-what-if-tool-code-free-probing-of.html

图片 1

https://pair-code.github.io/what-if-tool/

250张人脸和在模型中检测微笑后的结果

使用What-if工具对微笑检测模型两部分数据的预测表现的比较,其中预测模型分类阈值设置满足“机会公平”

图片 2

图片 3

对于包含描述真实标签特性的二分类模型和示例,使用阈值、ROC曲线、数值混淆矩阵和成本比交互式地探索模型性能。

新智元将于9月20日在北京国家会议中心举办AI WORLD
2018世界人工智能峰会,MIT物理教授、未来生命研究所创始人、《生命3.0》作者Max
Tegmark,将发表演讲《我们如何利用AI,而不是被其压制》
,探讨如何直面AI军事化和杀人武器的出现,欢迎到现场交流!

图片 4

原标题:测试机器学习模型不用写代码!谷歌“what-if”工具轻松搞定

图片 5

检测错误分类、评估模型公平性、调查模型不同数据集

传送门

我们期待Google内外的人们都来使用What-If工具,以更好地理解机器学习模型,并开始评估预测模型的公平性。
我们的代码是开源的,欢迎对该工具继续添砖加瓦。

功能三:发掘单个特征的效果

在这种情况下,对于选定的数据点,模型预测该人年收入超过5万美元的信度为73%。该工具自动定位数据集中最相似的人,模型预测其年收入低于5万美元,然后将选定数据点和与之最相似、但预测结果相反的数据点进行并排比较。如下图所示,二者只有在年龄和职业上存在微小的差异,但模型的预测结果已经完全相反了。

What-If Tool介绍主页:

图片 6

没错,只需为TensorFlow模型和数据集提供指针,What-If
Tool就能给出一个可用来探索模型结果的可交互的视觉界面。

下面详细介绍What-If工具的两个功能。

用L1或L2距离从选定的数据点创建距离特性,并将其可视化进行进一步分析。

【新智元导读】Google AI推出“what-if
”工具,用户完全不需要编写代码就能分析机器学习模型。该工具提供交互式可视化界面,用户可以探索并比较模型结果,可以快速地发现模型中的错误。

图片 7

What-If工具功能强大,可以使用Facets自动显示数据集,从数据集手动编辑示例并查看更改的效果,还能自动生成部分依赖图(partial
dependence
plots),显示模型的预测结果随任何单个功能的更改而变化的情况。

功能五:按相似度排列示例

倒计时 8

What-If
Tool里功能很多,包括自动用Facets将数据集可视化,也有从数据集中手动编辑示例并查看更改效果的功能,还能自动生成部分关系图,显示模型预测随着单个特征的改变而改变的趋势。

What-If工具显示一组250张面部图片及其检测微笑模型的结果

铜灵 编译整理

调查模型在不同子群体中的表现:回归模型可以用于根据人口普查信息预测受试者的年龄。What-if工具能显示出模型在不同子群体中的相对表现,以及不同特征如何单独影响预测结果。该模型使用美国人口普查数据集进行训练。

https://pair-code.github.io/what-if-tool/

探索数据点上的What-if情景

功能一:可视化推断结果

http://www.aiworld2018.com/

图片 8

今天,我们正式发布What-If工具,该工具是开源的TensorBoard
Web应用程序的一项新功能,它允许用户在不编写代码的情况下分析机器学习模型。
What-If工具给出了TensorFlow模型和数据集的指针,提供了一个交互式可视化界面,用于探索模型结果。

根据推断结果的不同,你的示例会被分成不同的颜色,之后可用混淆矩阵和其他自定义形式进行处理,从不同特征的角度显示推断结果。

在下面的截图中,该工具用于二进制分类模型,该模型根据美国人口普查数据集的公共人口普查数据,预测一个人的年收入是否超过5万美元。这是机器学习研究人员使用的基准预测任务,尤其是在分析算法的公平性时。

原标题:无需写代码!谷歌推出机器学习模型分析神器,代号What-If

图片 9

发表评论

电子邮件地址不会被公开。 必填项已用*标注

网站地图xml地图
Copyright @ 2010-2019 betway必威官网 版权所有