#12 机器学习能力自测题—看看你的机器学习知识能打几分？不容错过的机器学习试题与术语

一直苦于没有办法自测一下机器学习知识掌握程度，最近看到一篇Ankit Gupta写的博客：Solutions for Skilltest Machine Learning : Revealed。有40题机器学习自测题，马上可以看看你的机器学习知识能打几分？顺便还能查漏补缺相关术语，以及SVM, 隐马尔科夫, 特征选择, 神经网络, 线性回归等众多知识点.

以下是试题, 附答案：

Q1：在一个n维的空间中， 最好的检测outlier(离群点)的方法是：

A. 作正态分布概率图

B. 作盒形图

C. 马氏距离

D. 作散点图

答案：C

马氏距离是基于卡方分布的，度量多元outlier离群点的统计方法。更多请详见：这里和”各种距离“。

 

Q2：对数几率回归（logistics regression）和一般回归分析有什么区别？：

A. 对数几率回归是设计用来预测事件可能性的

B. 对数几率回归可以用来度量模型拟合程度

C. 对数几率回归可以用来估计回归系数

D. 以上所有

答案：D

A: 这个在我们第八期#8提到过，对数几率回归其实是设计用来解决分类问题的

B: 对数几率回归可以用来检验模型对数据的拟合度

C: 虽然对数几率回归是用来解决分类问题的，但是模型建立好后，就可以根据独立的特征，估计相关的回归系数。就我认为，这只是估计回归系数，不能直接用来做回归模型。

 

Q3：bootstrap数据是什么意思？（提示：考“bootstrap”和“boosting”区别）

A. 有放回地从总共M个特征中抽样m个特征

B. 无放回地从总共M个特征中抽样m个特征

C. 有放回地从总共N个样本中抽样n个样本

D. 无放回地从总共N个样本中抽样n个样本

答案：C

需要集成学习基础知识，详情请见：bootstrap, boosting, bagging 几种方法的联系

 

Q4：“过拟合”只在监督学习中出现，在非监督学习中，没有“过拟合”，这是：

A. 对的

B. 错的

答案：B

我们可以评估无监督学习方法通过无监督学习的指标，如：我们可以评估聚类模型通过调整兰德系数（adjusted rand score）

 

Q5：对于k折交叉验证, 以下对k的说法正确的是 :

A. k越大, 不一定越好, 选择大的k会加大评估时间

B. 选择更大的k, 就会有更小的bias (因为训练集更加接近总数据集)

C. 在选择k时, 要最小化数据集之间的方差

D. 以上所有

答案：D

k越大, bias越小, 训练时间越长. 在训练时, 也要考虑数据集间方差差别不大的原则. 比如, 对于二类分类问题, 使用2-折交叉验证, 如果测试集里的数据都是A类的, 而训练集中数据都是B类的, 显然, 测试效果会很差.

如果不明白bias和variance的概念, 务必参考下面链接:

• Gentle Introduction to the Bias-Variance Trade-Off in Machine Learning
• Understanding the Bias-Variance Tradeoff

 

Q6：回归模型中存在多重共线性, 你如何解决这个问题？

A. 去除这两个共线性变量

B. 我们可以先去除一个共线性变量

C. 计算VIF(方差膨胀因子), 采取相应措施

D. 为了避免损失信息, 我们可以使用一些正则化方法, 比如, 岭回归和lasso回归.

以下哪些是对的:

A. 1

B. 2

C. 2和3

D. 2, 3和4

答案: D

解决多重公线性, 可以使用相关矩阵去去除相关性高于75%的变量 (有主观成分). 也可以VIF, 如果VIF值<=4说明相关性不是很高, VIF值>=10说明相关性较高.

我们也可以用 岭回归和lasso回归的带有惩罚正则项的方法. 我们也可以在一些变量上加随机噪声, 使得变量之间变得不同, 但是这个方法要小心使用, 可能会影响预测效果.

 

Q7：模型的高bias是什么意思, 我们如何降低它 ?

A. 在特征空间中减少特征

B. 在特征空间中增加特征

C. 增加数据点

D. B和C

E. 以上所有

答案: B

bias太高说明模型太简单了, 数据维数不够, 无法准确预测数据, 所以, 升维吧 !

如果不明白bias和variance的概念, 务必参考下面链接:

• Gentle Introduction to the Bias-Variance Trade-Off in Machine Learning
• Understanding the Bias-Variance Tradeoff

 

Q8：训练决策树模型, 属性节点的分裂, 具有最大信息增益的图是下图的哪一个: 

A. Outlook

B. Humidity

C. Windy

D. Temperature

答案: A

信息增益, 增加平均子集纯度, 详细研究, 请戳下面链接:

• A Complete Tutorial on Tree Based Modeling from Scratch (in R & Python)
• Lecture 4 Decision Trees (2): Entropy, Information Gain, Gain Ratio

 

Q9：对于信息增益, 决策树分裂节点, 下面说法正确的是: 

A. 纯度高的节点需要更多的信息去区分

B. 信息增益可以用”1比特-熵”获得

C. 如果选择一个属性具有许多归类值, 那么这个信息增益是有偏差的

A. 1

B. 2

C.2和3

D. 所有以上

答案: C

详细研究, 请戳下面链接:

• A Complete Tutorial on Tree Based Modeling from Scratch (in R & Python)
• Lecture 4 Decision Trees (2): Entropy, Information Gain, Gain Ratio

 

Q10：如果SVM模型欠拟合, 以下方法哪些可以改进模型 : 

A. 增大惩罚参数C的值

B. 减小惩罚参数C的值

C. 减小核系数(gamma参数)

答案: A

如果SVM模型欠拟合, 我们可以调高参数C的值, 使得模型复杂度上升.

LibSVM中，SVM的目标函数是:

Q17：假如我们使用非线性可分的SVM目标函数作为最优化对象, 我们怎么保证模型线性可分 : 

A. 设C=1

B. 设C=0

C. 设C=无穷大

D. 以上都不对

答案: C

C无穷大保证了所有的线性不可分都是可以忍受的.

 

Q18：训练完SVM模型后, 不是支持向量的那些样本我们可以丢掉, 也可以继续分类: 

A. 正确

B. 错误

答案: A

SVM模型中, 真正影响决策边界的是支持向量

 

Q19：以下哪些算法, 可以用神经网络去构造: 

1. KNN
2. 线性回归
3. 对数几率回归

A. 1和 2

B. 2 和 3

C. 1, 2 和 3

D. 以上都不是

答案: B

1. KNN算法不需要训练参数, 而所有神经网络都需要训练参数, 因此神经网络帮不上忙
2. 最简单的神经网络, 感知器, 其实就是线性回归的训练
3. 我们可以用一层的神经网络构造对数几率回归

 

Q20：请选择下面可以应用隐马尔科夫(HMM)模型的选项: 

A. 基因序列数据集

B. 电影浏览数据集

C. 股票市场数据集

D. 所有以上

答案: D

只要是和时间序列问题有关的 , 都可以试试HMM

Q25：对于PCA说法正确的是 :

1. 我们必须在使用PCA前规范化数据
2. 我们应该选择使得模型有最大variance的主成分
3. 我们应该选择使得模型有最小variance的主成分
4. 我们可以使用PCA在低维度上做数据可视化

A. 1, 2 and 4

B. 2 and 4

C. 3 and 4

D. 1 and 3

E. 1, 3 and 4

答案: A

• PCA对数据尺度很敏感, 打个比方, 如果单位是从km变为cm, 这样的数据尺度对PCA最后的结果可能很有影响(从不怎么重要的成分变为很重要的成分).
• 我们总是应该选择使得模型有最大variance的主成分
• 有时在低维度上左图是需要PCA的降维帮助的

 

Q26：对于下图, 最好的主成分选择是多少 ? :

A. 7

B. 30

C. 35

D. Can’t Say

答案: B

• 主成分选择使variance越大越好， 在这个前提下， 主成分越少越好。

Q29：以下说法正确的是 :

A. 一个机器学习模型，如果有较高准确率，总是说明这个分类器是好的

B. 如果增加模型复杂度， 那么模型的测试错误率总是会降低

C. 如果增加模型复杂度， 那么模型的训练错误率总是会降低

D. 我们不可以使用聚类“类别id”作为一个新的特征项， 然后再用监督学习分别进行学习

A. 1

B. 2

C. 3

D. 1 and 3

答案: C

考的是过拟合和欠拟合的问题。

 

Q30：对应GradientBoosting tree算法， 以下说法正确的是 :

A. 当增加最小样本分裂个数，我们可以抵制过拟合

B. 当增加最小样本分裂个数，会导致过拟合

C. 当我们减少训练单个学习器的样本个数，我们可以降低variance

D. 当我们减少训练单个学习器的样本个数，我们可以降低bias

A. 2 和 4

B. 2 和 3

C. 1 和 3

D. 1 和 4

答案: C

• 最小样本分裂个数是用来控制“过拟合”参数。太高的值会导致“欠拟合”，这个参数应该用交叉验证来调节。
• 第二点是靠bias和variance概念的。

 

Q31：以下哪个图是KNN算法的训练边界 :

A) B

B) A

C) D

D) C

E) 都不是

答案: B

KNN算法肯定不是线性的边界， 所以直的边界就不用考虑了。另外这个算法是看周围最近的k个样本的分类用以确定分类，所以边界一定是坑坑洼洼的。

 

Q32：如果一个训练好的模型在测试集上有100%的准确率， 这是不是意味着在一个新的数据集上，也会有同样好的表现？ :

A. 是的，这说明这个模型的范化能力已经足以支持新的数据集合了

B. 不对，依然后其他因素模型没有考虑到，比如噪音数据

答案: B
没有一个模型是可以总是适应新数据的。我们不可能可到100%准确率。

Q33：下面的交叉验证方法 :

i. 有放回的Bootstrap方法

ii. 留一个测试样本的交叉验证

iii. 5折交叉验证

iv. 重复两次的5折教程验证

当样本是1000时，下面执行时间的顺序，正确的是：

A. i > ii > iii > iv

B. ii > iv > iii > i

C. iv > i > ii > iii

D. ii > iii > iv > i

答案: B

• Boostrap方法是传统地随机抽样，验证一次的验证方法，只需要训练1次模型，所以时间最少。
• 留一个测试样本的交叉验证，需要n次训练过程（n是样本个数），这里，要训练1000个模型。
• 5折交叉验证需要训练5个模型。
• 重复2次的5折交叉验证，需要训练10个模型。

所有B是正确的

 

Q34. Removed

 

Q35：变量选择是用来选择最好的判别器子集， 如果要考虑模型效率，我们应该做哪些变量选择的考虑？ :

1. 多个变量其实有相同的用处
2. 变量对于模型的解释有多大作用
3. 特征携带的信息
4. 交叉验证

A. 1 和 4

B. 1, 2 和 3

C. 1,3 和 4

D. 以上所有

答案: C

注意， 这题的题眼是考虑模型效率，所以不要考虑选项2.

 

Q36：对于线性回归模型，包括附加变量在内，以下的可能正确的是 :

1. R-Squared 和 Adjusted R-squared都是递增的
2. R-Squared 是常量的，Adjusted R-squared是递增的
3. R-Squared 是递减的， Adjusted R-squared 也是递减的
4. R-Squared 是递减的， Adjusted R-squared是递增的

A. 1 和 2

B. 1 和 3

C. 2 和 4

D. 以上都不是

答案: D

R-squared不能决定系数估计和预测偏差，这就是为什么我们要估计残差图。但是，R-squared有R-squared 和 predicted R-squared 所没有的问题。
每次你为模型加入预测器，R-squared递增或不变.

详细请看这个链接：discussion.

 

Q37：对于下面三个模型的训练情况， 下面说法正确的是 :

1. 第一张图的训练错误与其余两张图相比，是最大的
2. 最后一张图的训练效果最好，因为训练错误最小
3. 第二张图比第一和第三张图鲁棒性更强，是三个里面表现最好的模型
4. 第三张图相对前两张图过拟合了
5. 三个图表现一样，因为我们还没有测试数据集

A. 1 和 3

B. 1 和 3

C. 1, 3 和 4

D. 5

答案: C

 

Q38：对于线性回归，我们应该有以下哪些假设？ :

1. 找到利群点很重要, 因为线性回归对利群点很敏感
2. 线性回归要求所有变量必须符合正态分布
3. 线性回归假设数据没有多重线性相关性

A. 1 和 2

B. 2 和 3

C. 1,2 和 3

D. 以上都不是

答案: D

• 利群点要着重考虑, 第一点是对的
• 不是必须的, 当然, 如果是正态分布, 训练效果会更好
• 有少量的多重线性相关性是可以的, 但是我们要尽量避免

 

Q39：当我们构造线性模型时, 我们注意变量间的相关性. 在相关矩阵中搜索相关系数时, 如果我们发现3对变量的相关系数是(Var1 和Var2, Var2和Var3, Var3和Var1)是-0.98, 0.45, 1.23 . 我们可以得出什么结论: 

1. Var1和Var2是非常相关的
2. 因为Var和Var2是非常相关的, 我们可以去除其中一个
3. Var3和Var1的1.23相关系数是不可能的

A. 1 and 3

B. 1 and 2

C. 1,2 and 3

D. 1

答案: C

• Var1和Var2相关系数是负的, 所以这是多重线性相关, 我们可以考虑去除其中一个.
• 一般地, 如果相关系数大于0.7或者小于-0.7, 是高相关的
• 相关性系数范围应该是 [-1,1]

 

Q40：如果在一个高度非线性并且复杂的一些变量中, 一个树模型可能比一般的回归模型效果更好. 只是:

A. 对的

B. 错的

答案: A

翻译自参考文献：

Solutions for Skilltest Machine Learning : Revealed

本文章属于“David 9的博客”原创，如需转载，请联系微信david9ml，或邮箱：yanchao727@gmail.com