机器学习笔试 面试题 四
机器学习笔试/面试题 四¶
本文讨论了机器学习中逻辑回归相关的笔试/面试题，涵盖概念、模型评估、参数选择等多方面知识，旨在考察对逻辑回归的理解和应用能力。关键要点包括：
正则化与决策边界：正则化项惩罚度最高的是决策边界较简单的图A，图C的决策边界不平滑，显示其过度拟合训练数据。
AUC - ROC曲线：AUC - ROC曲线下区域面积最大的黄色曲线给出最佳结果。
训练时间与精度平衡：在庞大数据集上进行逻辑回归训练时，增加学习率、减少迭代次数能花费更少时间获得相似精度。
逻辑回归性质：逻辑回归是监督式机器学习算法，是分类算法而非主要用于回归，可对三分问题应用，使用最大似然估值来测试。
模型评估指标：均方误差不适用逻辑回归输出与目标对比的评估，一般选择逻辑回归中AIC最小的模型作为最佳模型。
特征标准化与变量选择：训练逻辑回归前不需要对特征进行标准化，使用LASSO算法可进行变量选择。
函数相关结论：逻辑函数输出范围是（0,1），抛掷正常硬币正面朝上几率为1，Logit函数在域x=[0,1]中范围是（-∞，∞）。
代码块
1、下面是三个散点图（A，B，C，从左到右）和和手绘的逻辑回归决策边界。
4 正则化项惩罚度最高的是?
A A
B B
C C
D 都具有相同的正则化
正确答案是：A
解析：因为正则化意味着更多的罚值和图A所示的较简单的决策界限。
代码块
1 2、下图显示了三个逻辑回归模型的AUC-ROC曲线。不同的颜色表示不同超参数值的曲线。
2 以下哪个AUC-ROC会给出最佳结果？
A 黄色
B 粉红色
C 黑色
D 都相同
正确答案是：A
解析：最佳分类是曲线下区域面积最大者，而黄线在曲线下面积最大。
代码块
13、如果对相同的数据进行逻辑回归，将花费更少的时间，并给出比较相似的精度（也可能不一样），怎么办？
2 假设在庞大的数据集上使用Logistic回归模型。可能遇到一个问题，Logistic回归需要很长时间才能训练。
A 降低学习率，减少迭代次数
B 降低学习率，增加迭代次数
C 提高学习率，增加迭代次数
D 增加学习率，减少迭代次数
正确答案是：D
解析：如果在训练时减小迭代次数，就能花费更小的时间获得相同的精度，但需要增加学习率
解析：如果在训练时减少迭代次数，就能花费更少的时间获得相同的精度，但需要增加学习率。
代码块 1 4、Logistic regression（逻辑回归）是一种监督式机器学习算法吗？
A 是
B 否
正确答案是：A
解析：当然，Logistic regression是一种监督式学习算法，因为它使用真假标签进行测试。测试模型时，监督式学习算法应具有输入变量（x）和目标变量（Y）。
代码块 15、Logistic Regression主要用于回归吗？
A 是
B 否
正确答案是：B
解析：逻辑回归是一种分类算法，不要因为名称将其混淆。
代码块
16、是否能用神经网络算法设计逻辑回归算法？
A 是
B 否
正确答案是：A
解析：是的，神经网络是一种通用逼近器，因此能够实现线性回归算法。
代码块
17、是否可以对三分问题应用逻辑回归算法？
A 是
B 否
正确答案是：A
解析：当然可以对三分问题应用逻辑回归，只需在逻辑回归中使用One Vs all方法。
A Least Square Error
B Maximum Likelihood
C Jaccard distance
D Both A and B
正确答案是：B
解析：Logistic Regression使用可能的最大似然估值来测试逻辑回归过程
解析：Logistic Regression使用可能的最大似然估值来测试逻辑回归过程。
代码块
19、在逻辑回归输出与目标对比的情况下，以下评估指标中哪一项不适用？
A AUC-ROC
B 准确度
C Logloss
D 均方误差
正确答案是：D
解析：因为Logistic Regression是一个分类算法，所以它的输出不能是实时值，所以均方误差不能用于评估它。
代码块
1 10、如下逻辑回归图显示了3种不同学习速率值的代价函数和迭代次数之间的关系（不同的颜色在不同的学习速率下显示不同的曲线）。
AL1> L2> L3
B L1 = L2 = L3
CL1
D 都不是
正确答案是：C
解析：如果学习速率低下，代价函数将缓慢下降，学习速度过高，则其代价函数会迅速下降。
代码块
1、分析逻辑回归表现的一个良好的方法是AIC，它与线性回归中的R平方相似。有关AIC，以下哪项是正确的？
1、分析逻辑回归表现的一个良好的方法是AIC，它与线性回归中的R平方相似。有关AIC，以下哪项是正确的？
A 具有最小AIC值的模型更好
B 具有最大AIC值的模型更好
C 视情况而定
D 以上都不是
正确答案是：A，您的选择是：A
解析：AIC信息准则即Akaike information criterion，是衡量统计模型拟合优良性的一种标准，由于它为日本统计学家赤池弘次创立和发展的，因此又称赤池信息量准则。
考虑到AIC=2k-2ln(L)，所以一般而言，当模型复杂度提高（k增大）时，似然函数L也会增大，从而使AIC变小，但是k过大时，似然函数增速减缓，导致AIC增大，模型过于复杂容易造成过拟合现象。目标是选取AIC最小的模型，AIC不仅要提高模型拟合度（极大似然），而且引入了惩罚项，使模型参数尽可能少，有助于降低过拟合的可能性。
综上，我们一般选择逻辑回归中最少的AIC作为最佳模型。有关更多信息，请参阅此来源：www4.ncsu.edu/~shu3/Presentation/AIC.pdf
代码块
12、在训练逻辑回归之前需要对特征进行标准化。
A 是
B 否
正确答案是：B
解析：逻辑回归不需要标准化。功能标准化的主要目标是帮助优化技术组合。
代码块
13、选择Logistic回归中的One-Vs-All方法中的哪个选项是真实的。
A 我们需要在 n 类分类问题中适合 n 个模型
B 我们需要适合 n-1 个模型来分类为 n 个类
C 我们需要只适合1个模型来分类为n个类
D 这些都没有
正确答案是：A
解析：如果存在n个类，那么n个单独的逻辑回归必须与之相适应，其中每个类的概率由剩余类的概率之和确定。
代码块
14、使用以下哪种算法进行变量选择？
A LASSO
B Ridge
C 两者
D 都不是
正确答案是：A
解析：使用Lasso的情况下，我们采用绝对罚函数，在增加Lasso中罚值后，变量的一些系数可能变为零。
以下是两种不同的对数模型，分别为 $ \beta_{0} $和 $ \beta_{1} $。
2
3
4 对于两种对数模型（绿色，黑色）的 $ \beta_{0} $和 $ \beta_{1} $值，下列哪一项是正确的？
5 注：Y = $ \beta_{0} + \beta_{1} \times X_{0} $。其中 $ \beta_{0} $是截距， $ \beta_{1} $是系数。
A 绿色的 $ \beta_{1} $大于黑色
B 绿色的 $ \beta_{1} $小于黑色
C 两种颜色的 $ \beta_{1} $相同
D 不能说
正确答案是：B
解析： $ \beta_{0} $和 $ \beta_{1} $： $ \beta_{0}=0 $， $ \beta_{1}=1 $为X1颜色（黑色）， $ \beta_{0}=0 $， $ \beta_{1}=-1 $为X4颜色（绿色）
代码块
1 6、逻辑回归的以下模型： $ P(y=1\mid x,w)=g(w\theta+w1x) $ 其中 $ g(z) $是逻辑函数。在上述等式中，通过改变参数w可以得到的 $ P(y=1\mid x;w) $被视为x的函数。
A (0, inf)
B (-inf, 0)
C (0,1)
D (-inf, inf)
正确答案是：C
解析：对于从 $ -\infty $到 $ +\infty $的实数范围内的x的值。逻辑函数将给出（0,1）的输出。
代码块
17、下面是三个散点图（A，B，C，从左到右）和和手绘的逻辑回归决策边界。
2
3
AA
BB
CC
D 这些都没有
正确答案是：C
解析：由于在图3中，决策边界不平滑，表明其过度拟合数据
代码块
1 8、逻辑回归的以下模型： $ P(y=1\mid x,w)=g(w0+w1x) $ 其中 $ g(z) $是逻辑函数。
2 在上述等式中，通过改变参数w可以得到的 $ P(y=1\mid x;w) $被视为x的函数。
3
4 在上面的问题中，你认为哪个函数会产生（0,1）之间的p?
A 逻辑函数
B 对数似然函数
C 两者的复合函数
D 都不会
正确答案是：A
解析：对于从 $ -\infty $到 $ +\infty $的实数范围内的x的值。逻辑函数将给出 $ (0,1) $的输出。
A 1和3
B 1和3
C 1,3和4
D 5
代码块
1 10、下面是三个散点图（A，B，C，从左到右）和和手绘的逻辑回归决策边界。
2
3
4 假设上述决策边界是针对不同的正则化（regularization）值生成的。那么其中哪一个显示最大正则化？
AA
BB
CC
D 都具有相同的正则化
解析：因为正则化意味着更多的罚值和图A所示的较简单的决策界限。
代码块
1、下图显示了三个逻辑回归模型的AUC-ROC曲线。不同的颜色表示不同超参数值的曲线。以下哪个AUC-ROC会给出最佳结果？
A 黄色
B 粉红色
C 黑色
D 都相同
正确答案是：A
解析：最佳分类是曲线下区域面积最大者，而黄线在曲线下面积最大
代码块
-
2、假设你在测试逻辑回归分类器，设函数 $ H $为
-
下图中的哪一个代表上述分类器给出的决策边界？
$$ h_{\theta}(x)=g(\theta_{0}+\theta_{1}x_{1}+\theta_{2}x_{2}) $$
答案，因为当将x2=6的值放在等式中时，要使y=g（0）就意味着y=0.5将在线上，如果你将x2的值增加到大于6，你会得到负值，所以输出将是区域y=0。
A 0.5
B 1
C 都不是
正确答案是：B
解析：几率（odds）是事件发生不发生概率的比率，正面朝上概率为 $ \frac{1}{2} $和反面朝上的概率都为 $ \frac{1}{2} $，所以几率为1。
代码块
1 4、Logit函数（给定为l（x））是几率函数的对数。域x = [0,1]中logit函数的范围是多少？
A （-∞，∞）
B （0,1）
C （0，∞）
D （-∞，0）
正确答案是：A
解析：为了与目标相适应，几率函数具有将值从0到1的概率函数变换成值在0和∞之间的等效函数的优点。当我们采用几率函数的自然对数时，我们便能范围是-∞到∞的值。
代码块
15、如果对相同的数据进行逻辑回归，将花费更少的时间，并给出比较相似的精度（也可能不一样），怎么办？
2（假设在庞大的数据集上使用Logistic回归模型。可能遇到一个问题，Logistic回归需要很长时间才能训练。）
A 降低学习率，减少迭代次数
B 降低学习率，增加迭代次数
C 提高学习率，增加迭代次数
D 增加学习率，减少迭代次数
正确答案是：D
解析：如果在训练时减少迭代次数，就能花费更少的时间获得相同的精度，但需要增加学习率。
代码块
1 6、以下哪些选项为真？
A 线性回归误差值必须正态分布，但是在Logistic回归的情况下，情况并非如此
B 逻辑回归误差值必须正态分布，但是在线性回归的情况下，情况并非如此
C 线性回归和逻辑回归误差值都必须正态分布
D 线性回归和逻辑回归误差值都不能正态分布
正确答案是：A
A A
B B
C 两者
D 这些都没有
正确答案是：A
解析：A正确，因为损失函数随着对数概率的增加而减小
1、对于任意值“x”，考虑到 2 Logistic（x）：是任意值“x”的逻辑（Logistic）函数 3 Logit（x）：是任意值“x”的logit函数 4 Logit_inv（x）：是任意值“x”的逆逻辑函数 5 以下哪一项是正确的？ A Logistic (x) = Logit (x) B Logistic (x) = Logit_inv (x) C Logit_inv (x) = Logit (x) D 都不是 正确答案是：B
19、假设，下图是逻辑回归的代价函数，现在，图中有多少个局部最小值？
A1
B2
C3
D4
正确答案是：D
解析：图中总共有四个凹的地方，故有四个局部最小值
代码块
1 10、使用 high(infinite) regularisation时偏差会如何变化？，有散点图“a”和“b”两类（蓝色为正，红色为负）。在散点图“a”中，使用了逻辑回归（黑线是决策边界）对所有数据点进行了正确分类。
A偏差很大
B偏差很小
C 不确定
D 都不是
正确答案是：A
解析：模型变得过于简单，所以偏差会很大。