再生核巴拿赫空间上的非欧几里得支持向量机

发布时间: 2020-07-08 09:22:22

    针对基于1范数（无穷维时为ℓ¹ 范数）正则化的稀疏机器学习，本研究将基于欧几里得间隔的传统支持向量机推广到基于非欧几里得间隔的支持向量机，包括相关的算法和理论。 我们首先推广了非欧几里得线性支持向量机，包括了硬间隔与软间隔的情况。特别地，基于∞范数间隔的支持向量机可以通过带有稀疏性的1范数支持向量机求解。 接着我们展示了基于q范数间隔的支持向量机可以等价转换为p范数再生核巴拿赫空间上的配备了hinge损失函数的支持向量机，其中1/p+1/q=1. 这样一来，我们构造了非欧几里得支持向量机与再生核巴拿赫空间之间的联系。

    更进一步地，由于对稀疏性的关注，我们探究了1范数支持向量机分类器与ℓ¹ 范数再生核巴拿赫空间上的正则化网络能够产生稀疏解的原因。 基于一个使用凸分析理论得到的针对最小范数插值问题的表示定理，我们给出了一个稀疏表示定理。 它说明了使用ℓ¹ 范数再生核巴拿赫空间上的正则化网络可以得到一个稀疏的解，该解可以表示为一系列以自适应点为中心的核函数的线性组合，但它们的数量小于或等于训练点的数量。 关于如何寻找这些自适应点仍然是一个待解决的问题。

参考文献：

• [1] Ying Lin & Qi Ye, Support vector machine classifiers by non-Euclidean margins, MFC, (2020). link. doi.

• [2] Ying Lin, Rongrong Lin & Qi Ye, Sparse regularized learning in the reproducing kernel Banach spaces with the ℓ¹ norm, MFC, (2020). link. doi.