C++基于特征向量的KNN分类算法
更新时间:2020年4月25日 17:26 点击:1932
K最近邻(k-Nearest Neighbor,KNN)分类算法,是一个理论上比较成熟的方法,也是最简单的机器学习算法之一。该方法的思路是:如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别。KNN算法中,所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。 KNN方法虽然从原理上也依赖于极限定理,但在类别决策时,只与极少量的相邻样本有关。由于KNN方法主要靠周围有限的邻近的样本,而不是靠判别类域的方法来确定所属类别的,因此对于类域的交叉或重叠较多的待分样本集来说,KNN方法较其他方法更为适合。
#include "stdafx.h" #include <iostream> #include <fstream> #include <sstream> #include <string> #include <vector> #include <set> #include <map> #include <cmath> using namespace std; //样本特征结构体 struct sample { string type; vector<double> features; }; //读取训练样本train.txt,训练样本格式:类型名+特征向量 void readTrain(vector<sample>& train, const string& file) { ifstream fin(file.c_str()); //file是存储希望读写的文件名的string对象,fin是读的流 if(!fin) { cerr<<"Unable to open the input file: "<<file<<endl; exit(1); } string line; double d=0.0; while(getline(fin,line)) //fin是读入流,getline从输入流fin读入一行到line { istringstream stream(line); //bind to stream to the line we read sample ts; stream>>ts.type; while(stream>>d) //read a word from line { ts.features.push_back(d); //在trains.features的末尾添加一个值为d的元素 } train.push_back(ts); //在train的末尾添加一个值为ts的元素 } fin.close(); } //读取测试样本test.txt,每行都是一个特征向量 void readTest(vector<sample>& test, const string& file) { ifstream fin(file.c_str()); if(!fin) { cerr<<"Unable to open the input file: "<<file<<endl; exit(1); } string line; double d=0.0; while(getline(fin,line)) { istringstream stream(line); //bind to stream to the line we read sample ts; while(stream>>d) { ts.features.push_back(d); } test.push_back(ts); } fin.close(); } //输出结果,为每一个向量赋予一个类型,写入result.txt中 void writeResult(const vector<sample>& test, const string& file) { ofstream fout(file.c_str()); if(!fout) { cerr<<"Unable to write the input file: "<<endl; exit(1); } for(vector<sample>::size_type i=0;i!=test.size();++i) { fout << test[i].type << '\t'; for(vector<double>::size_type j=0;j!=test[j].features.size();++j) { fout<<test[i].features[j]<<' '; } fout<<endl; } } //KNN算法的实现 void knnProcess(vector<sample>& test, const vector<sample>& train, const vector<vector<double> >& dm, unsigned int k) { for (vector<sample>::size_type i = 0; i != test.size(); ++i) { multimap<double, string> dts; //保存与测试样本i距离最近的k个点 for (vector<double>::size_type j = 0; j != dm[i].size(); ++j) { if (dts.size() < k) //把前面k个插入dts中 { dts.insert(make_pair(dm[i][j], train[j].type)); //插入时会自动排序,按dts中的double排序,最小的排在最后 } else { multimap<double, string>::iterator it = dts.end(); --it; if (dm[i][j] < it->first) //把当前测试样本i到当前训练样本之间的欧氏距离与dts中最小距离比较,若更小就更新dts { dts.erase(it); dts.insert(make_pair(dm[i][j], train[j].type)); } } } map<string, double> tds; string type = ""; double weight = 0.0; //下面for循环主要是求出与测试样本i最邻近的k个样本点中大多数属于的类别,即将其作为测试样本点i的类别 for (multimap<double, string>::const_iterator cit = dts.begin(); cit != dts.end(); ++cit) { // 不考虑权重的情况,在 k 个样例中只要出现就加 1 // ++tds[cit->second]; // 这里是考虑距离与权重的关系,距离越大权重越小 tds[cit->second] += 1.0 / cit->first; if (tds[cit->second] > weight) { weight = tds[cit->second]; type = cit->second; //保存一下类别 } } test[i].type = type; } } // 计算欧氏距离 double euclideanDistance(const vector<double>& v1, const vector<double>& v2) { if(v1.size() != v2.size()) { cerr<<"Unable to get a distance! "<<endl; } else { double distance = 0.0; for (vector<double>::size_type i = 0; i != v1.size(); ++i) { distance += (v1[i] - v2[i]) * (v1[i] - v2[i]); } return sqrt(distance); } } /*初始化距离矩阵,该矩阵是根据训练样本和测试样本而得, 矩阵的行数为测试样本的数目,列数为训练样本的数目, 每一行为一个测试样本到各个训练样本之间的欧式距离组成的数组*/ void initDistanceMatrix(vector<vector<double> >& dm, const vector<sample>& train, const vector<sample>& test) { for (vector<sample>::size_type i = 0; i != test.size(); ++i) { vector<double> vd; for (vector<sample>::size_type j = 0; j != train.size(); ++j) { vd.push_back(euclideanDistance(test[i].features, train[j].features)); } dm.push_back(vd); } } //封装 void xfxKnn(const string& file1, const string& file2, const string& file3, int k) { vector<sample> train,test; readTrain(train, file1.c_str()); readTest(test, file2.c_str()); vector< vector<double> > dm; initDistanceMatrix(dm, train, test); knnProcess(test, train, dm, k); writeResult(test, file3.c_str()); } // 测试 int main() { xfxKnn("train.txt", "test.txt", "result.txt", 5); return 0; }
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持猪先飞。
上一篇: C++ 编写DLL文件给易语言调用方法
下一篇: MFC实现连连看游戏之消子算法
相关文章
- vector是表示可以改变大小的数组的序列容器,本文主要介绍了C++STL标准库std::vector的使用详解,文中通过示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2022-03-06
- 这篇文章主要介绍了C++中取余运算的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2021-02-23
- 这篇文章主要介绍了C++ string常用截取字符串方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2020-04-25
- 本文通过例子,讲述了C++调用C#的DLL程序的方法,作出了以下总结,下面就让我们一起来学习吧。...2020-06-25
- 本篇文章主要介绍了C++中四种加密算法之AES源代码,小编觉得挺不错的,现在分享给大家,也给大家做个参考。...2020-04-25
- 整数拆分,指把一个整数分解成若干个整数的和。本文重点给大家介绍C++ 整数拆分方法详解,非常不错,感兴趣的朋友一起学习吧...2020-04-25
- 这篇文章主要介绍了C++中Sort函数详细解析,sort函数是algorithm库下的一个函数,sort函数是不稳定的,即大小相同的元素在排序后相对顺序可能发生改变...2022-08-18
- 这篇文章主要介绍了C++万能库头文件在vs中的安装步骤(图文),文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2021-02-23
- 这篇文章主要介绍了C++ bitset用法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2020-04-25
- 本篇文章小编并不是为大家讲解string类型的用法,而是讲解我个人比较好奇的问题,就是string 类型占几个字节...2020-04-25
- 这篇文章主要为大家详细介绍了C++ Eigen库计算矩阵特征值及特征向量,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2020-04-25
- 这篇文章主要介绍了C++ pair的用法实例详解的相关资料,需要的朋友可以参考下...2020-04-25
- 这篇文章主要介绍了VSCode C++多文件编译的简单使用方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-03-29
- 虽然C++11引入了智能指针的,但是开发人员在与内存的斗争问题上并没有解放,如果我门实用不当仍然有内存泄漏问题,其中智能指针的循环引用缺陷是最大的问题。下面通过实例代码给大家介绍c++中的循环引用,一起看看吧...2020-04-25
- 这篇文章主要给大家介绍了关于C++随机点名生成器的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2020-04-25
- map容器是C++ STL中的重要一员,删除map容器中value为指定元素的问题是我们经常与遇到的一个问题,下面这篇文章主要给大家介绍了关于利用C++如何删除map容器中指定值的元素的相关资料,需要的朋友可以参考借鉴,下面来一起看看吧。...2020-04-25
- 这篇文章主要介绍了C++ 约瑟夫环问题案例详解,本篇文章通过简要的案例,讲解了该项技术的了解与使用,以下就是详细内容,需要的朋友可以参考下...2021-08-15
- 这篇文章主要介绍了C++中cin的用法详细,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2020-04-25
- 本篇文章是对C++中的常见编译错误进行了详细的分析介绍,需要的朋友参考下...2020-04-25
- 这篇文章主要介绍了c++优先队列(priority_queue)用法详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2020-04-25