学习机器学习相关的多个库与方法的使用环境.docx

《学习机器学习相关的多个库与方法的使用环境.docx》由会员分享，可在线阅读，更多相关《学习机器学习相关的多个库与方法的使用环境.docx（4页珍藏版）》请在第一文库网上搜索。

1、学习内容:概念理解，学习机器学习相关的多个库与方法的使用环境，并通过实例操作熟悉其具体 使用场景。数据获取数据来源：本地文件，服务器日志，或网站截取格式：大多情况为文本文件，有时包含图像、视频文件处理。Python库中获取:通过rest风格的API接口，python request库从GitHub的API中拉取数据：Import requestsr = requests.get(rr.json()返回json文档数据检查主要为用于检查数据的库与方法,暂时只提到各方法的简单应用，更多内容请在文档中查找。PandaS库:解析文件，数据读取、归类、处理。此处数据集为https:archive.ics

2、.uci.edu/ml/ datasets/lris 下的 iris.data 文件PandaS 文档：(http:PandaS.pydata.org/PandDS-docs/VerSiOn/0.17.1/)方法：Map：序列数据的修改df,class = df,class.map(,s-setosa,: SET, lIris-Virginica: ,VIR, Iris-versicolor: ,VER() dfApply：新列，不局限于单列数据操作df,petal area = df.apply(lambda r: r,petal length * r,petal width, axis=l

3、) df注：axis二1表示对行操作，axis = 0表示对列操作Applymap:对数据框中所有单元df.applymap(lambda v: np.log(v) if isinstance(v, float) else v)注：np.log()利用numpy库返回该值的对数Groupby:df.groupby(,class).mean()注：按照class，划分数据，并取每个class对应各列的均值。df.groupby(,class).describe)求个数、均值、标准差、最小值、25%, 50%, 76%、最大值可视化Matplotlib 库:绘图Seaborn 库： 绘图 (htt

4、p:Stanford.edu-mwaskomSoftWareseabornindex.html)建模Statsmodels 库：(http:StatSmOdelS利用前文数据建立简单的线性回归模型：import statsmodels.api as smy = df,sepal length:50 x = df,sepal width:50 X = sm.add_constant(x)results = sm.OLS(y, X).fit() print(results.summary()OLS Regression ResultsDep. Variable:Model:Method:Date:

5、Time:No. Observations:Df Residuals:Df Model:sepal length OLS Least Squares Sunf 11 Oct 2015 18:14:39 50 48R-squared:Adj. R-squared:F-statistic:Prob (F-statistic):Log-Likelihood:AIC:BIC:0.5580.54860.524.75e-102.0879-0.17593.648std err95.0% Conf. Int.constsepal width2.64470.69090.3050.0898.6607.7790.0

6、000.0002.0310.5123.2590.869Omnibus:Prob(Omnibus): Skew: Kurtosis:0.252Durbin-Watson:0.882 Jarque-Bera (JB):-0.110 Prob(JB):2.599 Cond. No.2.517 0.4360.80434.0Sepal Length = 2.6447 + 0.6909 Sepal Width R2 = 0.558Setosa Sepal Width vs. Sepal Length103540455.0花萼宽度SCikit-Ieam库：分类、回归、聚类、降维、模型选择和预处理（Pyhth

7、On机器学习包中的重 点库）分类器学习（库中分类器有多种，这里选择随机森林分类器）from sklearn.ensemble import RanclomForestCIassifierfrom sklearn.cross_validation import train_test_splitclf = RandomForestClassifier(max_depth=5, n_estimators=10)X = df.ix:,:4y = df.ix:,4X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.3)

8、clf.fit(X_train,y_train)y_pred = clf.predict(X_test)rf = pd.DataFrame(list(zip(y_pred, y_test), columns=1predicted, actual)rf,correct = rf.apply(lambda r: 1 if r,predicted = r,actual else 0, axis=l)rf代码理解:1 .导入随机森林分类器2 .将数据分为训练组与测试组(train_test_split会打乱数据先后顺序)3 .实例化分类器，5层判定深度10各决策树森林4 .创建X矩阵，y向量5 .数据

9、传递到train_test_split方法，该方法将数据打乱并划分为四个子集,X_train, X_test, y_train和y-tst0参数test_size为0.3,这数据集的30%分配给X_test和y_test部分, 其余分配到训练的部分X_train和y_train6 .使用训练数据拟合模型，使用测试数据测试方法，并计算模型的准确度(通过前四列“X矩阵”的数据，对数据的最后一列y进行预测)预测值实际值是否正确0Iris-VirginicaIris-Virginica11Iris-versicolorIris-versicolor12Iris-VirginicaIris-Virgin

10、ica13Iris-VirginicaIris-Virginica14Iris-setosaIris-setosa15Iris-VirginicaIris-Virginica16Iris-VirginicaIris-Virginica17Iris-versicolorIris-versicolor18Iris-versicolorIris-versicolor19Iris-setosaIris-setosa110Iris-versicolorIris-versicolor111Iris-versicolorIris-versicolor112Iris-versicolorIris-Virginica013Iris-versicolorIris-versicolor114Iris-setosaIris-setosa115Iris-setosaIris-setosa1rf correct.sum()rf,correct.count()输出准确度0.95555555555555556环境配置选用 Anaconda