【kaggle】いろんな果物を分類してみる

カグルのデータセットに、こんなんありました。果物と野菜の栄養成分表です。
野菜もありますが、ひとまず、果物について、分類してみようと思います。
ちょっと調べてみたのですが、果物と野菜を分類する明確な定義ってないんですって。
なので、このデータで果物とされている子たちを分類していきます。
教師なしデータなので、ここ『いろんなアルゴリズムの分類予測平面を見てみる』でも少し扱った
k平均法でやっていきます。

データの確認と編集

さて、いつもの連中をインポートして、CSVを読み込みます。

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
plt.style.use("ggplot")

df_s=pd.read_csv("fruits.csv")
df_s

infoはこんな感じ。

df_s.info()

52種の果物のデータが、22個のカラムで入ってます。
欠損値なしとは書いてますが、”-”こんなん入ってたり、数値だけどobject型だったりするので、
整えていかなあきません。まず、 energy (kcal/kJ) この子、2つの数字がobjectで入ってるので、
やっていきます。

その前に、まず、nameを別途置いときます。

df_name=df_s.iloc[:,:1]
df_name

そして、該当のとこを、

df_en=df_s["energy (kcal/kJ)"].str.split("/", expand=True)
df_en.columns=["energy(kcal)","energy(kJ)"]
df_en.head(10)

スプリットして、こう

これらが、objectなので、使用するkcalの方を数字に。

df_en["energy(kcal)"]=df_en["energy(kcal)"].astype(float,errors="raise")
df_en.info()

ほんでもってwater含め、ここから右を使うから、

df_data=df_s.iloc[:,2:]

こないして、

df_data=pd.concat([df_en["energy(kcal)"],df_data],axis=1)

エナジーくっつけて、

df_data=pd.concat([df_name,df_data],axis=1)

nameもくっつけとく。

ひとまず、こんなんできました。
”-”こんなん入ってるところを、NANにして、dropnaで削除。infoで確認。

df_data=df_data.replace("-",np.nan) 
df_data=df_data.dropna()

df_data.info()

52種から38種まで減りました。平均値で補完しようとも思いましたが、
ちょっと、まずいだろうということで欠損あるデータは削除にしました。
で、まだ、objectだらけなので、これらを数字に。

df_data["fiber (g)"]=df_data["fiber (g)"].astype(float,errors="raise")
df_data["sugars (g)"]=df_data["sugars (g)"].astype(float,errors="raise")
df_data["magnessium (mg)"]=df_data["magnessium (mg)"].astype(float,errors="raise")
df_data["potassium (mg)"]=df_data["potassium (mg)"].astype(float,errors="raise")
df_data["sodium (g)"]=df_data["sodium (g)"].astype(float,errors="raise")
df_data["vitamin A (IU)"]=df_data["vitamin A (IU)"].astype(float,errors="raise")
df_data["vitamin B1 (mg)"]=df_data["vitamin B1 (mg)"].astype(float,errors="raise")
df_data["vitamin B2 (mg)"]=df_data["vitamin B2 (mg)"].astype(float,errors="raise")
df_data["viatmin B3 (mg)"]=df_data["viatmin B3 (mg)"].astype(float,errors="raise")
df_data["vitamin B5 (mg)"]=df_data["vitamin B5 (mg)"].astype(float,errors="raise")
df_data["vitamin B6 (mg)"]=df_data["vitamin B6 (mg)"].astype(float,errors="raise")
df_data["vitamin E (mg)"]=df_data["vitamin E (mg)"].astype(float,errors="raise")

python先生からloc使いなさいよ、とアドバイスをいただきましたが、また勉強しておきます。
38種になったので、ここでもっかいnameを置いときます。

df_name=df_data.iloc[:,:1].reset_index(drop=True)

name以外をデータとして使うので、改めてこうします。

df_data_=df_data.iloc[:,1:]

これでデータの準備完了！

k平均法でやっていきますよってに

標準化しないといけません。

from sklearn.preprocessing import StandardScaler
scaler=StandardScaler()

df_data_std=scaler.fit_transform(df_data_)

k平均法をインポート。

from sklearn.cluster import KMeans

いくつに分けるかは、人が決めるのでした。エルボー法で妥当なところを見てみます。

sum = []

for i  in range(1,11):
    km = KMeans(n_clusters=i)
    km.fit(df_data_std)
    sum.append(km.inertia_)

plt.figure(figsize=(10,10))
plt.plot(range(1,11),sum,marker="o",color="blue",ms=15)
plt.xlabel("cluster")
plt.ylabel("sum")
plt.show()

比較的キレイに肘が見えてくれました。4ですね。ということで、

k_means=KMeans(n_clusters=4).fit(df_data_std)
k_means.labels_

こんなん出してくれました。あとは、データを整えます。

df_data_std=pd.DataFrame(df_data_std)
df_data_std.columns=df_data_.columns
df_data_std["labels"]=k_means.labels_
df_results=pd.concat([df_name,df_data_std],axis=1)

df_results.to_csv("fruits_results.csv")

標準化の時に、ndarray型になったdf_data_stdをデータフレーム型にし、
カラムを元に戻し、labelsカラムにk平均法のクラスタリング情報を格納し、
名前をくっつけて、resultsデータフレームにしました。
こいつをCSVで書き出し編集して、分類の解釈をしていきます。

k平均法の分類を解釈していく

まずは、クラス0の子たち。

38種中25種が入ってます、 このデータの見方だと、 わかりずらいですが、
【1.水分ばっかで栄養あんまりないグループ】
な感じです。
次、クラス1の子たち。

このクラス1種しかいなくて、デーツ（ナツメヤシ）です。22個の特徴量のうち、
8つの項目で最大値を持ってます。まさに、
【2.デーツグループ】
ですね。
次、クラス2の子たち。

子たち、と書きましたが、なんとこれも1種しかいないんです。
アボカドです。この子も最大値4つ持っています。
【3.アボカドグループ】
です。
最後、クラス3の子たち。

やはり、これだけ見ても、分かりずらいですが、残りの11種が属するのは、
【4.水分そんななくって、栄養多少はあるでグループ】
です。グアバとかチェリモヤとかキウイとかバナナ等々のそれっぽい子たちが入ってます。

もっとスマートなやり方あると思いますが、どうにかこうにかたどり着きました。
全く想像つきませんが、22次元空間に、
【1.水分ばっかで栄養あんまりないグループ】
【4.水分そんななくって、栄養多少はあるでグループ】
がなんとなく群を作っていて、めっちゃ遠くに、
【2.デーツグループ】
【3.アボカドグループ】
がポツンポツンとある、感じです。

果物の王様って、ドリアンだよなーと思ったんですけど、欠損値ありで消してしまってましたの。