Python－pandasモジュールの基本的な使い方2: 10 minutes to pandas

1. はじめに

今回は以前の記事の続きになります。

Python－pandasの基本的な使い方1: 10 minutes to pandas

Pythonのサードパーティパッケージであるpandasは、データを扱うための非常に優れたパッケージです。一方で機能が多岐にわたる分、使い方が覚えにくいところもあります。この記事ともう一つの記事ではpandas公式ライブライの「10 minutes to pandas」に沿ってpandasの使い方を解説しています。

各項目の通し番号も、前回の記事の続きとなるようになっています。

2. 10 minutes to pandas 続き

(5). マージ

ここで扱うのは、データに他のデータを連結したり、付加したりするメソッドです。

(5)-1. 連結

・concat()メソッド

df = pd.DataFrame(np.random.randn(10, 4))  #DataFrameオブジェクトの生成
pieces = [df[:3], df[3:7], df[7:]]   #バリューの分割
pd.concat(pieces)  #valueの結合

ここでは、単純にデータの分割->結合を行なっています。

戻り値

(5)-2. 結合

・merge()メソッド

left = pd.DataFrame({'key': ['foo', 'foo'], 'lval': [1, 2]})
right = pd.DataFrame({'key': ['foo', 'foo'], 'rval': [4, 5]})
pd.merge(left, right, on='key')  #keyを基準にDataFrameオブジェクトを結合させる

戻り値

left = pd.DataFrame({'key': ['foo', 'bar'], 'lval': [1, 2]})
right = pd.DataFrame({'key': ['foo', 'bar'], 'rval': [4, 5]})
pd.merge(left, right, on='key')  #もう1つの例

ここでは、fooとbarが一致しているので、カラムが追加される形になっています。

戻り値

(5)-3. 付加

・append()メソッド

#rowにDataFrameを付加
df = pd.DataFrame(np.random.randn(8, 4), columns=['A','B','C','D'])
s = df.iloc[3]
df.append(s, ignore_index=True)  #df.iloc[3]がインデックス8に付加されている

ここでは、新たにインデックスが追加されています。

戻り値

ここで登場したメソッド等は以下になります。

• concat()…データを結合させるメソッド
• merge()…DataFrameオブジェクトを結合させる
  • * 引数: left,right=DataFrameオブジェクト、on=結合の基準をインデックスかカラムかを指定
• DataFrame.append()…DataFrameにrowを付加するメソッド。
  • * 引数: ignore_index=付加するrowのラベルを使用するかどうか(Trueなら使用しない)

(6). グルーピング

groupbyメソッドでグループ単位で分割や適用、結合などができます。

.groupby()メソッド

df = pd.DataFrame({'A' : ['foo', 'bar', 'foo', 'bar', 'foo', 'bar', 'foo', 'foo'],
                   'B' : ['one', 'one', 'two', 'three', 'two', 'two', 'one', 'three'],
                   'C' : np.random.randn(8),
                   'D' : np.random.randn(8)})
df.groupby('A').sum()  #Aグループを同一バリューごとにカテゴライズし、各カラムの値を合計する

戻り値

df.groupby(['A','B']).sum()  #グループ化をA->Bで行う

戻り値

ここで登場したメソッド等は以下になります。

• DataFrame.groupby() …グループごとに沿った対応をするメソッド -> Gruoupby型
• GroupBy.sum()…グループに沿って合計を出すメソッド

(7). 再整形

ここでは、データの整形を行うメソッドを扱っています。

(7)-1. スタック

インデックスを複数重ね合わせるようなことができます。 

tuples = list(zip(*[['bar', 'bar', 'baz', 'baz', 'foo', 'foo', 'qux', 'qux'],
                    ['one', 'two', 'one', 'two', 'one', 'two', 'one', 'two']]))  #zip(*引数)で引数を展開する -> listでタプルをリストに変換
index = pd.MultiIndex.from_tuples(tuples, names=['first', 'second'])  #タプルのリストをインデックスに転換する
df = pd.DataFrame(np.random.randn(8, 2), index=index, columns=['A', 'B'])
df2 = df[:4]
df2

戻り値

上記のデータ構造をさらにマルチインデックスのようにします。
・stack()メソッド

stacked = df2.stack()  #DataFrame、Seriesのカラムをインデックスに入れ、マルチインデックスのような形にする
stacked

戻り値

first  second   
bar    one     A    0.427586
               B   -1.005260
       two     A    0.095713
               B    2.812249
baz    one     A   -0.244172
               B   -1.650703
       two     A   -0.789093
               B   -0.349003
dtype: float64

・unstack()メソッド

stacked.unstack()  #スタックされたDataFrame,Seriesをカラムのある状態に戻す

戻り値

(7)-2. ピボットテーブル

・pivot_table()メソッド

df = pd.DataFrame({'A' : ['one', 'one', 'two', 'three'] * 3,
                   'B' : ['A', 'B', 'C'] * 4,
                   'C' : ['foo', 'foo', 'foo', 'bar', 'bar', 'bar'] * 2,
                   'D' : np.random.randn(12),
                   'E' : np.random.randn(12)})
pd.pivot_table(df, values='D', index=['A', 'B'], columns=['C'])
#スプレッドシートスタイルのピボットテーブル(データの要約)を返す。(引数の意味:DataFrameであるdfのバリューDのみが対象、A・Bがインデックス、Cがカラム)

戻り値

ここで使用したメソッド等は以下になります。

• MultiIndex.from_tuples()…タプルのリストをマルチインデックスに変換する
• DataFrame.stacked()…カラムをインデックス相当に置き換え、マルチインデックスのようにするメソッド
• stucked DataFrame.unstacked()…スタックされたDataFrameをカラムのある状態にするメソッド
• pivot_table()…スプレッドシートスタイルのピボットテーブル(データの要約)を返す

(8). Time Series

Pandasでは、時間についてもこのモジュールで扱えるようになっています。

・resample()メソッド

rng = pd.date_range('1/1/2012', periods=100, freq='S')
ts = pd.Series(np.random.randint(0, 500, len(rng)), index=rng)
ts.resample('5Min').sum() #resample()…引数に合致する時間インデックスに会う情報を収集

戻り値

2012-01-01    25017
Freq: 5T, dtype: int64

・tz_localize()メソッド

rng = pd.date_range('3/6/2012 00:00', periods=5, freq='D')
ts = pd.Series(np.random.randn(len(rng)), rng)
ts_utc = ts.tz_localize('UTC')  #タイムゾーンを持ったawareな時間オブジェクトに変更
ts_utc

戻り値

2012-03-06 00:00:00+00:00   -0.311405
2012-03-07 00:00:00+00:00   -0.399318
2012-03-08 00:00:00+00:00   -1.052087
2012-03-09 00:00:00+00:00    1.913156
2012-03-10 00:00:00+00:00   -0.516693
Freq: D, dtype: float64

・uz_convert()メソッド

ts_utc.tz_convert('US/Eastern') #引数の地域のタイムゾーンに変更

戻り値

2012-03-05 19:00:00-05:00   -0.311405
2012-03-06 19:00:00-05:00   -0.399318
2012-03-07 19:00:00-05:00   -1.052087
2012-03-08 19:00:00-05:00    1.913156
2012-03-09 19:00:00-05:00   -0.516693
Freq: D, dtype: float64

・to_period()メソッド、to_timestamp()メソッド

#タイムインデックスの推移:月末基準(rng)->付きのみの表示(ps)->月初基準
rng = pd.date_range('1/1/2012', periods=5, freq='M')
ts = pd.Series(np.random.randn(len(rng)), index=rng)
ps = ts.to_period()  #Datatimeインデックスからperiodタイムインデックスに変更
ps.to_timestamp()   #月初日基準のdatetimeインデックスに変更

戻り値

2012-01-01    0.628367
2012-02-01   -0.418007
2012-03-01    0.302071
2012-04-01   -0.099849
2012-05-01    0.575034
Freq: MS, dtype: float64

・asfreq()メソッド

#タイムインデックスの推移:クオーター(prng)->クオーターの最初の日の9時
prng = pd.period_range('1990Q1', '2000Q4', freq='Q-NOV')
ts = pd.Series(np.random.randn(len(prng)), prng)
ts.index = (prng.asfreq('M', 'e') + 1).asfreq('H', 's') + 9  #PeriodIndexを特定の頻度期間に変更
ts.head()

戻り値

1990-03-01 09:00    0.705433
1990-06-01 09:00   -0.910949
1990-09-01 09:00   -0.280971
1990-12-01 09:00    1.644449
1991-03-01 09:00    2.460565
Freq: H, dtype: float64

ここで利用したメソッド等は以下になります。

• Series.resample()…引数に合致する時間インデックスでデータを再取得 -> Seriesオブジェクト
• Series.tz_localize(timezone)…引数のタイムゾーン情報を持つ時間オブジェクトに変更
• Seriestime.tz_convert(timezone)…引数のタイムゾーンの時間に変更
• Seriestime.to_period()…Datatimeインデックスをperiodタイムインデックスに変更
• Seriestime.to_timestamp()…月初日基準のdatetimeインデックスに変更
• period_range()…期間表示のタイムインデックスを返すメソッド -> PeriodIndex型
• PeriodIndex.asfreq()…PeriodIndexオブジェクトを特定のタイムインデックスに変換

(9). カテゴリー化

ここでは、カテゴリー化を行うメソッド等を行います。

・astype()メソッド

df = pd.DataFrame({"id":[1,2,3,4,5,6], "raw_grade":['a', 'b', 'b', 'a', 'a', 'e']})
df["grade"] = df["raw_grade"].astype("category")  #"raw_grade"のデータを"category"型に変換
df["grade"]

戻り値

0    a
1    b
2    b
3    a
4    a
5    e
Name: grade, dtype: category
Categories (3, object): [a, b, e]

・cat_categories属性

df["grade"].cat.categories = ["very good", "good", "very bad"]  #新しいカテゴリーを割り当て[a,b,c]に相当
df["grade"]

戻り値

0    very good
1         good
2         good
3    very good
4    very good
5     very bad
Name: grade, dtype: category
Categories (3, object): [very good, good, very bad]

・cat_set_categories()メソッド

df["grade"] = df["grade"].cat.set_categories(["very bad", "bad", "medium", "good", "very good"])  #新しいカテゴリーの割り当て[a,b,c]に相当
df["grade"]

戻り値

0    very good
1         good
2         good
3    very good
4    very good
5     very bad
Name: grade, dtype: category
Categories (5, object): [very bad, bad, medium, good, very good]

・sort_values()メソッド

df.sort_values(by="grade")  #gradeでのソート

戻り値

df.groupby("grade").size()  #gradeカテゴリーをサイズを出す

戻り値

grade
very bad     1
bad          0
medium       0
good         2
very good    3
dtype: int64

ここで使用したメソッド等は以下になります。

• Categorical()…カテゴリー変数を表すメソッド。 -> Categorical型
• DataFrame.astype()…pandasオブジェクトを特定のデータ型に変換
• Series.cat.categories…新しいカテゴリーの割り当て
• Series.cat.set_categories()…新しいカテゴリーの割り当て
• Series.sort_values(category)…指定したカテゴリーでのソート
• GroupBy.size()…特定グループのサイズを集計

(10). プロット

ts = pd.Series(np.random.randn(1000), index=pd.date_range('1/1/2000', periods=1000))
ts = ts.cumsum()
ts.plot()  #matplotlibを使ってグラフをプロット

戻り値

・cumsum()メソッド

df = pd.DataFrame(np.random.randn(1000, 4), index=ts.index, columns=['A', 'B', 'C', 'D'])
df = df.cumsum()
plt.figure(); df.plot(); plt.legend(loc='best')  #セミコロンは1行に複数の文を書く場合の記法(非推奨)
#plt.figure()…Figureオブジェクトの生成
#plt.legend()…図の中で利用する凡例(左下のもの)を表示するもの

戻り値

ここで使用したメソッドは以下になります。

• Series.plot()…matplotlibを用いてグラフにプロット
• Artistクラス…図のキャンバスをレンダリングするための抽象的な基底クラス
• Figureインスタンス…コールバックをサポートする
• plt.figure()…figureモジュール。プロットするすべての要素を含む、Artistクラスやfigureインスタンスを提供する
• plt.legend()…Legendモジュール。判例を表示させるためのもの。
  • 引数: loc=凡例の位置の指定
• cumsum()…累積和を表すメソッド

(11). 他ファイルからのデータの取得

ここでは、他のファイル形式からデータを取得するメソッド等を扱います。

(11)-1. CSV

・to_csv()メソッド

df.to_csv('foo.csv')  #DataFrameをcsvに書き込み
pd.read_csv('foo.csv')  #CSVファイルをDataFrameで読み込む

戻り値

(11)-2. HDF5

HDF5は、Hierarchical Data Formatの略で、階層化されたデータ群を取り扱うフォーマットです。

・to_hdf()メソッド

#扱い方がよくわからないため実行せず
df.to_hdf('foo.h5','df')  #HDF5ファイルへの書き込み
pd.read_hdf('foo.h5','df')  #HDF%ファイルの読み込み

(11)-3. Excel

・to_excel()メソッド

df.to_excel('foo.xlsx', sheet_name='Sheet1')  #Excelファイルへの書き込み
pd.read_excel('foo.xlsx', 'Sheet1', index_col=None, na_values=['NA'])  #Excelファイルの読み込み

ここで使用したメソッドは以下になります。

• DataFrame.to_csv()…DataFrameをCSVに書き込み
• read_csv()…csvをDataFrameとして読み込み
• DataFrame.to_hdf()…HDF5ファイルへの書き込み
• read_hdf5()…HDF5ファイルの読み込み
• DataFrame.to_excel()…Excelファイルへの書き込み
• read_excel()…Excelファイルの読み込み

4. まとめ

以上が10 minutes to pandasの概要となります。

データを扱うことに特化しており、色々な使い方ができそうですので、僕も色々と試していきたいと思います。また、githubに私が学習したjupyter notebookのファイルをあげていますので、こちらも参考にしていただければと思います。

• GAS(Google Apps Script)ー会社でGAS+Googleフォーム+スプレッドシートを使ってメール通知機能を備えた健康確認アンケートを無料で作成した話
• ブログデザインを変更するために行った勉強方法
• WordPress－dockerを使って本番環境と同じwordpressをローカルに構築する方法
• WordPress－外部リンク用ブログカードを自作するとき、リンク先のアイキャッチ画像をサムネ画像にする方法
• docker.errors.DockerException: Credentials store error に遭遇して解決した話