上流SEが久しぶりに開発してみる日記

マネジメント専任システムエンジニアがなれないプログラミングをしてみる日記です。

pythonで2つのデータフレームを比較して差分の行を出したい!

ある日のデータと次の日のデータを比較して差分抽出したいです。

 

使いたいシーンとしては、日々スクレイピングしていて、差分行を抽出し、

新着情報としてメールとかlineするとかしたいのです。

 

調べてみると、compare関数があるとのこと。

 

f:id:sefather:20210814053851j:plain

compare

なんだこの結果は。。。。

 

扱いづらすぎる。。。。

 

差分列だけ?そもそも見方もわからん。。

 

 

 

f:id:sefather:20210814054621j:plain

compare2

 

色々試行錯誤すること3時間。。。

 

結局、aを主キーとすると

 

print(df1[~df1['a'].isin(df2['a'])])

 

これですね!

 

ふー。疲れた。。

 

pythonでのデータ抽出基礎はこちらを参考にしてください。

sefatherprogram.hatenadiary.jp

 

 

応用編はこちら。※時々拡張していきます。

sefatherprogram.hatenadiary.jp

 

これぐらいの抽出方法を理解するだけで、こんなwebアプリが作れます。

sefatherprogram.hatenadiary.jp

 

さらにデータ分析するとこんなことも。

ご参考まで。

sefathershiawase.hatenablog.com

 

sefathershiawase.hatenablog.com

 

sefathershiawase.hatenablog.com