上流SEが久しぶりに開発してみる日記

マネジメント専任システムエンジニアがなれないプログラミングをしてみる日記です。

2021-08-01から1ヶ月間の記事一覧

データフレームで3つの数字の最小値の取得

sumoのスクレイピングを検討していて、 3つの項目の最小値を取得したくなりました。 sumoの場合は、駅距離を3つまで登録できます。 順序にルールはないので、最寄り駅と最寄り駅までの距離を知るためには 住所1、住所2、住所3みたいな3項目を比較して最小…

python データフレームでの日付比較

pythonでニュースサイトをスクレイピングして、 特定の日付以降の新着ニュースをlineで通知したいと思っています。 こんな感じのロジックを考えました。 gist0f98b44e7fbd925b441df9cf47e86e09 でもエラーがでます。。。 TypeError: Invalid comparison betw…

pythonで2つのデータフレームを比較して差分の行を出したい!

ある日のデータと次の日のデータを比較して差分抽出したいです。 使いたいシーンとしては、日々スクレイピングしていて、差分行を抽出し、 新着情報としてメールとかlineするとかしたいのです。 調べてみると、compare関数があるとのこと。 compare なんだこ…

pythonの開発環境(Jupyter Notebookって?)

pythonでいろいろ開発したいのですが、まず悩むのが開発環境をどうやって準備するか。 昔は(今もかな)CとかC++とかだと環境変数のパス通したりとか、 なんだかんだめんどくさかったイメージ。 極論ではコマンドプロンプトでもいいんだけど、ということで検…

pythonでjsonファイルを扱ってみよう!(ローカルのjsonファイルが読み込めない問題)

昔はあまり聞かなかったjson形式 pythonでjsonファイルをローカルにおいて取得しようと思いました。 ネットで検索すると import pandas as pd df=pd.read_json("list.json") これでいけると。 データフレームってのがあるんだなとか思いながら、 ローカルのl…

モノづくりって楽しいよね

こんにちは。 システムエンジニアをしてるアラフォー男性です。 家族は妻と子供二人です。 このブログをはじめようと思ったきっかけは、 モノづくりがしたい! という思いが強くなったためです。 というのも、私は大手システム開発会社に勤めていまして、 こ…