データフレームでのクロス集計(2項目間の組み合わせの数)する、 crosstab関数の使い方です。 import pandas as pd import numpy as np #データを作る data = [["A0",1],["A1",0],["A0",0],["A0",1]] df = pd.DataFrame(data=data, columns=['A','B']) df .…
データフレームからのデータ抽出の応用編です。 データフレームからのデータ抽出の応用編です。 まずは、2つのデータフレームを用いた抽出です。 2つのデータフレームで特定のキーが同じものだけを抽出します。 import pandas as pd import numpy as np #デ…
データフレームの抽出方法を整理します。 本当の基礎編です。 ###python の基礎② データフレーム抽出 import pandas as pd import numpy as np #データフレームから必要なデータを抽出する方法を整理します。 #データを作る data = [["A0","B0","C0",0],["A1…
pythonの勉強をしていくと、覚えるのが大変なので、 自分の備忘がてら基礎を整理していこうと思います。 今回はデータフレームの作り方を整理します。 データフレームとはpythonのpandasライブラリに含まれているオブジェクトの事です。 簡単に言うと2次元の…
去年の4月くらいから久しぶりにコーディングしてみて、 1年弱経ちました。 ここで作ったものを並べておくと ・食べログ評価順ソートツール ・sumoの新着物件自動lineツール ・中古物件の相場算出ツール(機械学習) ・先物オプション自動売買ツール ・外貨自…
前回以下で週次集計が簡単だって感動していました。 df.groupby(pd.Grouper(key="when", freq="W-MON", closed="left", label="left")).sum() でもkey項目(上記だとwhen)がindexになるんで、json出力するときとか扱いづらいので、 普通の項目として扱いたい…
週次、月次で集計したいなー #週次で集計df.groupby(pd.Grouper(key="when", freq="W")).sum() #月次で集計df.groupby(pd.Grouper(key="when", freq="M")).sum() 日付のkeyを指定して(今回はwhen)、freqをW(週次)、M(月次)でしていするだけ。 なんて簡…
ぜったいにもっと簡単にやり方とか関数があると確信していますが、 なかなか見つからなかったのでメモ。 データフレームの特定のカラムを一定の条件で検索したい。 その条件とは特定の文字列のリストがあって、それがふくまれるものを抽出するというもの。 …
久しぶりにプログラミングして、躓いたので更新します。 1画面に複数formを設けて、選択したformを送信する画面を作ろうとしました。 イメージは以下の通り。 <form> <input value="a"> <input type="submit"> <form> <input value="b"> <input type="submit"> <form> <input value="c"> <input type="submit"> bや、cのformを押しても、aがpostされてしまう現象にはまりました。 結果的には</form>を忘れて</form></form>…
jypyter notebookでグラフを出力する際に使うライブラリが、Matplotlib。 とても便利なのですが、タイトル等に日本語を使う際にフォントの登録が必要となります。 詳細なやり方はググってほしいのですが、~.ttcとつくフォントをインストールして、Matplotlib…
Cloud Functionsに関数を登録した後にテストをしたくて、用意されているテスト機能を使いたいときに困ったのでメモ。 pub/subの設定でテストをしようとすると、単純にインプットにしようとしているjsonをインプットすると、dataというキーが見つからなくてエ…
jqueryを使って、自分のサイトにグロナビメニューを作ろうと思ったのですが、 読み込みエラー。。 javascriptの読み込みのURLがhttpsであるべきところが、httpになっていた。。 過去のサイトを見るとhttpでもうまくいっていたらしい。 まあ、こういうことも…
前回頑張って画像出力してhtmlに埋め込もうとしましたが、動的コンテンツは制御が難しい。 ふと、ていうか、javascriptでいいのでは?と思い調べるといくらでもライブラリが出てくる。 Google chartを選択したら瞬殺で、 グラフ表示ができました。 いやーな…
GAE上にGO言語でWEBアプリケーションを作っています。 で、あるデータをもってきてグラフを生成したいなと思っています。 まずは画像ファイルを出力してそれを画面に表示する方式でいこうと思っています。 ライブラリはgonum.org/v1/plotを使用しようと考え…
GO言語で画面を作っているのですが、GCFで作ったJsonをGCS経由で表示しようとしています。 先日の記事のJsonをpythonのlines指定で作成したところ、GO言語の画面側で取得できなかったです。 ■Go言語側のロジック //GCSから取得 b := GetDataFromGCS("shiawas…
jsonをデータフレーム変換するときに、ぶつかりました。 jsonファイルって複数データになるとlines指定しないととても見づらい。 なのでlines指定をすると改行されて見やすくなります。 コマンド lines指定有り df_lines.to_json('df_lines.json',orient = '…
GAEでWEBアプリケーションを作って、 作ったWEB画面にGoogle Clund Storageにあるデータを表示するところで躓きました。 こんな感じで、Storageのファイルにアクセスしてテキストを返す関数を作りました。 //GCSからデータ取得func GetData(bucketname strin…
一瞬焦った話です。 Google Cloud上にアプリケーションのせてjsonファイルにデータを累積しています。 データはこんな感じ {"データ日付":"2021\/10\/12","値":"100","前日差分":10.0}{"データ日付":"2021\/10\/11","値":90,"前日差分":0.0}{"データ日付":"2…
データフレームのデータを1件ずつ処理したいのですが、 データフレームを行指定してデータを取得する必要があります。 今回は指定した行だけで完結せずに前後の行も参照しながら処理をしたいです。 調べてみるとやり方はいっぱいありそう。 汚いけどこんな感…
pythonでseleniumを動かしています。 また躓いたので共有。 ajaxとかjavascriptごりごりのサイトだと簡単にクリックできない場合があります。 だいたいは、 driver.find_element_by_xpath('パス').click() こんな感じでいけるんですが、クリックできないとい…
また、しょうもないミスの話。 seleniumでテキストボックスに数字を入れようとするとどうしても 先頭に0が入る。 何を調べもダメ。。。 コードはこう。 nedan1.send_keys('数字') 絶対あっている。 よく動きを見ると、 あれ・・・・ 画面表示したときに初期…
はい。seleniumもかなり苦戦しましたというお話です。 seleniumというパッケージ(ライブラリ?)を使うと、 簡単にhtmlの要素を指定して、submitしたり、テキスト取得したりできます。 が。。。早速苦戦しました。 苦戦ポイント① 別タブ、別ウインドウ 別タ…
今回も相当苦戦した重複削除問題を共有します。 ■やりたいこと ①スクレイピングで、データ取得 ②前回保存したGCP上のjsonデータを取得 ③①、②をマージして重複削除する ④結果をGCP上へjsonファイルとしてアップロード これで週次ぐらいで情報収集して、データ…
sumoのスクレイピングを検討していて、 3つの項目の最小値を取得したくなりました。 sumoの場合は、駅距離を3つまで登録できます。 順序にルールはないので、最寄り駅と最寄り駅までの距離を知るためには 住所1、住所2、住所3みたいな3項目を比較して最小…
pythonでニュースサイトをスクレイピングして、 特定の日付以降の新着ニュースをlineで通知したいと思っています。 こんな感じのロジックを考えました。 gist0f98b44e7fbd925b441df9cf47e86e09 でもエラーがでます。。。 TypeError: Invalid comparison betw…
ある日のデータと次の日のデータを比較して差分抽出したいです。 使いたいシーンとしては、日々スクレイピングしていて、差分行を抽出し、 新着情報としてメールとかlineするとかしたいのです。 調べてみると、compare関数があるとのこと。 compare なんだこ…
pythonでいろいろ開発したいのですが、まず悩むのが開発環境をどうやって準備するか。 昔は(今もかな)CとかC++とかだと環境変数のパス通したりとか、 なんだかんだめんどくさかったイメージ。 極論ではコマンドプロンプトでもいいんだけど、ということで検…
昔はあまり聞かなかったjson形式 pythonでjsonファイルをローカルにおいて取得しようと思いました。 ネットで検索すると import pandas as pd df=pd.read_json("list.json") これでいけると。 データフレームってのがあるんだなとか思いながら、 ローカルのl…
こんにちは。 システムエンジニアをしてるアラフォー男性です。 家族は妻と子供二人です。 このブログをはじめようと思ったきっかけは、 モノづくりがしたい! という思いが強くなったためです。 というのも、私は大手システム開発会社に勤めていまして、 こ…