2021-09-05から1日間の記事一覧
今回も相当苦戦した重複削除問題を共有します。 ■やりたいこと ①スクレイピングで、データ取得 ②前回保存したGCP上のjsonデータを取得 ③①、②をマージして重複削除する ④結果をGCP上へjsonファイルとしてアップロード これで週次ぐらいで情報収集して、データ…
今回も相当苦戦した重複削除問題を共有します。 ■やりたいこと ①スクレイピングで、データ取得 ②前回保存したGCP上のjsonデータを取得 ③①、②をマージして重複削除する ④結果をGCP上へjsonファイルとしてアップロード これで週次ぐらいで情報収集して、データ…