python サーバーなど環境を移動した時に、Pythonの対応 コピー後、以下のようなエラーが出て実行できない。 基本は、OS上のPythonではなく、コピーした仮想環境下で実行すべきかと思う。 (OS上のPythonを汚さないため、できるだけ以前の環境を維持し、UpgradeもNG。) 2022.03.31 pythonソフトウェア系データ分析プログラミング言語
Redash オープンデータを使ったデータ分析結果 -その2(会派交付)- 新潟市のオープンデータを利用して、データ分析の実証実験を行います。 目指すことは、唯のデータを価値ある情報に加工し、利用者の知識を深め、知恵として生かす。 最終的には、この反響をAWS-Conperhendにかけて、インサイトや関係性を検出を行う。 2021.05.31 Redashデータ分析情報系
shell CSVファイルの整形処理(2) – 1カラムの中に、カンマを含む – 改行だけでなく、以下にあるカンマを含んだCSVファイルは、(1)での対応でもできないので、順番に対応します。 1.まず、カラムの改行を整える 2.””内の改行を修正する 2021.06.07 shellデータ分析プログラミング言語
docker Twitter,RSSなど巡回して、タスク自動化ツールHuginnを使ってみる!(1) Twitter,RSSなど巡回して、スクレイピングして色々通知など、Pythonでできる♬ とかあるけど、このGUIでサラサラと書けたらうれしい。 参考 Dockerの動作する環境をで以下を実行する (イメージを落として、コンテナを作成する... 2022.03.14 dockermailMysqlpythonWebアプリデータ分析
データ分析 オープンデータを使ったデータ分析結果 -その1(議員名簿)- 新潟市のオープンデータを利用して、データ分析の実証実験を行います。 目指すことは、唯のデータを価値ある情報に加工し、利用者の知識を深め、知恵として生かす。 最終的には、この反響をAWS-Conperhendにかけて、インサイトや関係性を検出を行う。 2021.05.22 データ分析情報系
shell CSVファイルの整形処理(1) – 1カラムの中に、改行を含む – 改行のあるセルを含んだExcelファイルをそのまま、CSVで保存すると 1カラムの中に、改行を含んだCSVファイルになります。 これを修正します。 2021.05.22 shellデータ分析
Postgres Postgresデータベースへの道(その1) 基本は、Postgresデータベースを使って、テーブル作成し、CSVファイルをインポートするまで、 端的に言うと、新潟市Opendataをうまく使って公開してゆく取組のメモです。 まずは接続し、環境確認 $ psql -h 172.18.0... 2021.05.29 Postgresデータベースデータ分析情報系