情報系

python

サーバーなど環境を移動した時に、Pythonの対応

コピー後、以下のようなエラーが出て実行できない。 基本は、OS上のPythonではなく、コピーした仮想環境下で実行すべきかと思う。 (OS上のPythonを汚さないため、できるだけ以前の環境を維持し、UpgradeもNG。)
Redash

オープンデータを使ったデータ分析結果 -その2(会派交付)-

新潟市のオープンデータを利用して、データ分析の実証実験を行います。 目指すことは、唯のデータを価値ある情報に加工し、利用者の知識を深め、知恵として生かす。 最終的には、この反響をAWS-Conperhendにかけて、インサイトや関係性を検出を行う。
shell

CSVファイルの整形処理(2) – 1カラムの中に、カンマを含む –

改行だけでなく、以下にあるカンマを含んだCSVファイルは、(1)での対応でもできないので、順番に対応します。 1.まず、カラムの改行を整える 2.””内の改行を修正する
docker

Twitter,RSSなど巡回して、タスク自動化ツールHuginnを使ってみる!(1)

Twitter,RSSなど巡回して、スクレイピングして色々通知など、Pythonでできる♬ とかあるけど、このGUIでサラサラと書けたらうれしい。 参考 Dockerの動作する環境をで以下を実行する (イメージを落として、コンテナを作成する...
データ分析

オープンデータを使ったデータ分析結果 -その1(議員名簿)-

新潟市のオープンデータを利用して、データ分析の実証実験を行います。 目指すことは、唯のデータを価値ある情報に加工し、利用者の知識を深め、知恵として生かす。 最終的には、この反響をAWS-Conperhendにかけて、インサイトや関係性を検出を行う。
shell

CSVファイルの整形処理(1) – 1カラムの中に、改行を含む –

改行のあるセルを含んだExcelファイルをそのまま、CSVで保存すると 1カラムの中に、改行を含んだCSVファイルになります。 これを修正します。
Postgres

Postgresデータベースへの道(その1)

基本は、Postgresデータベースを使って、テーブル作成し、CSVファイルをインポートするまで、 端的に言うと、新潟市Opendataをうまく使って公開してゆく取組のメモです。 まずは接続し、環境確認 $ psql -h 172.18.0...