読者です 読者をやめる 読者になる 読者になる

株価分析システムの運用参考サイト

Jenkinsを指定ユーザーで実行

pythonコマンドがシステムユーザーでは実行できない)

iyemon018.hatenablog.com

 

株価分析で参考にしたサイト

 

matplotlibで2軸描画

ukichang.hatenablog.com

 

 

SCIKIT-LEARNで最適なパラメータを決めるためにGRID SEARCHを使う

http://blog.tatsushim.com/?p=63

 

散布図作成

http://pythondatascience.plavox.info/matplotlib/%E6%95%A3%E5%B8%83%E5%9B%B3

 

matplotlibの文字化け

matplotlibで日本語 - Qiita

 

 

 

 

SQLメモ

 

SQLの実行順序イメージ図

blogs.itmedia.co.jp

 

Posgreの内部的なSQL読解順序

https://www.slideshare.net/MikiShimogai/postgre-sql-explain

 

 

PythonのTuple

 

タプルの列に対して処理

Series、DataFrameなど

sinhrks.hatenablog.com

 

DataFrameの概念イメージ

algorithm.joho.info

 

タプルの基本操作一覧

Pythonの数値計算ライブラリ NumPy入門 « Rest Term

 

ローソク足チャート作成時の参考(下記に入れるDataFrame作成はnp.arrayが元)

http://qiita.com/u1and0/items/1d9afdb7216c3d2320ef

 

DataFrameのテーブル結合

pandasの使い方(merge、join、concat編) - abcdefg.....

 

DataFrameのインデックスで行抽出

http://pythondatascience.plavox.info/pandas/%E8%A1%8C%E3%83%BB%E5%88%97%E3%81%AE%E6%8A%BD%E5%87%BA

 

 

 

SQLメモ

 

SQLの実行順序イメージ図

blogs.itmedia.co.jp

 

Posgreの内部的なSQL読解順序

https://www.slideshare.net/MikiShimogai/postgre-sql-explain

 

 

PythonからのTwitterAPI利用

参考にしたサイト

 

・基本的な使い方

・データフォーマットあり

TwitterAPI でツイートを大量に取得。サーバー側エラーも考慮(pythonで) | コード7区

 

必要ライブラリ

OAuth認証

・MysqlDB

 

日付のフォーマット変換(TwitterAPIからdatetime型に変換してmysqldbでinsert)

http://qiita.com/kenmatsu4/items/23768cbe32fe381d54a2

 

 

re.compile()

文字列の前にrを付けるのが普通。そうすると、文字列中のバックスラッシュ文字をそのままバックスラッシュとして扱えるので、パターンの書き方が煩雑にならない。

import re
pattern = re.compile(r'3.*?7') # 3で始まり7で終わる最短の文字列

 

TwitterAPI仕様。過去Tweetは3200件までしか取れないらしい(頑張れば可能)

dx.24-7.co.jp

 

日付は厄介なので必ずJSTに統一して比較する

import datetime
from pytz import timezone
from dateutil import parser

tweetCreatedAt = parser.parse(tweet['created_at']).astimezone(timezone('Asia/Tokyo'))

 

フォローユーザーの取得

osa030.hatenablog.com

 

 

Posgre設定

C:\Program Files\PostgreSQL\9.6\dataのpg_hba.confに以下を追記(他ホストからの接続を許可。posgresql.conf内の設定(listen_address、port)は修正不要だった)

host all all 192.168.0.0/24 md5

http://rina.jpn.ph/~rance/linux/postgresql/connect.html

 

Python Windowsの統合環境 Anaconda PyCharm

http://pythondatascience.plavox.info/python%E3%81%AE%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB/python%E3%81%AE%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB-windows/

 

 

 

データモデル

システム開発において、必要となるデータモデルは以下の3つ。

 

概念データモデル
論理データモデル
物理データモデル

 

目的・特徴は以下の通り

概念データモデル
実務上必要なデータの集まりと関係を洗い出し、まとめたもの。
システム対象範囲の設定に使ったりする
システム上のデータは意識しない
アウトプットは機能分野単位などで大きく捉えたER図など

 

論理データモデル
システム上のデータの形を定める(ER図からリレーショナルモデルを作成後、正規化などをするイメージ)
大体はリレーショナルモデルを使う
DB
製品はや処理効率は意識しない
DOA
に基づく場合、テーブルを正規化、最適化、一般化、安定化のプロセスを踏む。
アウトプットはリレーショナルモデル(リレーショナルモデルの場合)

 

物理データモデル
HW
DB製品を含む実装方法を定める
Index
、データ型、制約などを設定する


スキーマとは、何かの構造についての表現。DBの「構造」のこと
3
スキーマとは、3つの要素に分けてDBを定義する考え方(視点が違うイメージ。スキーマが違うと見ることができるViewが変わる)
3
つのスキーマは独立しているため、各々の変更が他に影響しない
3
スキーマはいくつか定義があるが、最もメジャーなものは以下の通り

 

外部スキーマ
 ユーザー視点のDB
 DBの機能・IFを定義する
 RDBではビューに相当する

概念スキーマ
 開発者視点のDB
 実際のテーブル、リレーションなどを定義する
 データ独立性を実現する
 概念スキーマを定義する設計のことを論理設計と呼ぶ

内部スキーマ
 物理的視点のDB
 ファイル名、サイズ、分割方法などを定義する

 

qiita.com