2017-04-30

SQLメモ

SQLの実行順序イメージ図

blogs.itmedia.co.jp

Posgreの内部的なSQL読解順序

https://www.slideshare.net/MikiShimogai/postgre-sql-explain

2017-04-27

PythonからのTwitterAPI利用

参考にしたサイト

・基本的な使い方

・データフォーマットあり

TwitterAPI でツイートを大量に取得。サーバー側エラーも考慮（pythonで） | コード７区

必要ライブラリ

・OAuth認証

・MysqlDB

日付のフォーマット変換（TwitterAPIからdatetime型に変換してmysqldbでinsert）

http://qiita.com/kenmatsu4/items/23768cbe32fe381d54a2

re.compile()

文字列の前にrを付けるのが普通。そうすると、文字列中のバックスラッシュ文字をそのままバックスラッシュとして扱えるので、パターンの書き方が煩雑にならない。

import re
pattern = re.compile(r'3.*?7') # 3で始まり7で終わる最短の文字列

TwitterのAPI仕様。過去Tweetは3200件までしか取れないらしい（頑張れば可能）

dx.24-7.co.jp

日付は厄介なので必ずJSTに統一して比較する

import datetime
from pytz import timezone
from dateutil import parser

tweetCreatedAt = parser.parse(tweet['created_at']).astimezone(timezone('Asia/Tokyo'))

フォローユーザーの取得

osa030.hatenablog.com

Posgre設定

C:\Program Files\PostgreSQL\9.6\dataのpg_hba.confに以下を追記（他ホストからの接続を許可。posgresql.conf内の設定（listen_address、port）は修正不要だった）

host all all 192.168.0.0/24 md5

http://rina.jpn.ph/~rance/linux/postgresql/connect.html

Python Windowsの統合環境　Anaconda　PyCharm

http://pythondatascience.plavox.info/python%E3%81%AE%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB/python%E3%81%AE%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB-windows/

2017-04-08

データモデル

システム開発において、必要となるデータモデルは以下の3つ。

【概念スキーマ】
データベース化対象の業務とデータの内容を論理的なデータモデルとして表現したもの。概念スキーマを記述するために記号系にはリレーショナルデータモデルの他にも、ネットワークデータモデル、階層型データモデルなどがある。リレーショナルデータモデルでは表の正規化やCREATE TABLEによる表定義が概念スキーマに相当する。
【外部スキーマ】
概念スキーマで定義されたデータモデル上に利用者ごとの目的に応じた見方を表現したもの。リレーショナルデータモデルのビューやネットワークデータモデルのサブスキーマが外部スキーマに相当する。
【内部スキーマ】
概念スキーマで定義されたデータモデルを記憶装置上にどのような形式で格納するかを表現したもの。ファイル編成やインデックスの設定などが内部スキーマに相当する。

目的・特徴は以下の通り

概念データモデル
実務上必要なデータの集まりと関係を洗い出し、まとめたもの。
システム対象範囲の設定に使ったりする
システム上のデータは意識しない
アウトプットは機能分野単位などで大きく捉えたER図など

論理データモデル
システム上のデータの形を定める（ER図からリレーショナルモデルを作成後、正規化などをするイメージ）
大体はリレーショナルモデルを使う
DB製品はや処理効率は意識しない
DOAに基づく場合、テーブルを正規化、最適化、一般化、安定化のプロセスを踏む。
アウトプットはリレーショナルモデル（リレーショナルモデルの場合）

物理データモデル
HWやDB製品を含む実装方法を定める
Index、データ型、制約などを設定する

スキーマとは、何かの構造についての表現。DBの「構造」のこと
3層スキーマとは、3つの要素に分けてDBを定義する考え方（視点が違うイメージ。スキーマが違うと見ることができるViewが変わる）
3つのスキーマは独立しているため、各々の変更が他に影響しない
3層スキーマはいくつか定義があるが、最もメジャーなものは以下の通り

外部スキーマ
　ユーザー視点のDB
　DBの機能・IFを定義する
　RDBではビューに相当する

概念スキーマ
　開発者視点のDB
　実際のテーブル、リレーションなどを定義する
　データ独立性を実現する
　概念スキーマを定義する設計のことを論理設計と呼ぶ

内部スキーマ
　物理的視点のDB
　ファイル名、サイズ、分割方法などを定義する

qiita.com

2016-12-30

IS（イスラム国）

f:id:kaz0606:20161230112709p:plain

2016-12-27

Slack連携テスト

Slack連携システムのテスト

概要

　・Webスクレイピング

　・取得データをSlackに転送

システム構成

　・プラットフォーム：　Heroku

　・バージョン管理：　Git

　・Bot開発・実行フレームワーク：　Hubot

自動メッセージ配信のコマンド（以下コマンドで実行後放置）

　bin/hubot --adapter slack

SlackのBot(hubot)を作ってみる - Qiita

Hubotで定期タスクを動かす方法

Hubotで定期タスクを動かす - Qiita

2016-11-22

ブロックチェーン

ブロックチェーン技術を応用するメリット

データ記録のインフラとして使用することが可能。以下のメリットが挙げられる
　　セキュリティ。堅牢
　　なりすましが難しい（取引当事者の暗号署名が取引毎に行われる）
　　過去データ改ざんが困難（過去のデータを改ざんすると以降のすべてのブロックを改ざんしないと整合性が取れない。且つ同時に全DBの50%超を同時に攻撃しなければならない）
　　管理者の改ざんのような、外部から気付けない問題が発生しない
可用性
　　不稼働時間が存在しない
　　コスト削減（上記のようなセキュリティ・可用性の運用コスト）
仲介役を省くことができる
応用範囲が広い（取引記録を公開して良いもの：　融資、決済、保険、預金）