［YahooPipes!］XMLをJSONに変換したい！！

xmlよりもJsonの方が好きです。

JavaScriptからデータを持ってくるとき、XMLHttpRequestだと例のクロスドメイン問題があるからね。

動的にscriptタグを作ってJSONPとかを埋め込むと便利なんです。

しかし、割りとxmlでしかデータを配信していないサービスが存在するのもまた、事実。

という訳で、xmlをJsonに変換するサービスを作ればいいじゃないかっ！

時間もないし簡単に作りたいじゃないかっ！

なんて、探していたらYahoo!Pipesってのがあるんですね。知らなかったよ。

マッシュアップをする時には、すごく便利そう。今回使うモジュールは,
-URLInput
-URLBuilder
-FetchData

のみ。アウトプットはノーカンだろJK...

出来たパイプは下の図の通り。すっげぇ！！　何もやってない！！

今回作ったモジュールたち

JSONへの変換だとかは、YahooPipes!のデフォルトの機能を使います。

URL

パラメータ
_reader:出力形式。JSONにしましょう。
xmlurl:XMLを吐き出すURL。WebAPIだとか色々。
_callback:コールバック関数。JSONPにしたいときに。

作ったもののレベル的には、本気で大したものじゃないですね。でも、必要だったんだからしかたない。

JSONの出力もYahooPipes!の機能ではなく自作するべき。いらん情報がくっついて来ているわけだし。

まあ,当面はこれを利用することになる。改造とかはそのうち・・・そのうち・・・

timeコマンドをパイプでつなぐ

Linuxのtimeコマンドをパイプとかで繋ぎたいんだよって、話。

time ls -la | grep sys

じゃ、だめです。timeは、標準エラー出力なんだ。そこで

time ls -la 2>&1 | grep sys

でも、だめなんだ。
timeの出力をリダイレクト

を、見るまで知らなかったパイプの仕様。

>1行全て実行した後に時間が出力されるの

とのこと。そこで

(time ls -la ) 2>&1 | grep sys

とするのが正解。

覚えておいて損は無いね。

Windowsタスクスケジューラとシェルスクリプトを使って、サーバーのバックアップを自動化したい

この記事を読んだ。

>PCのバックアップやデフラグなど、ソフト側でスケジュール化できるものは自動化を優先し

あー、やっぱりバックアップは自動化するべきなんだなぁ・・・。

家のサーバーのバックアップは手動で

1. VMWareESXi上で、仮想ハードディスクをコピー

2. サブマシンにコピー

3. 外付けハードディスクにコピー

を行なっている。基本的に週一で、土曜日に行う。

手動で、しかもサブマシンはLAN外には公開していないので外出時にはバックアップを取ることができないといえば、できない。

ちょっと、問題には思っていた。

という訳で、バックアップ処理の自動化を行うべくスクリプトを書く。

今回は、Cygwin上でSSHのリモートコマンドを実行し、最終的にサブマシンにコピーする部分までを一気に行う。

外付けハードディスクは、実は常時通電をしておらず、バックアップの時のみ手動で電源を入れている。この作業の自動化は今回は見送る。

と言うか、無理なんじゃないだろうか・・・？

これが、今回用意したスクリプト
backup.sh

backup.sh
#!/bin/sh

USER_NAME=user_name
HOST_NAME=host_name_OR_ip_adress
BACKUP_CMD=vmfs/volumes/DateStore1/backup.sh

TARGETS="Server1 Server2"

STORE_DIR=/cygdrive/G

delete_old_data(){
        ssh $USER_NAME@$HOST_NAME rm -rf /vmfs/volumes/DateStore2/*
}

delete_old_data

for target in $TARGETS; do
        ssh $USER_NAME@$HOST_NAME $BACKUP_CMD $target
done

scp $USER_NAME@$HOST_NAME:~/vmfs/volumes/DateStore2/* $STORE_DIR

delete_old_data

ま、これだけですね。
$BACKUP_CMDは事前に用意したVMWareESXiで仮想ハードディスクをコピーするためのコマンド。このサイトを参考に作った。

ちなみに、参考サイトではCRONを使って自動化を行なっている。というのも、別のNFS別のサーバーにコピーしたファイルを転送しているため。

今回は、サブマシンがWindowsなのでその手段がとれない（できるけど、面倒くさい）。

Winndowsと言うことで、自動化はタスクスケジューラを使う。

コントロールパネル→管理ツール→タスクスケジューラ

”基本タスクの作成”

から、名前と説明を入力し

トリガー：毎週
    毎週：開始日、間隔、曜日を設定。

操作：プログラムの実行
    プログラムの開始：sh.exeのパスをプログラム/スクリプトに、さっき書いたスクリプトのパスを、引数の追加（オプションん）に入力。
   
これで完了ですね。

設定が正しいかどうかは、追加したタスクを選択して実行をクリックする。

これで、バックアップも自動で行えるようになりました。

あとは、アップデートかなぁ・・・？サーバーたちのアップデートは毎晩行うように設定してありますが、Windowsマシンはどうでもないので。

これは、大したことでもないでしょうね。

GoogleAppEngindeで、「バルス数えるったー」を作りたかった

去る2011/12/09

日本テレビ、金曜ロードショーで放送された「天空の城ラピュタ」

言わずもがな、知られた「バルス」でTwitterやニコ動にDDos攻撃が行われた。

Twitterはどうやら、落ちてしまった模様。ニコ動は事前の告知通り耐えぬいたらしい。

私自身は、あんまりそう言うのに興味がないので一人でSkyrimをプレイしていた。

しかし、晩飯の弁当をもとめコンビニに出かけた最中あることを思いついた。「これから放送開始までに、何か面白いことできないかな・・・？」

この時点で夜18時。放送開始の3時間ほど前である。

さて、何ができるだろう。やっぱり、「バルス」に絡めたい。

Androidアプリだろうか。今からできたとして、配布をしても間に合わない・・・

WindowsPhoneアプリ？　こっちも時間までに認証が通って、配布に間に合うわけがない。

ならば、WEBアプリケーションだろうか。

たとえば、TwitterのStermaAPIを使って、ひたすら「バルス」のみを流し続けるTLとか。

StreamAPIなら使ったことも、コードもあるからどうにかなるだろうか。だが、どこで動かす？

Ummmmmm


色々と考えて、最終的に「ある程度リアルタイムに、『バルス』を数えられないだろうか」と言う結論に。

GAEを使えば、なんとかできそうだ。よし、そうしよう。

晩飯をいそいでかき込んで設計もそこそこにコーディング。

仕様としては
・10分おきにTwitterAPIにアクセスし、「バルス」で検索

・検索結果件数を、検索結果総数として加算していく。

・加算した結果を、Twitterでつぶやく。

と言う物。

で、結論から言うと、放送までに間に合わなかった。結局Twitterでつぶやく部分で何かが起こっていたらしい。

正しくログを取ればもしかしたら、解決できたかもしれないが、そんな時間もなかった。

自分の力の未熟さも知ったが、同時にパッと思いついて、パッととりかかる面白さも体験できた。いい経験だ。

今回は、GitHubでコードを公開はしない。もう少し手を加えてもっと自由に使えるものにした上で公開をするかもしれない。

以下にコードの一部と、解説を公開する。

 public void doGet(HttpServletRequest req, HttpServletResponse resp)
   throws IOException {
  Barusu barusu;
  Counter count = null;
  // 以前に起動をしたことがあるかどうか
  if ((barusu = DatestoreManager.loadData()) != null) {
   // 起動したこと有り。
   // 検索のクエリに、SinceIDを指定する
   String json = getTweets(barusu.getMinID());
   Result result = JSON.decode(json, Result.class);
   int c = result.getResults().size() + barusu.getCount();
   int minId = result.getMax_id().intValue();
   DatestoreManager.updateData(new Barusu(minId, c));
   count = new Counter(c);
  } else {
   // 起動したことなし。
   // 検索のクエリは、キーワードのみ
   String json = getTweets(0);
   Result result = JSON.decode(json, Result.class);
   int c = result.getResults().size();
   int minId = result.getMax_id().intValue();
   DatestoreManager.saveData(new Barusu(minId, c));
   count = new Counter(c);
  }

  resp.setContentType("text/javascript");
  resp.getWriter().println(JSON.encode(count));

  try {
   tweetCount(count);
  } catch (TwitterException e) {
   // TODO Auto-generated catch block
   e.printStackTrace();
  }
 }

GETリクエストを受けて、このメソッドが呼ばれる。

cronを使って、何度も起動をするので、起動履歴をチェックする必要がある。今回は、データストアにデータがあるかどうかで判断を行った。

処理は
1.検索
2.結果（JSON)を保存
3.データストアに保存

そして、JSON形式で出力し、Twitterでつぶやくという物。

JSONの解析にはJSONICを、Twitterでつぶやく部分は、Twitter4jを利用させていただいている。

どうやら、つぶやくための tweetCount で何かが起こっているらしいが、TwitterException　をCatchすることができなかった。

今後の展望としては、

UserStreamAPIを利用して、自分のTL上の「バルス」をカウントして、JavaScriptのDOM要素を利用してリアルタイムに更新をするタイプのものを作ってみたい。

しかし、その場合30秒制限のあるGAEでは利用ができないと思う。帯域制御とかを無視してAndroidなんかで実装をするのも面白いかもしれないが。

今後も、こういった「思いついて、すぐやる」を試してみたい。

JSONGen JSON文字列からJavaのコードを作りたい

WebAPIなんかを利用する際、JSON文字列を取得し解析し、JAVAのクラスとして利用することは割とある。

データの量が少ないものならば良いが、多くなってくると自分でコードを書くのが面倒くさくなる。

そんなとき、このようなサービスがあった。


JSONGen

使い方は簡単、URLにWebAPIのリクエストを書けばいい。

折角なので試してみよう。

URLを
http://express.heartrails.com/api/json?method=getAreas

とし、パッケージ名、クラス名を適当につける。

また、Use Java 5 Genericsにチェックを付ける。


次のようなJAVAのコードが得られる。

package tets;

import java.util.List;

public class Result1{
    private Response response;

  public Response getResponse(){
  return this.response;
 }
 public void setResponse(Response response){
  this.response = response;
 }
}

package tets;

import java.util.List;

public class Response{
    private List area;

  public List getArea(){
  return this.area;
 }
 public void setArea(List area){
  this.area = area;
 }
}

これは便利。

ただし、JSONにJavaの予約語を利用している場合は注意。問答無用で変数が作られるので、困ったことになる。

その場合は、利用しているライブラリによって異なるが例えばJSONICならアンダースコアをつけることで回避できる。

何にせよ便利。

HTM5とPHPで作るインタラクトタテカン

今年度の調布祭での企画その２

TwitterのUserStreamAPIを利用して、適当に更新される立て看板を作ろう！　という企画。

折角なので、HTML5準拠のJavaScript、CSSを,HTMLを利用した、つもり。

こちらもGitHubにアップロードしている。処理のメインとなるPHPとJavaSctiptがメイン。HTMLとかはご自分で。


TwitterStreamingSignBoard

簡単なシステムの動作図を描いてみて、今年度の冊子に載せてみたりした。

PEARのOAuthの使い方がよく分からなくて、ソースコードを読みまくってどうにかしたとか、いい経験だったね、ホント。

実質的なコーディング時間は半日程度だったのではないかな？

ちなみに最初はStreamingAPIのFilterを利用していた。でも、全体の1%（？）しか取得しないので、ほとんどお目当てのTweetを取ることができず断念。

OAuth認証で詰まってたときは、HomeTimelineを定期更新すればいいじゃないか！！　って言われてたけど、意地と根性でどうにかした。

やっぱり、APIやライブラリのリファレンスが読める程度の英語力が必用だな、と思う今日この頃。

SSHサーバーの構築

踏み台用SSHサーバーを作る
例によって,ScientificLinuxです.
I.構成
イメージとしては,
SSHサーバーに,su可能なユーザー(house-gate)を一人追加し,そいつにログインする.

LAN内のマシンは全て公開鍵認証だが,house-gateには鍵を持たせない.

LAN内のマシンにアクセスするには,ポート転送を行う必用がある.

SSHのデフォルトのポートを変更する.

一定回数アクセスに失敗すると,/etc/hosts.denyに追加され,アクセス不可になる.

SSH意外のLAN外からのアクセスは全て遮断.


と言ったところだろうか.
II.実行
1.ユーザの追加.
いつもどおり,useraddコマンドとpasswdコマンドで.今回は特に設定を変更しない.
ただし,このユーザにログインする方法も公開鍵認証限定とするので,クライアント候補のマシンは鍵の交換を行う必要がある.

2.SSHDの設定変更
Port Port番号

Protocol 2

PermitRootLogin no

RSAAuthentication yes
PubketAuthentication yes
AuthorizedKeysFile .ssh/authorized_keys

PasswordAuthentication no
PermitEmptyPasswords no

AllowGroups wheel


iptables_setting.sh
#!/bin/bash

service iptables stop

iptables -F

iptables -A INPUT -i lo -j ACCEPT

iptables -A INPUT -s 192.168.1.0/24 -p icmp --icmp-type echo-request -j ACCEPT

iptables -A INPUT -p tcp --dport PORT -j ACCEPT

iptables -A INPUT -p tcp --syn -j DROP

service iptables save

service iptables start

この状態でアクセスが可能なことを確認.
III.セキュリティ
次に,ログイン失敗回数制限の設定
1.リポジトリの追加
/etc/yum.repos.d/sl-riken.repo

[riken]
name=Scientific Linux $releasever - $basearch
baseurl=http://ftp.riken.jp/Linux/dag/redhat/el6/en/$basearch/dag
gpgcheck=1
enabled=0
gpgkey=http://dag.wieers.com/packages/RPM-GPG-KEY.dag.txt

# yum -y install rpmforge-release
# yum -y install epel-release
# yum -y install atrpms-repo

2.パッケージの追加
#yum -y install python python-devel
#yum -y install deneyhosts

3.設定の変更
#vi /etc/denyhosts.conf
PURGE_DENY =   
#拒否する時間.空欄なので,永久に拒否.
DENY_THRESHOLD_INVALID = 1
#存在しないユーザへのログイン拒否するまでの回数.1回で拒否.
DENY_THRESHOLD_VALID = 3
#存在するユーザへのログイン拒否するまでの回数.3回で拒否.
DENY_THERSHOLD_ROOT = 1
#ROOTログインを拒否するまでの回数.1回で拒否.

4.デーモンの起動
/etc/rc.d/init.d/denyhosts start
chkconfig denyhosts on

WEBサーバーの公開まで:iptablesとSELinux

カーネルパラーメタの設定を行う

#vi /etc/sysctr
#pingのブロードキャストに反応しない.
net.ipv4.icmp_echo_ignore_broadcasts = 1

#不正なICMPエラーの無視
net.ipv4.icmp_ignore_bogus_error_responses = 1

#SYN　Cookiesの有効化
net.ipv4.tcp_syncookies = 1

#ICMPリダイレクトの無視
net.ipv4.conf.all.accept_redirects = 0

#パケット転送を行わない
net.ipv4.ip_forward = 0

#ソースルーティングパケットの破棄
net.ipv4.conf.default.accept_source_route = 0

上記の設定の有効化.
#sysctl -p

iptablesの設定を考える.
1.pingはローカルエリア内の物のみを受け付ける
2.SSHも同様
3.ローカル外のネットワークからの接続は,HTTP意外は全てDrop
#!/bin/bash

#
#stop iptables
#
service iptables stop


#
#filter reset
#
iptables -F

#
#allow local loop back
#
iptables -A INPUT -i lo -j ACCEPT

#
#1. allow 'ping' command from local net wark
#
iptables -A INPUT -s 192.168.1.0/24 -p icmp --icmp-type echo-request -j ACCEPT

#
#2. allow 'secure shell' from local net word
#
iptables -A INPUT -s 192.168.1.0/24 -p tcp --dport 22 -j ACCEPT

#
#3. allow 'http' from word wide web
#
iptables -A INPUT -p tcp --dport 80 -j ACCEPT

#
#drop another tcp packets
#
iptables -A INPUT -p tcp --syn -j DROP

#
#save setting
#
service iptables save

#
#start iptables
#
service iptables start


SELinuxの設定
ユーザーを追加して,Apache入れて,CGI許可して,ユーザーディレクトリを許可する

今回は,NFSを使ってディレクトリの共有は行わず,以前の環境のファイル類をrsyncを使って転送した

$rsync -avz -e ssh ~/ server:~/

まあ,こんなことをやったので,.ssh以下もコピーされたりしてちょっと焦ったけどorz

httpdを立ち上げても,403が出て接続不可能.原因はおそらくSELinux,と言うことで一旦無効にしてみる
#setenforce permissive

エラーが解消されることを確認.

# getsebool -a | grep httpd | grep home
httpd_enable_homedirs --> off
# setsebool -P httpd_enable_homedirs 1
# getsebool -a | grep httpd | grep home
httpd_enable_homedirs --> on

最後に,ラベルの張替えを行う
$restorecon -R ~/

これで,接続完了.

SELinuxに関しては（も？）知識が全く足りていない.半分以上「何だかよく分からないけど,動いている」状態.

非常に危険.

今宵は,ここまで.
参考サイト
2done.org Apacheのmod_userdirを使う



----追記----

Wikiのパーミッションの変更に関してちょっと詰まった.

ホームディレクトリのパーミッションを変更しなかったのが原因.

あとは,参考サイトの通りの設定と
/plugin/code
のパーミッションを
755
に,所有者,グループをrootに.

参考サイト
PukiWikiをお引越し

NFSでホームディレクトリの共有設定

ネットワークの再構築計画で,サーバーの分割を行うことになった.

しかし,一つのサーバーに複数のユーザーがいて,またその数だけホームディレクトリが存在するのは,管理の面でも非常に面倒くさいと思う.

そこで,NFSを利用してホームディレクトリの共有を行う。

サーバーは,
CentOS5.6 final

クライアントは
ScientifcLinus 6.1

ちなみに,今後導入するOSは,基本的にScientificLinuxとなっていく予定だ.

以下,手順.

nfsの設定
サーバー
1:パッケージのインストール
#yum -y install nfs-utils portmap

2:サービスの起動
#/etc/rc.d/init.d/portmap start
#/etc/rc.d/init.d/nfslock start
#/etc/rc.d/init.d/nfs start

3:アクセス制御
#vi /etc/hosts.allow
portmap : 192.168.1.0/255.255.255.0

4:共有設定
#vi /etc/exports
/home/---- *.ドメイン(rw)


◎オプション
--参考サイトを参考のこと

5:設定の更新
#exportｆｓ -ra

6:確認
#showmount -e

クライアント
1:パッケージインストール
#yum -y install nfs-utils

2:デーモン起動
#/etc/rc.d/init.d/rpcbind start
#/etc/rc.d/init.d/nfslock start

3:マウント
#mount -t nfs ホスト名:/home/---- /home/----

後は、ユーザーIDを指定してユーザーの追加を行う.

クライアントで
mount.nfs が無かったため詰まり,
rpcbindの起動が必用なことを知らなかったため,詰まった.

これで,ホームディレクトリの共有ができた.

ちなみに,今回追加設定を行ったユーザーは,管理用のユーザー.

WEBサーバーの機能移行のためには
1:WEBサーバー用のユーザー
2:SFTP用のユーザー

が必用（たぶん、うちの環境だけ）

また,nfsクライアント側でfstabの設定や,ランレベルの設定,そして、起動順の設定を変更しなければならない.

参考にしたサイト
NFSの設定/Server Config
NFSサーバの設定Linux
Linux 新規ユーザーの追加

ネットワークの構成について考える

現状

-ルーター --- サーバー1(WEB,SSH,VPN,Samba)
                |
                --サーバー2(SSH)
                |
                --クライアント群

サーバー1のWEBページ関連の内容を,サーバー２に毎週バックアップを取って運用している.

しかし,管理の面からサーバーで提供するサービスをサーバー毎に分割し,ログを一括でまとめたほうが

・セキュリティ
・ログ監視
・冗長性

などの点で良いのでは？　と妄想。

まずは,WEBサーバーを分離から実行。

ホームディレクトリを、統括用のサーバーに作ってWEBサーバーと同期.

LDAPサーバーの導入も検討(LDAPの実態調査も）