打造自己的分析平台-Elasticsearch [part1]

2014-06-30, Monday

data

近年來大數據正夯！,新聞頻道人人都在喊革命！數據！
但是hadoop 不是每個企業可以養得起的

在分散式資料分析市場中有一個很夯的新平台 - Splunk [但是它一樣很貴,雖然有免費版可以玩,下次再來介紹]
目前看起來的趨勢是開始許多公司開始採用,Elasticsearch
譬如說這個例子：
git_search
如果你使用過github.這一頁的search頁面就是base on Elasticsearch做的

Elasticsearch + Kibana

Elasticsearch 你可以想像成 backend (api server) / Kibana 就是酷炫的frontend
elastic_view

接下來教你部署自己的 Elasticsearch 平台 (Base on Linux [Ubuntu] )

1
2
3
4
5
6
7
8
9


#step 1 - install jdk 7.0
sudo apt-get install openjdk-7-jre
#step 2 - download Elasticsearch
cd ~
wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.2.1.tar.gz
tar -xzvf elasticsearch-1.2.1.tar.gz
cd elasticsearch-1.2.1
#launch elasticsearch 背景執行
bin/elasticsearch &

如果看到上圖表示你的elasticsearch 安裝成功

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27


#install nginx
sudo apt-get update
sudo apt-get install nginx

#download kibana
wget https://download.elasticsearch.org/kibana/kibana/kibana-3.1.0.tar.gz
tar -xzvf kibana-3.1.0.tar.gz
cd kibana-3.1.0
cat config.js
# 設定裡面的這一行 設定你所要連接的 elasticsearch + port [這裡我們維持不變]
# elasticsearch: "http://"+window.location.hostname+":9200",
cd ..
sudo mkdir -p /var/www/kibana
cp -r kibana-3.1.0/* /var/www/kibana/

#edit nginx.conf
/etc/nginx/sit-available/default

#listen       8080;  #看你想開在什麼 port
#server_name  localhost;
#location / {
#  root   /var/www/kibana; #set up kibana folder
#  index  index.html index.htm;
#}

#重開nginx
service nginx restart

看到這個首頁之後表示設定完成

點選Sample Dashboard

以上是Elasticsearch + Kibana的設定過程,成功看到這個search page了
但是目前還仍然沒有資料,有時間我會介紹如何將資料導入