2020年2月16日 星期日

[野人獻曝] shell 下的一些解析工具

jq

一套可以解析 JSON 內容的工具,基本上還算好用。但在解析層次比較複雜的 JSON 或是要產生 JSON 物件時會非常的讓人想死!
基本用法:


jo

jq 雖然可以產生出 json 內容,但其語法各種煩躁。所以就有了 jo 這玩意。
基本用法:



yq

這個工具則是可以解析 / 產生 yaml 的工具。
基本用法:

2019年6月21日 星期五

[野人獻曝] 安裝 OpenResty

OpenResty 這東西基本上就是把 Lua 和 Nginx 結合在一起做成撒尿牛丸!

OpenResty 這東西基本上就是結合 Lua 和 Nginx 各自的優勢,
讓你可以直接用 Lua 寫程式讓 Nginx 直接執行,
從而避免像是要用 proxy_pass 丟到 node 或是 fastcgi_pass 丟到 PHP 執行這種等等等的狀況。

安裝方式說難也不難,只是要注意一下機器上要有這些東西:

  • make / gcc :編譯原始碼時需要的工具,有需要的話在 Ubuntu / Debian 可以下 apt-get install -y make build-essential,這樣就會把需要的編譯工具裝好了。
  • PCRE:Perl 用的正規式函式庫,這東西基本上裝了會比較方便
  • zlib:gzip 功能相關。老實說沒想到不裝的理由。沒有的話要下 apt-get install -y zlib1g-dev
上面的準備完成後,可以直接下載原始碼
用 tar 解壓縮並切換到該目錄後,
就可以直接下 ./configure && make && make install
跑完以後 nginx 和 OpenResty 的相關元件就完成安裝了。

不過要補充一下,
上述的指令是按照預設設定安裝 nginx 及相關模組,
其實也可以根據需求在 ./configure 加相應參數來設定 nginx 主程式路徑 / log 路徑,
這部分可以下 ./configure --help 參考可用的參數。

最後補充,其實可以參照這篇直接安裝 OpenResty 。
但因為我在實驗所以我就直接手動編譯安裝了,顆顆!


2019年4月12日 星期五

[野人獻曝] 動態載入 nginx 模組

因為某些原因想要不重新編譯 nginx ,
又想要用某個模組的功能,
所以就想到 nginx 可以動態載入模組的功能!

首先需要的東西如下:
  • 要使用的 nginx 版本必須為 1.9.11 以上......除非真的太舊否則這應該不是問題
  • 跟你目前使用版本相符的 nginx 原始碼(完整版本列表
  • 你想要使用模組的原始碼,要確保該模組可以使用動態載入功能

操作方法如下:
  • 打開你的 terminal 視窗,輸入 nginx -V ,這會列出當初編譯安裝時使用的參數,內容大概就是:configure arguments: --add-module=xxxx --with-pcre 之類的內容,請把 -- 後面的字串複製下來備用。
  • 將你稍早下載的原始碼解壓縮某目錄下,這裡就假設是 /my/nginx-source
  • 把你下載的模組原始碼解壓縮到某目錄下,這裡就假設是 /my/nginx-modules 
  • 切換到 /my/nginx-source,輸入 ./configure 加上剛才的 nginx -V 內容,最後多加 --add-dynamic-module=/my/nginx-modules 後按下 enter。如此就會根據原本的編譯參數再加上新設定的動態模組參數準備編譯。
  • 接著再輸入 make modules,就會開始編譯模組
  • 編譯完的模組會放在 /my/nginx-source/objs 下,你可以把需要的模組檔複製到其他地方備用。
  • 接下來打開你的 nginx 設定檔(通常在 /etc/nginx/nginx.conf),在最上方加入 load_module 模組檔路徑; 後重新啟動 nginx 就可以生效了。

2018年3月21日 星期三

[野人獻曝] 設定 AWS Elasticsearch Service

AWS 什麼錢都要賺,
所以他們就拿 Elasticsearch 來賺錢了,
對於不想自己管 Elasticsearch 服務的人,
只要簡單拿出信用卡解決問題就好了。

設定步驟其實很簡單,大概只有以下三個內容要填:

  • 設定這個 ES Instance 的名稱
  • 設定這個 ES Instance 要使用的機器規格及數目 / 空間類型 / 大小
  • 設定這個 ES Instance 要使用的存取規則
前兩點其實沒什麼,
至於第三點的部分就比較需要談了。

關於存取規則這部分,
如果是 AWS 初學使用者的話建議使用「Allow access from specific IPs」,
這樣就會只限定特定機器可以存取 ES,
後續要使用像是 Logstash 之類的東西同步資料會比較方便(因為不用做身份驗證)。

如果使用「Allow or deny access to one or more IAM users / AWS accounts」的話,
用 Logstash 同步的話就可能要用 logstash-output-amazon_es 這個 plugin 才有可能同步。
不過不知道為何我用這玩意就是會出問題,
也因為如此我才使用限定 IP 的方式來做,
這樣我就可以直接用 elasticsearch 這個 plugin 同步資料。

另外 AWS Elasticsearch Service 設定完後也會有設定好 kibana,
有需要可以再針對這部份善加利用。

2017年7月6日 星期四

[野人獻曝] 安裝 Jupyter

......懶得解釋 Jupyter 是什麼了,自己去 Google 吧!

如果你的機器上沒有 Python ,而且也沒有裝 pip 的話,
請自行安裝這兩樣東西!(爆死

安裝方法超簡單,一行指令搞定(Python2 時):
pip install jupyter 
跑完安裝步驟下個以下指令就可以啟動了:
jupyter notebook
然後照他的指示開啟 http://localhost:8888/?token=xxxxxxx 就能看到 Jupyter 畫面了。

===========全劇終=========== 

上面是安裝在自己機器上的狀況,
但是如果是要裝在遠端機器上的話就還有多做以下設定:
  • 增加密碼保護:否則就能讓不相關的人進你的主機惡搞
  • 修改設定檔:以便可以存取
增加密碼保護可以透過以下指令:
jupyter notebook password
接著會要求輸入密碼,這組密碼就會是登入 Jupyter 的根據。

之所以要修改設定檔的原因是因為 Jupyter 預設只提供本機存取,
所以只接受 localhost 或是 127.0.0.1 的 domain,
為了要能夠輸入外部 IP 存取 Jupyter ,才需要改以下這個設定檔:
家目錄/.jupyter/jupyter_notebook_config.py
通常剛裝完時都沒有這個檔案,所以要先透過以下指令手動產生:
jupyter notebook --generate-config
接著開啟上述的設定檔,找到以下兩個項目,移除前面的註解,並且修改成以下內容:
c.NotebookApp.allow_origin = "*"
c.NotebookApp.ip = "0.0.0.0" 
做完以上兩個步驟並重新啟動後應該就能夠在遠端存取了。

順帶一提:這份文件有提到設定檔中每個項目的作用說明,建議可以看看。


 
 
 
 

2016年4月6日 星期三

[野人獻曝] 愚人節玩笑 PHPFaaS

前陣子因為鬧出 npm 之亂
所以我有打趣著說要做一個玩具,

減少對檔案的依存。

基於這個想法,所以我做了個號稱 PHPFaaS廢物玩具。

基本上他的運作流程就是:

  • 呼叫 http://php.maid.tw/[函式名稱]
  • 將要傳進的參數列編成 json 格式,以 POST 丟過去
  • 後端接到 POST 來的內容後做一次 json_decode 後再使用 call_user_func_array 去呼叫指定函式並輸出結果

開發這個東西不算是個問題,但是還是要注意一下一些事情:
  • 基本上,為了安全起見,不可能開放使用所有的函式。所以要列一份白名單,列出可用的函式。
  • 有些函式的參數列會收到像是 STR_PAD_RIGHT 之類的常數,但是這個服務目前還沒辦法應對,所以有用到特定常數的話,就要自己想辦法找到那個常數代表的值才行。

2016年2月21日 星期日

[野人獻曝] 利用 IFTTT Maker 自訂自己的特殊需求(?)

大家應該都知道 IFTTT 是什麼樣的東西,
所以我就不多解釋了。

雖然一般而言,
我們確實只要在某個服務的狀態發生時,
才需要讓 IFTTT 幫我們做些事,
(像是我們收藏 Flickr 上某張照片時就自動下載到 Dropbox 之類的。)
但通常可以選的服務就是檯面上有名號的服務。

一旦要做些比較特殊的事時,
嗯......通常直覺下都是自己刻東西來做,
老實說有點麻煩啦......

所以後來 IFTTT 推出 Maker 這個玩意。
她可以接收來自使用者端的請求,
也可以把請求轉發到另外一個地方,
對某些特殊需求而言,
就不大需要額外刻東西。

以下簡介一下使用流程:

  • 首先先到 https://ifttt.com/maker 找到你的 API Key 並且記下來。
  • 接著你就可以到 Create Recipe 中選擇 Maker 後再選擇 Make a web request 開始新增你的食譜了。
    • 記得 Event Name ,這個東西會在呼叫時用到
    • 另外 Receive Request 只收以下這些參數:value1、value2 及 value3  這些參數,其他東西會無視。
    • 發出 request 直接使用 POST https://maker.ifttt.com/trigger/{Event Name}/with/key/{API Key}
  • 然後就看你要讓 IFTTT 接到哪裡即可。
    • 不過要注意一點:因為上面的 Request 只收 value[1-3] 這三個參數,所以你也只能在 Ingridents 選擇這三項東西來用。這個就比較麻煩一點......
使用大致上應該沒啥問題,
反正就是簡單的 POST 機制,
做些比較沒有敏感性的事情其實還蠻方便的。
不過要拿來控制你家的電氣系統就可能要再三思了(茶