使用國網中心超級電腦台灣衫建置定序分析流程(一)

隨者二代定序主流方法的專利過期,相關廠商百花齊放,三代定序也逐漸成熟,定序本身的價錢再逐漸降低,之後的成本將會是分析和計算,以及儲存。可以看去年Nave Whiteford在他部落格41J Blog於去前九月有整理相關資訊

不過上面那個表格可能對一般人來說,只代表一件事就是定序技術有很多“工程”面會影響到價格和輸出。

那撇開實驗端,後續生物資訊流程如何保有彈性是一個很重要的問題。直接購買大型相關的電腦設備是一個好的方式嗎?或許要看能夠承擔的相關維護人力,以及相配套的需求,初期或許使用在地入門的設備搭配雲端分析資源是一個不錯的方式。

國家高速網路與計算中心在2017年開始逐步建置對外服務的超級電腦,在2018年台灣扇杉一號開始提供服務,緊接者陸續台灣杉二號和三號都上線服務,在世界超級電腦排名TOP500中,都排在前兩百名,且費用本身會比直接部署在Google雲端或是亞馬遜雲服務AWS便宜十倍以上,甚至特定情境下,對於學術領域還有折購,核銷上,其實對於國科會計畫經費或是廠商儲值都蠻方便的。

三座超級電腦在設計上有許多不同的地方,台灣杉一號以CPU計算為主,具有30000計算核心,檔案系統總容量為3.4PB,台灣杉二號的特色則是GPU計算上,有2016個NVIDIA Tesla V100 32GB GPU,算力排名目前最突出的,目前常聽到的台灣雲TWCC(Taiwan Computing Cloud)主要就是在台灣杉二號上面,有提供容器化服務的架構,台灣杉三號則是最新架構,算是針對多元科學計算做規劃,國網生科雲也是在台灣杉三號上面,不過以不同節點登入。

對於一開始沒有使用過HPC的人,其實在理解上會需要一些時間,但絕對是值回票價的技能投資。這邊簡單介紹入手的流程,可以簡單分成兩個部分:(1). 申請使用帳號與資格。(2). 實際登入使用

申請使用帳號iService

不管你是要這些系統的哪一個,不論是台灣杉一號、台灣杉二號、台灣杉三號、台灣雲TWCC或是國網生科雲,最簡單的方式其實是直接在iService計算資源服務網開通所有系統。

建置好會員帳號後,就可以開始使用相關服務。

第一個最重要的資訊就是你的主機帳號和OPT認證碼,這邊就在會員中心,再點選會員資訊,在主機帳號資訊這邊點進去,就會顯示自己被配置的主機帳號和OTP認證碼,這邊其實除了會員帳密外,還會設置主機帳密,這組帳密就是你登入超級電腦的帳密。

上面的主機帳號,就是你之後要登入超級電腦時的帳號名稱,是由系統自動給你的,下面則有一些OTP認證碼的產生機制,這則是每次登入超級電腦都會有的認證機制。

每個人在建置帳號後,其實都會有一個免費試用額度,在台灣杉系統中的運行方式,都是綁定所謂的計畫來作為計價和相關權限管理。

這部分則是可以點選會員中心->計畫管理->我的計畫,在還沒有另外儲值時,就會有一個試用計畫。如下面的列表,每個計畫都會有個計畫系統代號,這就會是你跑運算時,要提交的代號,這代號會決定你在哪個超級電腦和佇列有運算的權限。

超級電腦名稱台灣杉一號台灣杉二號台灣杉三號
操作資料使用說明使用說明使用說明
登入節點140.110.148.11
140.110.148.12
使用TWCC CLItwnia3.nchc.org.tw
生科雲登入節點(可調用GPU)
t3-c3.nchc.org.tw
資料傳輸節點140.110.148.21
140.110.148.22
使用TWCC CLIt3-x1.nchc.org.tw
t3-x2.nchc.org.tw
系統架構PBS
API
(像是Docker用法)
Slurm
登入範例ssh 主機帳號@140.110.148.11ssh 主機帳號@twnia3.nchc.org.tw
計價方式計畫預儲值
(最便宜)
隨用隨付
(整體最貴)
計畫預儲值
(彈性最多)

發表留言