Keycatowo

词的分类

• 实词：名词、动词、形容词、状态词、区别词、数词、量词、代词
• 虚词：副词、介词、连词、助词、拟声词、叹词。

ICTPOS3.0词性标记集

n 名词

nr 人名

Keycatowo

import time
import random
import sys
from pathlib import Path, PureWindowsPath

for i in range(1):
    print("loop: ", i)
    
    import lib.score_function
    from importlib import reload

Keycatowo

Analysis flow

1. bwa mem alignment
2. samtools convert sam to bam
3. sambamba sort
4. sambamba mark duplication (markdup)
5. GATK Haplotype Caller
6. GATK GVCFs -> final vcf file
7. Annovar -- vcf to annovar input
8. Annovar -- table_annovar

Keycatowo

利用ssh在本機連接到Server端執行jupyter notebook來撰寫python程式

tags: Linux,Jupyter,python

背景說明

現在因為各種人工智慧的發展趨勢所以Python也成為了許多人剛入門寫程式的主要語言，而很多學校的實驗室都有架自己的Server。 平常可能都是用自己的筆電在寫code，那如果只是跑一些小東西可能還好，但如果要訓練比較大型的程式的時候可能會讓你等的非常崩潰。

那有沒有想過，==也許可以在Server上運行Jupyter來寫Python呢？==

Keycatowo

#!/bin/sh
mkdir -p output;
for i in ./*.mp3;
do
	ffmpeg -i "$i" -f wav "output/${i}.wav";
done
cd output;
rename 's/\.mp3\.wav/\.wav/' *
# find *.mp3|xargs rm -rm #

Keycatowo

# 根據url取得圖片並顯示
import requests
from PIL import Image
import matplotlib.pyplot as plt
response = requests.get(target_url)
img = Image.open(BytesIO(response.content)) # 將圖片Bytes轉換成檔案開啟
plt.imshow(img)

Keycatowo

# 讀取txt並進行簡單逐行處理
with open("filename.txt", "r") as f:
    text = f.read() # 一次讀取
    lines = f.readlines() # 按行讀取
data = [line.strip().split(",") for line in lines] # 去頭尾符號，以,分割成list

Keycatowo

import numpy as np

array = np.array([
    [1, "Apple", 10],
    [2, "Book", 15],
]) # example
np.save(arr=array, file='example.npy')
array_back = np.load('example.npy')

Keycatowo

# 讀寫pickle檔案
import pickle

# save
with open('example.pkl', 'wb') as f:
    # 記得是用dump不是save
    pickle.dump(file=f, obj=data) # file：檔案handle, obj：變數名稱

# read
with open('example.pkl', 'rb') as f:

Keycatowo

# 方法1：scikit-image
import skimage.io as skio # 安裝需要使用scikit-image
img1 = skio.imread('example.jpg')
plt.imshow(img1)

# 方法2：PIL
img2 = np.array(Image.open('example.jpg')) # PIL物件需要轉換才是np array
plt.imshow(img2)

# 方法3：cv2