自由に生きたい大学生のブログ

思いついたことを書いていきます。

【python】自然言語処理100本ノックやってみた!【05本目】

演習問題が載っているサイトはこちらです!

言語処理100本ノック 2015

05. n-gram

与えられたシーケンス(文字列やリストなど)からn-gramを作る関数を作成せよ.この関数を用い,"I am an NLPer"という文から単語bi-gram,文字bi-gramを得よ.


N-gramとは
単語、または文章をN文字ごとに分解したもの。
こちらのサイトを参考にしました。詳しいことが知りたい方はこちらをご覧ください。  

N-gramについて書いてみる - どん底から這い上がるまでの記録  


def ngram(text,n):
    lastnum=len(text)-n+1
    text_list=[]
    for i in range(lastnum):
        text_list.append(text[i:i+n])
    print(text_list)
text="I am an NLPer"
ngram(text,2)
ngram(text.split(),2)

06本目

第1章まとめ