[텍스트 분석] 디코딩 :: 마인드스케일

from transformers import pipeline
kogpt = pipeline('text-generation', model='skt/kogpt2-base-v2')

GPU를 사용하도록 설정해서 속도 높이기

import torch
device = torch.device('cuda:0')
kogpt = pipeline('text-generation', model='skt/kogpt2-base-v2', device=device)

prompt = '인공지능 발전으로 반도체 수요가 증가하고 있다.'
kogpt(prompt)

[{'generated_text': '인공지능 발전으로 반도체 수요가 증가하고 있다. 고성능의 CMOS 이미지 센서를 활용하면 초고속·초저정밀의 CMOS 이미징 성능을 구현할 수 있다. 고가의 CMOS 이미지 센서로는 센서가 내장돼 있지 않아'}]

길이를 최대 200 토큰까지

kogpt(prompt, max_length=200)

[{'generated_text': '인공지능 발전으로 반도체 수요가 증가하고 있다. 향후 반도체 가격도 큰 폭으로 상승할 가능성이 높다"고 분석했다.\n강 연구원은 "미국의 인텔과 마이크론, TI 등 칩스 부문 반도체 기업들의 수익성 개선을 견인할 전망이다"며 "애플은 지난해 2분기부터 PC 매출이 증가하면서 모바일용 시스템 반도체의 수익성이 확대됐다. 애플은 지난주 애플스토어 아이폰이 탑재된 탭10에서 아이폰12의 가격을 200만~400만원 인하하고 아이폰12 판매도 늘릴 것이라고 밝혔다. 삼성전자는 아이폰12를 통해 스마트폰 시장이 개화할 것이라는 전망도 나와있다.\n정 연구원은 "삼성전자의 내년 스마트폰 시장 규모는 작년보다 32.7% 증가한 222억달러가 될 것으로 추정된다. 이는 애플이 갤럭시S를 발표한 2011년 550달러를 넘어선 금액이다. 삼성전자는 애플의 아이폰과 유사한 스마트폰인 갤럭시S로 아이폰을 판매할 것으로 예상한다'}]

결정론적 디코딩

탐욕 탐색

kogpt(prompt, do_sample=False, max_length=200)

[{'generated_text': '인공지능 발전으로 반도체 수요가 증가하고 있다. 지난해 국내 기업들의 해외 직접투자가 사상 최대치를 기록했다.\n해외 직접투자는 지난해 사상 최대인 6조5000억원을 기록했다.\n하지만 국내 기업의 해외 직접투자는 지난해 사상 최대인 6조5000억원에 그쳤다.\n해외 직접투자는 지난해 사상 최대인 6조5000억원을 기록했다.\n해외 직접투자는 지난해 사상 최대인 6조5000억원을 기록했다.\n해외 직접투자는 지난해 사상 최대인 6조5000억원을 기록했다.\n해외 직접투자는 지난해 사상 최대인 6조5000억원을 기록했다.\n해외 직접투자는 지난해 사상 최대인 6조5000억원을 기록했다.\n해외 직접투자는 지난해 사상 최대인 6조5000억원을 기록했다.\n해외 직접투자는 지난해 사상 최대인 6조5000억원을 기록했다.\n해외 직접투자는 지난해 사상 최대인 6조5000억원을 기록했다.\n해외 직접투자는 지난해 사상 최대인 6조5000억원을 기록했다.\n해'}]

반복 억제

kogpt(prompt, do_sample=False, max_length=200, no_repeat_ngram_size=5)

[{'generated_text': '인공지능 발전으로 반도체 수요가 증가하고 있다. 지난해 국내 기업들의 해외 직접투자가 사상 최대치를 기록했다.\n해외 직접투자는 지난해 사상 최대인 6조5000억원을 기록했다.\n하지만 국내 기업의 해외 직접투자는 지난해보다 감소한 것으로 나타났다.\n한국무역협회 국제무역연구원은 지난해 국내 기업의 해외 직접투자액이 6조5000억원이라고 밝혔다.\n이는 전년보다 4000억원 늘어난 수치다.\n해외 직접투자는 국내 기업의 해외 직접투자를 의미하는 것으로 국내 기업의 해외 직접투자가 증가한 것은 지난해부터다.\n지난해 국내 기업의 해외직접투자는 전년보다 4% 증가한 4조5000억원으로 집계됐다.\n해외 직접투자는 전년보다 6% 증가한 4조3000억원을 기록했다.\n해외 직접투자의 증가세는 지난해부터 지속됐다.\n지난해 국내 기업들의 국내 직접투자는 전년 대비 4% 증가한 4조2000억원을 기록했다.\n지난해 국내 기업들이 해외 직접투자를 늘린 것은 글로벌 경기침체 여파로 해외 직접투자가 감소한'}]

특정 표현 억제

from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("skt/kogpt2-base-v2")
bad_tokens = [[b] for b in tokenizer.encode('직접투자')]

kogpt(prompt, do_sample=False, max_length=200, no_repeat_ngram_size=5, bad_words_ids=bad_tokens)

Special tokens have been added in the vocabulary, make sure the associated word embeddings are fine-tuned or trained.

[{'generated_text': '인공지능 발전으로 반도체 수요가 증가하고 있다. 지난해 국내 기업들의 해외직접투자가 사상 최대치를 기록했다.\n해외직접투자(FDI)는 지난해 사상 최대치를 기록했다.\n하지만 국내 기업의 해외직접투자는 지난해 사상 최대치인 6조7000억원을 기록했다.\n한국무역협회 국제무역연구원은 지난해 국내 기업의 해외직간접투자가 전년 대비 5.8% 증가한 6조7000억원이라고 밝혔다.\n이는 지난해 국내 기업의 해외투자 증가율인 5.7%보다 높은 수치다.\n지난해 국내 기업의 해외투자는 전년 대비 5.7% 증가한 6조8000억원을 기록했다.\n지난해 국내 기업들의 해외투자 증가율은 전년 대비 4.7%포인트 증가한 6조700억원을 기록했다.\n지속적인 경기 회복으로 해외직접투자가 증가한 것으로 풀이된다.\n지난해 국내기업의 해외직접투자는 전년 대비 4.8% 증가한 4조7000억원으로 집계됐다.\n지난해 국내기업들의 해외직접투자는 사상 최대치인 5'}]

빔 탐색

kogpt(prompt, max_length=200, num_beams=5, no_repeat_ngram_size=5)

[{'generated_text': '인공지능 발전으로 반도체 수요가 증가하고 있다. SK텔레콤(대표 김신배)은 SK브로드밴드(대표 하성민)가 운영하는 인터넷TV(IPTV) 서비스 ‘옥수수’(www.youtube.com)를 통해 IPTV 서비스인 ‘옥수수TV’를 출시했다고 1일 밝혔다.\n옥수수TV는 기존 IPTV 서비스인 IPTV와 달리 별도의 셋톱박스 없이 IPTV 셋톱박스를 통해 IPTV를 시청할 수 있는 서비스다.\nIPTV 셋톱박스는 IPTV 전용 셋톱박스에 연결돼 있어 별도의 셋톱박스를 설치하지 않고도 IPTV 서비스를 이용할 수 있다.\nSK브로드밴드는 옥수수TV를 통해 IPTV 가입자가 IPTV 서비스에 가입하면 별도의 셋톱박스가 필요 없이 IPTV를 이용할 수 있도록 했다.\nSK텔레콤은 옥수수TV를 통해 기존 IPTV 서비스와 차별화된 차별화된 서비스를 제공할 수 있을 것으로 기대하고 있다.\nSK텔레콤 관계자는 “옥수수TV는 IPTV'}]

확률적 디코딩

top-k

kogpt(prompt, top_k=10)

[{'generated_text': '인공지능 발전으로 반도체 수요가 증가하고 있다. 이 때문에 반도체 가격도 급등하고 있다"고 말했다.\n그는 "반도체 산업은 반도체 수요 증가가 예상보다 빠른 속도로 나타날 것"이라며 "삼성전자가 올해부터 본격적으로 D램과 낸드'}]

top-p

p = 50% (기본값 100%)

kogpt(prompt, top_p=0.5)

[{'generated_text': '인공지능 발전으로 반도체 수요가 증가하고 있다. 이 사업은 오는 2017년까지 총사업비 3억원을 투입해 대전시 유성구 외삼동 소재 대전의료원 내 병상 4개를 증축하는 것이다.\n이번 사업은 지난해부터 추진된'}]

온도 = 0.7

kogpt(prompt, temperature=0.7)

[{'generated_text': "인공지능 발전으로 반도체 수요가 증가하고 있다. 오는 9월부터 보험사들이 상품 가격을 마음대로 책정해 주는 '보험사 가격 비교 공시제'가 실시된다.\n보험사의 상품 판매가격에 대해 소비자가 직접 평가해 소비자에게 유리한 상품을 제시하는 방식이다.\n금융감독원은 오는"}]

온도 = 2.0

kogpt(prompt, temperature=2.0)

[{'generated_text': '인공지능 발전으로 반도체 수요가 증가하고 있다. 인공지능으로 연결된 하드웨어 중심 산업에서는 서버 시장 경쟁이 더욱 활성화되기 때문에 이에 대해 적극 대응한다는 방침”이라며 “다양한 수요 확대를 견인하는 방향으로 산업 역량을 육성할 계획”이라고 말했다.\n'}]

온도를 이용한 반복 억제

kogpt(prompt, repetition_penalty=2.0)

[{'generated_text': "인공지능 발전으로 반도체 수요가 증가하고 있다. 이 부회장이 21일 삼성전자와 함께 서초사옥 현판식을 갖고, '삼성전자 3.0 전략'을 이같이 발표했다.\n이날 행사에 초청받은 주요 경영진들과 면담을 한 결과, 이번 비전 선포"}]

대조 탐색

kogpt(prompt, penalty_alpha=0.5, top_k=3)

[{'generated_text': '인공지능 발전으로 반도체 수요가 증가하고 있다. 삼성전자는 지난해 4분기 연결 기준 매출 5조8천800억 원, 영업이익 3천200억 원의 실적을 올렸다고 밝혔습니다.\n지난해 4분기에 비해 매출은 4%, 영업이익은 6'}]