하둡 기반 제주 풍속 변화의 분석 플렛폼 구축

Abstract

Recently, according to the development of smart grid technologies and the penetration of electric vehicles, or EVs in short, renewable energy keeps drawing attention from many areas and stakeholders. Due to its intermittency, an accurate prediction in the possible power generation is indispensable for the efficient integration of a specific renewable energy into the power grid. This prediction must be built on the enormous amount of past records and the subsequent forecast models. In this regard, this thesis develops a data processing framework for wind speed history in Jeju, Republic of Korea, which has abundant wind energy all year round. The model begins with the investigation on the correlation between wind speed and wind direction, demonstrating how we can search core information from this framework. It maintains hour-by-hour wind speed records collected during the period of 2000 to 2009. An Apache Hadoop package working on our Linux server provides a flexible interface for raw wind speed streams, while Pig Latin allows a programmer to make a comprehensive script to specify how to filter the target fields. The filtered stream records, each of which essentially embraces wind speed and wind direction, are converted to a series of learning patterns and fed to an ANN (Artificial Neural Network) model consisting of input, hidden, and output layers. Here, the input node accounts for wind direction and the output node wind speed. The number of generated learning patterns is 28,030 as they are selected from the valid records during the period of 2000 to 2008. On the contrary, 2,970 records in 2009 are exploited to evaluate the accuracy of the developed correlation model. The accuracy analysis result shows that the maximum average error is 2.32m/s, while the lowest average error has been verified to be 0.96m/s. After all, our data processing framework cannot only efficiently cook the massive data generated from renewable energy sources but also combine sophisticated modeling strategies.

최근 스마트그리드의 발전과 전기자동차의 확산에 따라 신재생에너지에 대한 관 심이 증가하고 있다. 풍력과 같은 신재생에너지를 그리드에 결합하기 위해서는 정확한 발전 가능량 예측이 필수적인데 이는 막대한 양의 과거 데이터에 대한 분석과 이에 따르는 예측 모델 구성을 필요로 한다. 본 논문에서는 풍력이 풍부 한 제주 지역에서 2000년부터 2009년까지 축적된 풍속 데이터를 기반으로 정밀 한 풍속 모델을 개발하기 위하여 우선적으로 풍속과 풍향과의 연관성을 분석하 기 위한 데이터 처리 프레임워클 구성한다. 우선적으로 시간마다 샘플링된 대용 량의 풍속과 풍향이 원시 데이터를 계산환경으로 인터페이스하기 위하여 Apache Hadoop을 Linux 플랫폼에 설치하고 Pig 스크립트를 작성하여 필요한 데이터를 필터링한다. 이 정제된 데이터를 기반으로 인공신경망 (ANN; Artificial Neural Network)의 학습 패턴을 생성한 후 입력, 은닉, 출력 등 3 계층으로 구성된 ANN 모델을 구축한다. 이 과정에서 2000년부터 2008년까지의 1월 풍향을 입력 변수로, 풍속의 출력변수로 설정하였으며 2009년의 데이터는 이 모델의 정확성을 분석하는데 사용하였다. 이에 28,030 개의 학습패턴이 생성되었으며 2,970 개의 테스트 패턴이 정확성 분석에 사용되었다. 그 결과 최대 평균 오류는 2.32m/s 이 며, 최저 평균 오류는 0.96m/s를 검증했다. 결과적으로, 본 논문에서 구축한 데이 터 처리 프레임워크는 신재생에너지에 관련된 대용량 데이터를 효율적으로 처리 할 수 있을 뿐 아니라 정교한 모델링 기법과 결합할 수 있음을 보이고 있다.