본문 바로가기
HOME> 논문 > 논문 검색상세

논문 상세정보

하이브리드 VLSI 신경망 프로세서에서의 양자화에 따른 영향 분석
Analysis of the Effect on the Quantization of the Network's Outputs in the Neural Processor by the Implementation of Hybrid VLSI

권오준   (동의대학교 컴퓨터.영상공학부UU0000509  ); 김성우   (동의대학교 컴퓨터.영상공학부UU0000509  ); 이종민   (동의대학교 컴퓨터.영상공학부UU0000509  );
  • 초록

    인공 신경망을 실제적인 응용 분야에 적용하기 위하여 하드웨어 시스템으로 구현하는 것이 필요하다. 하드웨어로 구현하는 방법에는 현재 하이브리드 VLSI 신경망 칩으로 구현하는 것이 가장 유망하다. 이미 학습된 신경망을 하이브리드 신경망 칩을 사용하여 구현하는 경우 뉴런 출력과 가중치 값의 양자화 과정이 필수적이다. 이러한 과정은 신경망의 출력층 뉴런의 이미 학습된 출력에 비해 왜곡을 야기한다. 본 논문에서는 이러한 신경망의 출력 왜곡에 대한 통계적 특성을 자세하게 분석하였다. 분석 결과는 신경망의 출력 왜곡을 줄이기 위해서는 입력 벡터의 정규화와 가중치 값들이 작아야 한다는 사실을 보여 주었다. 시계열 데이터에 대한 실험 결과는 분석 결과를 고려하여 학습된 신경망들의 경우 실제로 뉴런 출력 및 가중치 값의 양자화로 인한 출력층 뉴런의 출력 왜곡이 상당히 줄어들 수 있음을 명확히 보여 주었다.


    In order to apply the artificial neural network to the practical application, it is needed to implement it with the hardware system. It is most promising to make it with the hybrid VLSI among various possible technologies. When we Implement a trained network into the hybrid neuro-chips, it is to be performed the process of the quantization on its neuron outputs and its weights. Unfortunately this process cause the network's outputs to be distorted from the original trained outputs. In this paper we analysed in detail the statistical characteristics of the distortion. The analysis implies that the network is to be trained using the normalized input patterns and finally into the solution with the small weights to reduce the distortion of the network's outputs. We performed the experiment on an application in the time series prediction area to investigate the effectiveness of the results of the analysis. The experiment showed that the network by our method has more smaller distortion compared with the regular network.


  • 주제어

    신경망 칩 .   하드웨어 .   출력 왜곡.  

  • 참고문헌 (13)

    1. Neil A. Gershenfeld and Andreas S. Weigend, 'The Future of Time Series : Learning and Understanding,' In Time Series Prediction : Forecasting the Future and Understanding the Past, Addison Wesley, 1993 
    2. Udo ubner, Carl-Otto Weiss, Neal Broadus Abraham, and Dingyuan Tang, 'Lorenz-Like Chaos in $NH_3-FIR$ Lasers(Data Set A),' In Time Series Prediction : Forecasting the Future and Understanding the Past, Addison Wesley, 1993 
    3. A. Papoulis, Probability, Random Variables, and Stochastic Processes, McGraw-Hill, 1987 
    4. Oh-Jun Kwon and Sung-Yang Bang, 'Design of a Fault Tolerant Neural Network with a Desired Level of Robustness,' Electronics Letters, Vol.33, No.12, pp.1055-1057, 1997 
    5. E. Sackinger, B. E. Boser, J. Bromley, Y. LeCun, and L. D. Jackel, 'Application of the ANNA Neural Network Chip to High Speed Character Recognition,' IEEE Transactions on Neural Networks, Vol.3, No.3, pp.498-505,1992 
    6. Maryhelen Stevenson, Rodney Winter and Bernard Widrow, 'Sensitivity of Feedforward Neural Networks to Weight Errors,' IEEE Trans, on Neural Networks, Vol.1, pp.71-80, 1990 
    7. Yun Xie and Marwan A. Jabri, 'Analysis of the Effects of Quantization in Multilayer Neural Networks Using a Statistical Model,' IEEE Trans, on Neural Networks, Vol.3, pp.334-338, 1992 
    8. Stephen W. Pich e, 'The Selection of Weight Accuracies for Madaline,' IEEE Trans, on Neural Networks, Vol.6, pp. 432-445, 1995 
    9. Jin-Young Choi and Chong-Ho Choi, 'Sensitivity Analysis of Multilayer Perceptron with Differentiable Activation Functions,' IEEE Trans, on Neural Networks, Vol.3, pp. 101-107, 1992 
    10. D. Lovell, P. Bartlett and T. Downs, 'Error and Variance Bounds on Sigmoidal Neurons with Weight and Input Errors,' Electronics Letters, Vol.28, pp.760-762, 1992 
    11. Jordan L. Holt and Jenq-Neng Hwang, 'Finite Precision Error Analysis of Neural Network Hardware Implementations,' IEEE Trans, on Computers, Vol.42, pp.281-290, 1993 
    12. B. Widrow, D. E. Rumelhart, and M. A. Lehr, 'Neural Networks : Applications in industry, business and science,' Communications of the ACM, Vol.37, No.3, pp.93-105, Mar., 1994 
    13. 포항공대, '신경망 칩 으용 기반 기술 연구', 한국통신(KT-94-45) 장기 기초 연구 과제 보고서, Dec., 1993 

 저자의 다른 논문

  • 김성우 (22)

    1. 2002 "임베디드 그래픽 시스템 기술" 한국멀티미디어학회지 6 (2): 29~35    
    2. 2003 "강인 검색 제어를 위한 속도 외란 측정" 한국소음진동공학회논문집 = Transactions of the Korean society for noise and vibration engineering 13 (11): 860~867    
    3. 2003 "실시간 운영체제 Qplus-P용 그래픽 윈도우 라이브러리 구현" 정보처리학회논문지. The KIPS transactions. Part A. Part A a10 (5): 479~486    
    4. 2004 "Mobile IP의 학내망 사용을 위한 테스트베드 구현" 멀티미디어학회논문지 = Journal of Korea Multimedia Society 7 (1): 64~72    
    5. 2004 "소형 정보가전 기기용 QPlus-P 윈도우 매니저 개발" 정보처리학회논문지. The KIPS transactions. Part D. Part D d11 (1): 195~202    
    6. 2004 "신뢰성 있는 H 제어 : 선형 행렬 부등식 방법" 제어·자동화·시스템공학 논문지 = Journal of control, automation and systems engineering 10 (3): 216~224    
    7. 2007 "임베디드 시스템을 위한 3차원 그래픽 가속 장치 구동기의 설계 및 구현" 멀티미디어학회논문지 = Journal of Korea Multimedia Society 10 (9): 1209~1219    
    8. 2007 "A Wireless Location-Based Routing Algorithm in Multi-User Game Environments" 멀티미디어학회논문지 = Journal of Korea Multimedia Society 10 (12): 1733~1740    
    9. 2007 "A Robust Fine Seek Controller Design Method Based on the Estimation of Velocity Disturbance" International Journal of Control, Automation and Systems 5 (3): 243~250    
    10. 2007 "한글 글자 단위 인덱스를 위한 검색 유형 정의 및 한글 부호계와의 연관성에 관한 연구" 한국해양정보통신학회논문지 = The journal of the Korea Institute of Maritime Information & Communication Sciences 11 (6): 1083~1088    
  • 이종민 (23)

 활용도 분석

  • 상세보기

    amChart 영역
  • 원문보기

    amChart 영역

원문보기

무료다운로드
  • NDSL :
유료다운로드

유료 다운로드의 경우 해당 사이트의 정책에 따라 신규 회원가입, 로그인, 유료 구매 등이 필요할 수 있습니다. 해당 사이트에서 발생하는 귀하의 모든 정보활동은 NDSL의 서비스 정책과 무관합니다.

원문복사신청을 하시면, 일부 해외 인쇄학술지의 경우 외국학술지지원센터(FRIC)에서
무료 원문복사 서비스를 제공합니다.

NDSL에서는 해당 원문을 복사서비스하고 있습니다. 위의 원문복사신청 또는 장바구니 담기를 통하여 원문복사서비스 이용이 가능합니다.

이 논문과 함께 출판된 논문 + 더보기