DGIST, 데이터 저장·처리 성능 최대 7배 개선한 기술 개발
페이지 정보
김범수 작성일20-08-11 16:56본문
↑↑ DGIST 정보통신융합전공 이성진 교수(왼쪽부터), 정보통신융합전공 임준수 석박통합과정생(1저자), 배진욱 석사과정생(2저자). 사진제공=DGIST
[경북신문=김범수기자] 대구경북과학기술원(이하 DGIST)이 데이터 저장 및 처리 속도를 최대 7배 개선하고 응답시간 지연 문제를 해결한 키-값 저장장치를 개발했다고 11일 밝혔다..
이 연구를 통해 기존 저장장치에서 발생하는 문제점의 원인을 밝히고 이를 개선해 향후 빅데이터와 같은 광범위한 IT분야에서 긍정적인 효과를 줄 수 있을 것으로 기대된다.
‘키-값 저장장치’는 비정형 데이터 저장과 빠른 처리가 가능한 고유의 ‘키’를 부여해 ‘값’인 데이터를 저장하는 자료저장소로, 빅데이터 분석, 인공지능, 클라우드 시스템 등 광범위하게 사용되는 장치다.
하지만 기존 키-값 저장장치는 구동을 위해 고성능 CPU와 많은 하드디스크를 필요로 하고 높은 전력을 소모하는 단점이 있다. 특히 최근 많이 사용되는 SSD를 키-값 저장소로 활용할 경우 많은 데이터를 저장할수록 응답 시간이 느려지고 처리량이 점차 감소하는 문제를 갖고 있다.
정보통신융합전공 이성진 교수팀은 키-값 저장장치에 데이터를 저장할수록 응답 시간 지연과 처리량 감소 문제를 해결하기 위해 여러 실험을 통해 기존에 저장장치에 내부 알고리즘으로 사용 중인 ‘해시(Hash)의 구조’가 문제의 원인임을 밝혀냈다.
해시 구조는 부여된 키를 모두 하나의 표 형태로 보유, 키가 입력되면 그와 연결돼 있는 정보를 불러온다. 하지만 요즘 많이 사용하는 SSD는 해시 구조를 저장하고 관리할 별도의 용량이 적어 해시 구조를 그대로 적용하면 과부하가 걸리고 처리가 느려진다.
↑↑ DGIST가 데이터 저장 및 처리 속도를 최대 7배 개선하고 응답시간 지연 문제를 해결한 키-값 저장장치를 개발했다고 11일 밝혔다. 키-값 저장장치 프로토타입. 사진제공=DGIST
이를 해결하기 위해 이 교수팀은 연구를 통해 ‘PinK’라는 새로운 기술을 개발했다. PinK를 적용할 경우 해시 구조대비 더 경제적으로 키를 보관하고 활용하는 것이 가능하다. 이는 PinK가 모든 종류의 키를 한꺼번에 저장해 보유하지 않고 여러 단계로 키들을 나눠 보유하며 필요한 단계로 명령을 분할해 처리하기 때문이다.
그 결과 기존 대비 최대 7배 향상된 응답 시간과 2배 향상된 처리량을 달성해 차세대 저장장치로 주목 받고 있는 ‘키-값 저장장치’의 확산에 큰 기여를 할 것으로 기대된다.
이 교수는 “이번 연구를 통해 키-값 저장소에 데이터를 저장하고 불러올 때 발생하는 병목현상을 제거하고 시스템의 성능을 최대 7배 이상 향상할 수 있는 길이 열렸다”며 “향후 해당 기술이 빅데이터, 인공지능, 클라우드 분야 등에서의 데이터 처리에 혁신을 가져올 수 있도록 더욱 노력하겠다”고 말했다.
한편 삼성미래기술육성재단의 지원을 받아 수행된 이번 연구는 美 매사추세츠 공대 컴퓨터과학 및 인공지능연구소의 아빈드 교수팀과의 공동협력으로 진행됐으며 DGIST 정보통신융합전공 임준수 석박통합과정·생배진욱 석사과정생이 각각 제1저자와 제2저자로 참여했다. 연구 논문은 지난 7월 15~17일 열린 USENIX ATC '20에서 최우수논문상을 수상했다.
김범수 news1213@naver.com
[경북신문=김범수기자] 대구경북과학기술원(이하 DGIST)이 데이터 저장 및 처리 속도를 최대 7배 개선하고 응답시간 지연 문제를 해결한 키-값 저장장치를 개발했다고 11일 밝혔다..
이 연구를 통해 기존 저장장치에서 발생하는 문제점의 원인을 밝히고 이를 개선해 향후 빅데이터와 같은 광범위한 IT분야에서 긍정적인 효과를 줄 수 있을 것으로 기대된다.
‘키-값 저장장치’는 비정형 데이터 저장과 빠른 처리가 가능한 고유의 ‘키’를 부여해 ‘값’인 데이터를 저장하는 자료저장소로, 빅데이터 분석, 인공지능, 클라우드 시스템 등 광범위하게 사용되는 장치다.
하지만 기존 키-값 저장장치는 구동을 위해 고성능 CPU와 많은 하드디스크를 필요로 하고 높은 전력을 소모하는 단점이 있다. 특히 최근 많이 사용되는 SSD를 키-값 저장소로 활용할 경우 많은 데이터를 저장할수록 응답 시간이 느려지고 처리량이 점차 감소하는 문제를 갖고 있다.
정보통신융합전공 이성진 교수팀은 키-값 저장장치에 데이터를 저장할수록 응답 시간 지연과 처리량 감소 문제를 해결하기 위해 여러 실험을 통해 기존에 저장장치에 내부 알고리즘으로 사용 중인 ‘해시(Hash)의 구조’가 문제의 원인임을 밝혀냈다.
해시 구조는 부여된 키를 모두 하나의 표 형태로 보유, 키가 입력되면 그와 연결돼 있는 정보를 불러온다. 하지만 요즘 많이 사용하는 SSD는 해시 구조를 저장하고 관리할 별도의 용량이 적어 해시 구조를 그대로 적용하면 과부하가 걸리고 처리가 느려진다.
↑↑ DGIST가 데이터 저장 및 처리 속도를 최대 7배 개선하고 응답시간 지연 문제를 해결한 키-값 저장장치를 개발했다고 11일 밝혔다. 키-값 저장장치 프로토타입. 사진제공=DGIST
이를 해결하기 위해 이 교수팀은 연구를 통해 ‘PinK’라는 새로운 기술을 개발했다. PinK를 적용할 경우 해시 구조대비 더 경제적으로 키를 보관하고 활용하는 것이 가능하다. 이는 PinK가 모든 종류의 키를 한꺼번에 저장해 보유하지 않고 여러 단계로 키들을 나눠 보유하며 필요한 단계로 명령을 분할해 처리하기 때문이다.
그 결과 기존 대비 최대 7배 향상된 응답 시간과 2배 향상된 처리량을 달성해 차세대 저장장치로 주목 받고 있는 ‘키-값 저장장치’의 확산에 큰 기여를 할 것으로 기대된다.
이 교수는 “이번 연구를 통해 키-값 저장소에 데이터를 저장하고 불러올 때 발생하는 병목현상을 제거하고 시스템의 성능을 최대 7배 이상 향상할 수 있는 길이 열렸다”며 “향후 해당 기술이 빅데이터, 인공지능, 클라우드 분야 등에서의 데이터 처리에 혁신을 가져올 수 있도록 더욱 노력하겠다”고 말했다.
한편 삼성미래기술육성재단의 지원을 받아 수행된 이번 연구는 美 매사추세츠 공대 컴퓨터과학 및 인공지능연구소의 아빈드 교수팀과의 공동협력으로 진행됐으며 DGIST 정보통신융합전공 임준수 석박통합과정·생배진욱 석사과정생이 각각 제1저자와 제2저자로 참여했다. 연구 논문은 지난 7월 15~17일 열린 USENIX ATC '20에서 최우수논문상을 수상했다.
김범수 news1213@naver.com
댓글목록
등록된 댓글이 없습니다.