2. AI, 지금 비즈니스에서는? - SK AI Summit 방문기

SK AI SUMMIT 입구

 처음 AI를 주제로 글또 활동의 방향을 잡았을 때, AI가 비즈니스에서 어떻게 활용되는 지에 대해서도 다루기로 했다. 아직 AI 벤치마크를 덜 다뤘지만, 얼마 전 (11.4.월) SK AI Summit 을 다녀온 김에 먼저 작성해볼까한다. 이번 행사는 SK 전 계열사에서 공들여 준비한 것 같다(고 SK 계열사에 근무하는 친구도 말해줬다). 행사장의 규모나 참여하는 기업들, 최태원 회장과 여러 유명 인사들을 비롯한 키노트 인선, 그리고 두둑한 기념품들까지. 인상 깊었던 건 AI Together, AI Tomorrow 와 같은 캐치프레이즈이다.  SK 전 계열사에 걸쳐 AI 흐름에 올라타기 위해 부단히 노력하고 있는 느낌. 개인적으로 AI로 주제를 잡자마자 너무 운 좋게 식견을 넓힐 수 있었던 기회였던 것 같다. 부스도 많고 본 것도 많았지만, 그 중 내게 인상 깊었던 곳들을 중심으로 소개하겠다.

---

구글 클라우드

 가장 눈에 띄고 재밌었다. 입구에 들어가자마자 있었고, 일반인들도 친숙하게 느낄 수 있는 주제로 부스를 구성해 눈길을 끌었다. gemini (flash 1.5) 와 Imagine 모델(정확한 버전을 못들었다)을 활용해 youtube 영상 분석하기, 3D 캐릭터 포토카드 만들기를 선보이고 있었다. 솔직히 몇 년전 구글 클라우드를 처음 접할 땐 별게 없어서 존재조차 잊고 살았는 데, 구글의 AI 모델들과 연계서비스들이 유연하게 기능하고 있어 매력적으로 보였다. 첫번째 사진은 영상 내용 중 궁금한걸 물어본 프롬프트와 답변이고, 두번째 사진은 영상을 분석하고 요약한 결과이다. 솔직히 영상 5분 넘어가면 요약글 먼저 찾는 편이고, 영상에서 00 등장한 부분, 00 언급된 부분 같은 게 검색되면 좋겠다고 항상 생각하던 입장에선 너무 매력적으로 보였다. 2시간 정도의 720p 영상까지 요약했다는 데, 영상 검색도 가까운 미래에 유튜브에서 기능이 될 것 같았다. 나도 곧 따라해봐야지. 근데 생각보다 구글 클라우드에서 제공되는 서비스가 많아 고난과 역경이 예상된다.

 다음은 포토카드. 찍은 사진으로 나와 닮은 3D 캐릭터를 만들고, 어울리는 배경을 추천해준 뒤 하나의 사진으로 합성해줬다. 물어보니 구글 클라우드에서 제공하는 서비스나 기능은 아니라고 한다. 생성된 3D 캐릭터들이 모두 전부 다른데 일관적이고 특징을 너무 잘 잡아서(예를 들어 눈썹이 너무 비슷하다)놀랐다. 얼굴 먼저 생성한 뒤 그대로 몸에 붙인 결과도 기괴하지만 신기했달까. 어떻게 한 거지? 근데 체크 무늬 코트에 놀이공원 배경을 추천해 준 건 조금 실망했다. hellaswag 도 85점이나 되는데,,,이게 최선인가.

 

코파일럿+PC (Microsoft)

 Surface Pro 은 주변에 쓰는 사람이 없어서 몰랐는 데 기능과 성능면에서 나쁘지 않아보였다. 인터넷이 연결되어있지 않은 환경에서 스테레오 마이크로 음성을 수집해서 영어로 바로 번역해주는 걸 보여주며, 동시에 전면 카메라에서 말하고 있는 사람을 인식해 자연스럽게 줌인 줌아웃을 해주었다. 이렇게 앱을 사용하는 동안 npu 사용률은 30% 정도였다(npu에 대해선 아래에서 덧붙이겠다). 인터넷이 연결되어있지 않다는 건, 기기에 자체 ai 모델이 설치되어있다는 건데, 궁금해서 찾아보니 내가 알던 윈도우 기본앱들이 모두 AI 의 보조를 받도록 기능이 업데이트되어있었다. 대단해,,,

갤럭시와 Surface를 보니 이제 하드웨어와 OS 차원에서 당연히 AI 를 지원하는 게 추세라고 느껴졌다. 반성해라 애플(아무래도 애플 주식은 정리할 시점이 온 것 같다)

 

AI Accelerator : npu vs a100

sk 에서 NPU를 생산하나. a100과 npu 를 비교해서 훨씬 npu가 낫다! 를 보여주고 있는 곳이 있어서 좀 웃겼다. 상대적으로 간소한 엔비디아 부스에 비해 화려하게 전시되었다고 할까. 

npu 에 대해서 정확히 몰랐는 데, AI 연산에 특화된 프로세서로, 전력 효율이 좋아 모바일 기기에 주로 탑재되는 편이고, 삼성, 인텔, amd 에서도 개발하고 있다고 한다. 다음은 삼성 엑시노스 프로세서에서 말하는 NPU이다.

신경망처리장치(NPU: Neural Processing Unit)는 인공지능 구현을 위해 인간의 뇌 중 신경계의 구조를 본떠 만들어 동시다발적인 행렬 연산에 최적화된 제품입니다. NPU는 셀 수없이 많은 신경세포와 시냅스로 연결되어 신호를 주고받으며 동시에 작업을 진행하는 인간의 뇌 신경세포와 유사한 작업을 진행합니다. 중앙처리장치(CPU) 또한 데이터를 처리하는 연산 능력을 갖고 있지만 NPU는 동시다발적인 행렬 연산에 최적화되어 딥러닝 알고리즘 연산에 최적화되어 있습니다. 그뿐 아니라 축적된 데이터를 기반으로 스스로 학습하여 최적의 값을 도출해냅니다. 엑시노스 모바일 프로세서는 이러한 NPU 가 내장되어 있어 스마트폰이 클라우드 서버를 경유하지 않고도, 자체적으로 인공지능 기반 어플리케이션을 수행 가능하도록 합니다.

대부분 AI 모델을 돌릴 때 쿠다에서 돌리던데, NPU 가 GPU 를 앞으로 얼마나 대체할 수 있을 지 궁금하다. 참고로 위의 NPU는 SK 텔레콤 계열사 리벨리온에서 개발했다고한다.

 

세션 A.X LLM Inference Platform 소개 (SK 텔레콤)

 세션은 미리 신청한 사람만 들을 수 있다고 되었었는 데, 막상 가보니 현장에서 바로 들을 수 있었다. 여러 부스에서 A.X 란 단어가 보였는데, SK 에서 자체 개발한 LLM Platform 이라고 한다. 초창기엔 이루다가 경쟁사였다고. (이루다가 개인정보 이슈로 나락가서 그런지 세션 중간 Secure Channel 부분에서 개인정보를 어떻게 다루는지 설명했다.) 아래는 인상깊은 부분들이다.

1) Multi-LLM 을 지원하게 된 이유가, 단일 LLM으로 모든 문제를 해결할 수 없어서였다는 게 인상 깊었다. 요새 그런 서비스를 종종 발견한 것도 그렇고 Multi-LLM 이 트렌드인 것 같다. 나도 어떤 AI를 써야하는 지 고민할 때 허들을 느꼈든 데, 하나의 서비스를 구독하면 여러 LLM 을 골라 쓸 수 있다는 점이 일반 소비자에게 친근하고 가볍게 다가갈 수 있을 것 같다.

2) 세션이 그리 긴 시간이 아니었는 데 상당히 자세한 발표였는 데, Multi-LLM 에서 요청을 어떻게 처리하는 지 로직을 들으며 SK텔레콤 개발자들도 쉽지 않겠구나,,,느꼈다. 요청을 모델에 따라 라우팅 처리하는 데, 같은 모델들은 그룹핑되어있고, 실패하면 다른 모델에게 다시 요청하고, 모델마다 세션을 다르게 유지하고,,, (야근 많이할 것 같다,,,)

3) Quantization! 비용 효율적인 면에서 양자화 기술이 필수인데, 양자화하면 모델크기를 혁신적으로 줄일 수 있지만, 모델 크기가 줄어든만큼 품질이 떨어진다고 한다. 들으면서 '양자화가,,,일반적으로 CPU/GPU 에서 가능한가..? 알고리즘에 적용한다고 했는 데,,,, 내가아는 양자컴퓨터랑 다른가..? 그나저나 정말 대단하네'라고 느꼈는 다. 와서 찾아보니, 양자화는 딥러닝 모델의 가중치 및 활성화를 더 낮은 정밀도의 숫자 표현(예: 8비트, 4비트 등)으로 변환하는 기술이고, TensorFlow등에서 API 로 제공하고 있다고 한다. 어떤 하드웨어 환경에서 가능한지는 잘 모르겠다. 

4) 에이닷 API 호출이 일일 4700만건(그렇게 듣고 기억했는 데, 사진으로 찍지 못해 숫자가 다를 수도 있다..!)에 달한다고 한다. 에이닷은 비개발자친구들에게서도 몇 번 들었던 서비스였는데, 하루 호출수를 보고 정말 일반화된 서비스였구나 싶었다. 개인적인 느낌상 클로바와 에이닷이 우리나라에서 가장 대중화된 ai 서비스 투탑! 같다. 

좌측 상단부터 시계방향대로 1,2,3,4 에 대한 발표자료

 

A.X Use Case

 A.X 멀티 에이전트를 에이닷 어플에서 바로 사용할 수 있다고 한다. 에이닷이 SK 전용 통화요약 서비스인 줄 알았는 데...! 그리고 요금이 부과되지 않는다고 한다. 영화 검색 -> 영화예약으로 이어지진 않고, 모든 질문에 다 답을 잘하진 않았다. 대답에 조금 실망해서 에이닷보단 지피티를 쓸 것 같긴하다. 그래도 검색 엔진에서 일일이 결과를 찾고 걸러내는 것보다 ai 가 답해주는 게 더 편한데, 어쩌면 곧 네이버나 구글대신 에이닷이나 지피티에게 물어보는 게 더 익숙해지는 세상이 오지 않을까.

에이닷 오답모음

그 외 상담, 사내 규칙 등 언어모델에 사내에서 활용하는 정형, 비정형 문서들로 파인튜닝해서 자주 발생하는 업무를 돕거나 자동화하는 사용 사례들을 보여주는 구간도 있었다. 예를 들어 텔레콤 상담직원들이 자사 상품과 서비스에 대해 검색해서 상담에 얼마나 활용하는 지 등 말이다. 전 회사도 비슷한 서비스를 주로 B2B로 제공했는 데, 2년 반 재직하며 대기업 7~8군데의 사내 시스템의 일부로 솔루션을 작업을 했었다. A.X의 Use case에서도 비슷한 사례들을 보여줘 B2B에서 나름 대세로 AI가 사용되는 케이스이지 않을까 싶다.

 아직 상용화되지 않은 서비스인지 검색해도 나오지 않지만 A.Biz의 AI 채용 시스템도 있었는 데, AI를 얼마나 활용할 수 있는 지 평가하는 AICT 라는 게 있어서 놀랐다. 뭐랄까. AI 를 교육에 사용해도 되는지, 어떤 식으로 사용하는 게 좋은 지 등이 아직 그렇게 일반화 되어있지 않다고 느꼈는 데, AI 활용 테스트가 나오다니. 예시 화면에 AI 도움을 받아 코딩하는 문제도 있어 충격이었다. 

 

SK 브로드밴드 - AI 4 vision Set-top box

 SK AI 셋톱박스에서는 에이닷과 대화하며 콘텐츠를 탐색할 수 있고 카메라를 활용해 홈피트니스 등이 가능하다고 한다. 개인적으로 체험하면서 좀 웃겼다. 편안하게 쇼파가 세팅되어있었지만 아무도 앉지 못했는 데, 광고에서 몇 번 보기도 하고 궁금하기도 해서 조용히 조작해보았다. 어느순간 부스 담당분들이 양 옆에서계셔서 깜짝 놀라서,,, 조작해도되는지 다시 허락을구하고,,,ㅋㅋㅋㅋㅋㅋㅋㅋ,,, 

일단 리모콘을 이용해  선재업고튀어를 검색하고 선재업고 튀어같은 드라마를 검색해달라고 했는데, 못 알아먹어서 조금 웃겼다. 금방 업뎃되겠지만 뭐랄까 초기서비스같은 면모가있어서. 두번째로 카메라로 모션을 인식해 운동을 도와주는? 닌텐도의 링피트같은 컨셉 그렇지만 조작기기 없이. 그런 서비스를 해봤는데 ㅋㅋㅋㅋㅋㅋ 사람을인식을 못해서 세번정도 만세했다가 너무 수치스러웠다,,,어떻게 인식을하고 스쿼트를했는데 다행히 스쿼트는 인식이 잘되었던. 근데 세밀하게 인식하지못하기도 하고, 계속 발전한다해도 셋톱박스의 카메라와 칩으로 정밀하게 분석하기엔 한계가 있지 않을까 싶었다. 개인적으로 요새 피티를 받아서 그렇게 느낄수도있는데, 오히려 이런 영역은 ai가 대체하기 어려울 것 같은 인상을 받았다.

신체를 인식시키고 스쿼트를 하는 모습

선재업고 튀어 같은 드라마를 물어보는 화면

 

---

 

 반도체나 하드웨어, SK 계열사나 비즈니스 모델에 대해 배경지식이 있거나, 키노트나 세션들을 더 들었으면 더 깊이 있는 인사이트를 얻을 수 있지 않았을까 싶다. 3주 후에 키노트와 세션 영상들이 공개된다고 했던 것 같은 데 보게 된다면 보충해보겠다.

 AI Summit 를 둘러보고나니 AI 분야의 발전 속도가 개인으로서는 트렌드를 쫓기도 어려울 정도로 빠르다고 느껴졌다. 물론 막대한 자본이 AI 분야에 몰리고 있으니 당연한 말이지만, 사실 개인으로서는 별로 체감하지 못하고 있었다. 찾아보기 시작하니 멀미날 정도이다,, ㅎㅎ,, 우리나라 기업들도 AI에 공격적으로 대응하고 있구나 싶어 든든하고, 개인적으로는 앞으로 다가오는 시대에 어떻게 살아야하는가..? 하는 고민이 들었다. 굉장히 많인 서비스와 직군들이 없어지지 않을까 싶다가도 개인이 뭐든 할 수 있는 시대가 오지않을까 싶기도하다. 뭐, 일단은 마저 글 시리즈를 마쳐봐야하겠지만.

 

 

 

SK AI SUMMIT 2024