쉐어드IT 회원들의 AI 사용 현황은?

이번 콘텐츠에서는 지난 12월 17일부터 31일까지 진행된 2025년 IT 예산 설문조사의 특별 설문으로 진행한 AI 사용 현황에 대한 설문입니다. 2024년은 업무적으로 AI를 활용하지 않으면 생산성에 크게 문제가 생기는 것 아닌가 싶을 정도로 AI 활용이 필수처럼 여겨지고 홍보되었던 시기였죠.

저 역시 다수의 AI 관련 서비스를 사용해 본 경험이 있고 현재도 유료로 사용하고 있는 서비스가 있는 만큼, IT 담당자 분들은 AI를 업무에 사용하고 있는지, 어떤 AI 서비스를 사용 중인지에 대해 물었고요. AI 관련 비즈니스를 제공하는 기업의 담당자 분들께도 유용한 자료이지 않을까 싶습니다. 그럼, 결과를 함께 볼까요?

• ■사내에서 AI 서비스를 활용하고 있나요?

먼저 AI 서비스를 업무에 활용하고 있는지에 대해 물었습니다. 결과는 제 예상과는 달리 업무에 활용 중이라는 응답은 45.1%에 그쳤는데요. AI가 업무 생산성 측면에서 분명 도움되는 부분이 있겠으나, 사내 정책 상 사용하지 못하는 분들도 많이 계시지 않나라는 생각이 듭니다. 게다가 아직 AI가 본인의 업무에 크게 도움이 되지 않는다고 느끼시는 분들도 많았기에 이런 결과가 나오지 않았나 싶네요.

• ■AI 서비스를 사용하는 목적은 무엇인가요?

그렇다면, AI를 사용하는 분들은 어떤 목적으로 AI를 사용하고 계실까요? 역시나 업무 생산성 향상 목적으로 사용한다는 응답이 66.3%였고, 개인적인 궁금증 해결을 위해 사용한다는 응답은 5.3%에 그쳤습니다. 둘 다 적용된다는 응답이 28.3%인 것을 감안하면, AI 활용의 가장 우선적인 목적은 역시 업무 생산성 향상이라고 결론내려도 될 것 같군요.

• ■어떤 AI 서비스를 활용하고 있나요?

그럼 어떤 AI 서비스를 사용하고 있는지 확인해 봐야겠죠? 역시 OpenAI의 ChatGPT가 32.3%로 가장 많은 선택을 받았습니다. 저 역시 현재 사용 중인 AI 서비스 중 ChatGPT의 활용도가 제일 높은데, 워낙 다양한 용도로 사용할 수 있고 대중적인 AI 서비스이기에 이런 결과가 나오지 않았나 싶습니다.

두 번째로 높은 응답률을 보인 것은 18.6%를 차지한 Microsoft Copilot입니다. Copilot 버튼이 탑재된 최신 PC를 비롯해 간편하게 엣지 브라우저에서 Copilot을 사용할 수 있는데요. 물론 Copilot 역시 ChatGPT 기반이긴 하지만 Microsoft Windows UI에서 간편하게 사용할 수 있다는 것이 차별점이지 않나 싶습니다. 그리고 Microsoft 365 라이선스를 구독 중인 분들은 Microsoft Office 앱에서 Copilot을 사용할 수 있다는 것도 참고해 주세요.

다음으로는 이미 내부에서 업무적으로 사용하는 다양한 툴에서 제공하는 AI 서비스의 응답이 9.3%를 차지했고요. 이미 오래 전부터 AI 기반으로 서비스를 제공해 온 보안 분야의 비중도 높았습니다.(7.8%) 나머지 항목은 위 표를 참고해 주시면 될 것 같고, ChatGPT 기반의 AI 서비스를 별도로 사용하고 계신 분들도 5.2%나 되는 것이 눈에 띕니다. 저도 저 서비스들을 모두 사용하고 있는데, 이에 대한 소감은 말미에 다시 언급하겠습니다.

• ■AI 서비스를 활용하지 않는 이유는 무엇인가요?

이번에는 업무적으로 AI를 사용하지 않는 이유에 대해 물었습니다. 그 결과 33.8%의 응답자가 비용이 부담되어 사용하지 않는다고 응답했습니다. ChatGPT의 경우 Plus가 월 $20, 새롭게 출시된 Pro가 월 $200인데요. 이미 무료 버전으로도 충분히 좋은 결과물을 보여주기에, 굳이 유료로 결제해서 사용해야 할까라는 생각을 가진 분들도 많을 것으로 생각되는군요. ChatGPT 외에 다른 다양한 AI 서비스들도 무료로도 꽤 쓸만하거든요.

그 다음 응답이 예상 밖이었는데, 어떻게 활용해야 할 지 몰라서 AI를 업무적으로 사용하지 않는다는 응답이 무려 27.6%에 달했습니다. ChatGPT와 ChatGPT 기반의 서비스들은 따로 교육을 받을 필요 없이 바로 사용할 수 있을 정도입니다. 그런데 ChatGPT에게 뭔가를 물어보는 것과, 내가 하고 있는 업무에 활용하는 것은 다른 얘기죠. ChatGPT에게 뭐라고 물어봐야 할 지, 그 결과물을 어디에 어떻게 활용해야 할 지에 대해서는 당연히 별도의 공부가 필요합니다. 그래서 프롬프트 엔지니어링이 주목받고 있는 것이고, 이것을 전문으로 하는 다양한 AI 서비스들이 나타난 이유이기도 하죠. 

AI에 대한 관심이 나날이 높아지고 있기 때문에, 앞으로 업종 별, 업무 별 AI 활용 사례 역시 계속 발굴되고 발표될 것으로 생각됩니다. 그럼 이렇게, 어떻게 활용해야 할 지 몰라서 AI를 사용하지 않는다는 응답은 점점 줄어들 지 않을까 싶네요.

오히려 보안을 이유로 사내에서 사용이 금지되었다는 비중이 25%인 것이 놀랍습니다. 생각보다 많은 기업들이 AI 활용을 제한하고 있는 것으로 보여지는데요. 이 부분은 특정 기업만을 위한 자체적인 AI를 구축하지 않으면 해결하기 어려울겁니다. 그나마 다행인 것은 이렇게 기업 자체 AI 구축에 대한 관심도가 증가하고 있다는 것이고요. 금융권에서 발빠르게 움직이고 있기 때문에, 시간이 지나면 자연스럽게 해결될 문제로 생각됩니다. VDI와 클라우드가 금융과 공공을 거쳐 일반 기업으로 전파되기까지 꽤 시간이 걸렸던 것 처럼요.

• ■귀사만을 위한 고유한 AI 서비스가 필요하다고 생각하십니까?

그럼, 우리 회사만의 AI 서비스가 필요하다고 여기는 분들은 얼마나 될까요? 아쉽게도 아직은 그 필요성이 크지는 않은 것 같습니다. 30.8%의 응답자만 매우 필요하다고 응답했고, 8.4%의 응답자는 필요하지 않다고 했군요. 60.7%의 응답자는 AI가 없어도 업무에 크게 지장이 없다고 응답했습니다. 아직은 자체 AI 구축에 대한 사례도 많지 않고, AI 인프라부터 AI 모델 개발 및 고도화에 대한 전문 파트너도 적은 상황이니까요. 이 분야 역시 소수의 프라이빗 클라우드 구축 기업 vs 다수의 퍼블릭 클라우드 사용 기업으로 나뉘지 않을까 싶습니다. 물론 AI를 SaaS 형태로 사용하는 기업들의 수가 훨씬 많겠죠?

• ■2025년에 사내 AI 도입을 위한 프로젝트를 계획 중이십니까?

이 질에 대해 좀 더 깊이 들어가 보겠습니다. 사내 AI 도입을 위해 별도의 프로젝트를 계획 중인지 물었는데요. 거의 6:4의 비율로 계획하고 있지 않다는 응답이 높았습니다. 업무에 AI를 활용하는 것을 회사 차원의 프로젝트로 추진하는 것이 아닌, 개인 별, 팀 별, 부서 별 소규모 단위로 인지하고 있기 때문이지 않나라는 생각이 드는데요. 특정 협업 도구를 도입할 때에도 먼저 개인과 팀에서 사용성이 검증되면 전사적으로 확대되듯이, AI도 마찬가지 형태로 사내 도입이 추진되지 않을까 싶습니다.

• ■성공적인 AI 프로젝트 수행을 위하 우선적으로 고려해야 할 것은 무엇이라고 생각하십니까?

그럼에도 불구하고 AI 프로젝트를 추진하려는 분들께, 성공적인 AI 프로젝트를 위해 무엇을 우선적으로 챙겨야 하는지 물었습니다. 42%의 응답자 분들께서 사내 공감대 형성과 AI 적용이 필요한 업무 분야 분석이 제일 중요하다고 하셨는데요. 업무 생산성 도구를 도입할 때와 비슷하죠? RPA 도입 요건을 따져볼 때와 크게 다르지 않은 것 같습니다.

그 다음으로 많은 응답을 기록한 항목은 회사의 전폭적인 지원 하에 뛰어난 성능의 AI 인프라를 구축해야 한다는 문항이 28.2%를 차지했습니다. 아마도 이 항목을 선택하신 분들은 자체 AI 구축을 준비하는 분들이지 않을까 싶은데요. 높은 성능의 GPU 서버와 스토리지, 그리고 고전력을 수용할 수 있는 상면공간이 이 응답자 분들께 필요한 요소일 것입니다. 

그리고 이어지는 응답인 AI 전문 인력 확충은 23%를 차지했는데요. 사실 전 이 문항이 가장 많은 선택을 받을 것으로 예상했었습니다. 사내 AI 전문인력이 많아야 프로젝트를 성공적으로 완수할 수 있지 않을까라고 생각했거든요. 하지만 응답자 분들은 자체적으로 AI 전문 인력을 확보하는 것 보다는, 일단 AI를 왜 도입해야 하는지, 자체적으로 AI를 구축하기로 했으면 기반 인프라에 충분히 투자할 수 있는지를 더 중요하게 여기시는 것 같습니다. 그래서일까요? AI 프로젝트 구축 경험이 많은 전문 파트너 선정은 6.9%로 가장 중요성이 떨어졌습니다.

• ■AI 프로젝트를 계획하고 있지 않은 이유는 무엇입니까?

이번에는 AI 프로젝트를 계획하고 있지 않은 분들께 그 이유를 물었는데요. 역시나 사내에 AI 도입을 위한 공감대가 형성되지 않았다는 응답이 36%로 가장 높았습니다. 특정 프로젝트나 솔루션을 도입할 때의 첫 번째 관문이 바로 이거죠. '그걸 왜 해야 하는데?'를 넘지 못하면 AI가 아닌 어떤 솔루션이든 도입을 추진하기 어려울 테니까요.

두 번째로 높은 응답률을 기록한 것은 동종 업계의 레퍼런스를 보고 나서 추진하겠다입니다. 새로운 기술, 새로운 솔루션이 출현하면 대부분의 기업은 이런 스탠스를 취하죠. '동종업계 그 회사가 도입했대? 효과 괜찮대? 그럼 우리도 하자!'라는 의식의 흐름으로 프로젝트가 추진되는 케이스가 꽤 많거든요. AI 역시 새로운 기술이고 대세로 취급받는 뛰어난 기술이긴 하지만, 사내에 전사적으로 도입하는 것에는 신중할 수밖에 없습니다. 앞서 첫 번째 콘텐츠에서도 보셨듯이, 2025년도 IT 예산 상황이 좋지 않으니까요.

세 번째로 많은 선택을 받은 문항은 예산이 없어서 AI 프로젝트를 하지 못한다는 것이었습니다. 이건 AI에 대한 관심은 이미 충분히 있다는 것이기 때문에, 회사 내부 사정이 좋아지면 AI 프로젝트 추진 자체는 큰 어려움은 없을 것으로 생각됩니다. 이어서, 다른 AI 서비스를 잘 사용하고 있거나(15%), 이미 자체 AI를 구축했다는 응답이(5%) 뒤를 이었습니다.

여기까지 업무적으로 어떤 AI를 사용하고 있는지, 성공적인 사내 AI 프로젝트 추진을 위해 필요한 사항은 무엇인지에 대한 설문 결과를 살펴봤습니다. 아직은 미디어에서 이야기하는 것보다는 AI에 대한 인식이 그렇게까지 대세처럼 굳어진 것 같지는 않는군요. 클라우드 때와 비슷한 모양새입니다. 클라우드 기업들은 너도 나도 클라우드 지금 도입하지 않으면 큰일날 것 처럼 이야기하며 안달냈지만, 실제 고객들은 그렇게 받아들이지 않았거든요. AI도 마찬가지이지 않나라는 생각이 듭니다. 다만, 클라우드 때 보다는, AI의 확산 속도가 더 빠른 것 같긴 합니다.

저 역시 앞서 언급했던 것처럼, ChatGPT 외에 ChatGPT 기반의 다양한 서비스를 사용하고 있습니다. 이 중 업무적으로 활용해 보기 위해 유료 결제를 하며 꽤 심도있게 사용해 본 것들도 있고, 유료 결제를 한 만큼 제대로 한번 사용해 보려고 노력했던 서비스들도 있는데요. 아쉽게도 아직은 업무에 크게 활용하고 있지는 못합니다. 제 업무에 활용하기에는 아직 한계가 명확했거든요. 

ChatGPT가 막 확산될 즈음에는 거짓말을 일삼는, 할루시네이션 현상이 문제가 됐다면, 지금은 너무나 AI스러운 결과물이 문제입니다. 누가봐도 '이건 AI로 만들었네'라는 티가 많이 나기에, 업무적으로 사용하긴 어렵더라고요. AI로 결과물을 만들고 그걸 수정하는 시간보다, 그냥 AI 안쓰고 처음부터 직접 만드는게 시간이 덜 걸리는 업무도 아직은 많았습니다. 그래서 현재는 개인적인 궁금증 해결에만 AI를 사용하고 있는 실정입니다. 하지만 이 문제는 AI가 점점 발전해 나감에 따라 자연스럽게 해결될 것으로 기대합니다. 저도 AI를 제대로 활용해서 지금보다 2배 3배 더 많이 효율적으로 일하고 싶거든요.

이 콘텐츠가 AI 서비스를 제공하는 벤더의 관계자 분들, 그리고 자체 AI 도입을 준비하고 있는 담당자 분들께 조금이나마 도움이 되었기를 바랍니다. 2025년 IT 예산 설문조사의 스폰서 설문 결과는 다음 콘텐츠에서 확인해 주세요. 끝!