AI 혁신, 현장주도로 바꿔야

현장주도로 도전하는 AI 혁신. 지금 조직에 진화가 요구되는 변화 관리

2025년 9월 8일

AKKKODis 컨설팅

이제 비즈니스 현장에서 AI 기술이 빠르게 활용되고 있으며, 다양한 업무 애플리케이션과 시스템에도 AI 표준으로 탑재되고 있습니다.

AI 활용이 확산되는 한편, AI를 활용해 기업 및 조직 자체를 변혁하는 'AI 트랜스포메이션(AX)'이 좀처럼 진행되지 않는 것이 현재 기업의 과제가 되고 있습니다.

 

이러한 상황 속에서 AKKODiS 컨설팅은 2024년부터 Microsoft 365 Copilot(이하, M365 Copilot)과 Microsoft Power Platform을 활용한 DX 전략 프로그램을 사내에 도입했습니다. 하향식(Top-down) 개혁이 아닌, 현장 스스로 AI를 활용하여 혁신해 나가는 180도 전환된 마인드셋 변화를 통해 성과를 올리고 있습니다. 이러한 실적을 바탕으로 AX(AI Tranformation) 추진을 위해 지금 기업이 취해야 할 접근 방식에 대해 AKKODiS 컨설팅 이사 겸 COO인 이사 토시기(伊在俊紀)와 Cloud & AI Solution 본부 후쿠모토(福本) 부장인 우상태(禹相太)가 일본 마이크로소프트 집행임원 상무 코포레이트 솔루션 사업 부장인 고바야시 지로(小林治郎) 씨를 초청하여 이야기를 나누었습니다.

 

일본 기업에서 AI를 활용한 혁신이 진행되지 않는 이유

이사 도시키(이하, 이사) : 일본 경제산업성 발표한 DX 리포트에 따르면, 일본 기업의 DX 추진은 여전히 더딘 상황이며, 특히 경영층의 이해 부족이나 인재 부족 등의 문제점이 지적되고 있습니다. 코바야시 씨는 기업의 AI 활용의 상황에 대해 어떻게 보고 계신가요?

 

고바야시 지로(이하, 고바야시) : AI에 대해서는 이제 '사용할 것인가, 말 것인가'가 아니라, '언제부터 사용할 것인가'의 단계에 있다고 생각합니다. 저 자신도 일상적으로 'M365 Copilot'을 사용하고 있는데, 이제 이것 없이는 일이 안 될 정도로 생산성이 극적으로 향상되었습니다.

 

다만, '어떻게 사용해야 하는가'라는 점에 대해 고민하는 기업이 많은 것도 사실입니다. AI를 활용한다는 기업도 대부분은 검색 대신 AI를 사용하는 것이 많아 '업무 효율의 성과나 투자 효과가 보이지 않는다'는 것이 솔직한 심정 아닐까요? AI를 활용한 기업 혁신은 AI 활용 성숙도에 따라 수준이 올라가는데, 대부분 기업의 활용 성숙도는 초기 단계 정도라고 생각합니다.

 

이사 : 왜 일본 기업은 AI를 제대로 활용하지 못하는 것일까요?

 

고바야시 : 원인 중 하나로, AI 활용이 경영 과제로 인식되지 않고 있다는 점을 들 수 있습니다 .더 나아가 말하자면, AI 활용이 정보시스템 부서 주도로 이루어지기 때문에, 기업 내부에서도 현장에도 '혁신을 위한 지식과 경험이 축적되지 않는다'는 점이 크다고 생각합니다.

 

조금 전, 'AI 혁신에는 활용 숙성도에 따른 단계가 있다'고 말씀드렸는데, 단계가 올라갈수록 '조직 스스로가 혁신해 나가는' 자발적인 프로세스가 생겨납니다. 왜냐하면 AI는 인간이 할 수 있는 일을 '확장'하기 위한 것이기 때문입니다. AI 에이전트가 바로 그런 예인데, '과제 해결을 목표로 하는 과정에서, AI를 활용해 방식을 개선하기 위해 에이전트를 만드는' 시대가 올 것입니다.

 

원래 일본 기업은 현장에서 개선을 거듭해 나가는 것에 강점이 있었습니다만, IT에 관해서는 정보시스템 부서가 주도하고 '현장은 주어진 도구를 사용한다'는 생각이 고착화되어, 여기에 바로 격차(Gap)가 있다고 생각합니다.

 

우상태(이하, 우) : 저도 동감입니다. 고바야시 씨가 말씀하신 것처럼, AI는 '사용자의 능력을 확장하는' 것이며, 그 점이 기존 IT 도구와 크게 다릅니다.

 

지금까지의 DX나 IT 혁신은 현장을 위하기보다 경영층을 위한 개혁이었고, 사람 · 물자 · 자본을 얼마나 최적으로 배분할 수 있느냐에 주안점이 놓여 있었습니다. AI도 이와 같은 맥락에서 이야기되는 경우가 많습니다만, 한쪽은 '경영층을 위한 효율화'이고 AI는 '사용자 자신이나 현장의 능력을 향상시키는'것이라는 점에서 큰 차이가 있습니다. AI를 활용했을 경우, 직원 한 사람 한 사람의 ROI(투자수익율)가 얼마나 향상되었는지를 파악하기 어렵기 때문에, 경영층으로서도 AI 도입의 성과를 실감하기 어려운 것이라고 생각합니다.

 

다만 비즈니스 환경의 변화가 전례 없을 정도로 빠른 현재, 하향식(Top-down) 의사결정으로는 현장의 대응이 따라갈 수 없습니다.그런 의미에서 AI 활용은 더 이상 미룰 수 없는 상황이며, '현장 주도형 DX'를 기업 전체에 뿌리내리게 하는 것이 필요하다고 생각합니다.

 

자율적인 혁신을 위한 'DX 전략 프로그램'이란

고바야시 : AKKODiS에서도 AI를 활용한 DX 전략 프로그램을 시작하셨다고 들었는데, 이것은 어떤 프로그램인지요?

 

이사 : 전제로서, 저희도 AI에 대해서는 '사용하는 것 자체가 목적'이 아니라, '목표로 하는 비전을 향해 가속하기 위한 도구'로 여기고 있습니다. 이러한 생각을 바탕으로, 중기 경영 계획을 업데이트 할 때 AI를 사업 계획에 포함시켜 전략 프로그램으로서 추진하기로 결정했습니다.

 

특징은 '프로젝트'가 아니라 '프로그램'이라는 점입니다. AI를 활용한 업무 혁신을 하려고 하면, 아무래도 데이터 기반의 정비 등 대규모 시스템 개편을 피할 수 없습니다. 한편 시스템 개편이 완료되기를 기다리다가는 변화가 빠른 시장을 따라갈 수 없다는 딜레마가 있습니다.

 

그래서 저희는 시스템 개편을 포함한 대규모 '업무 프로세스 개혁'과 병행하여 AI 활용을 통한 단기간의 생산성 향상을 추진했습니다. 구체적으로는 즉시 성과를 낼 수 있는 몇몇 업무에서 '퀵윈(Quick Win)'이라 칭하는, AI를 활용한 업무 개선 프로그램을 실시한 것입니다.

 

다만, 업무를 개선하기 위해서는 사용자 자신의 '업무 생산성을 높이겠다'는 의식 개혁이 필수 불가결합니다. 그래서 의식 개혁을 실현하기 위한 '조직 변혁' 또한 프로젝트로서 함께 착수했습니다. 이 세 가지 프로젝트를 삼위일체로서 추진해 나가는 것이 바로 저희 회사 DX 전략 프로그램의 핵심 내용입니다.

 

고바야시 : 기반 정비, 조직 변혁, 조기 성과 달성을 동시에 추진하셨다는 것이군요.

 

이사 : 말씀하신 그대로입니다. 그렇기 때문에 기존의 개발 프로젝트처럼 요구사항 정의부터 순서대로 진행하기는 어려워, '프로그램'으로 설정했습니다. 또한, 성과를 내면서 진행함으로써 현장에서의 AI 활용이 촉진될 수 있다고 생각했습니다. 왜냐하면 저 자신이 과거 정보시스템부 책임자였고 그때부터 '시스템은 도입이 목적이 아니라, 정착해서 효과가 나와야 비로소 의미가 있다'는 생각을 갖고 있었으며, 하향식(Top-down) 개혁에 한계를 느끼고 있었기 때문입니다. 이번에 '현장 주도의 개혁'이 성공적으로 진행될 수 있었던 요인으로는, 이 활동에 경영진이 전폭적으로 지원(풀커밋)했다는 점이 컸다고 생각합니다.

 

고바야시 : 그야말로 AI 활용을 경영 전략으로 인식하고 전사적으로 임했다는 것이군요.

 

이사 : AKKODiS의 강점은 '현장력(現場力)'입니다. 그렇기 때문에 기존 하향식 DX가 아닌, 우상태 부본부장이 이야기했던 '현장 주도형 DX'를 추진해 나갈 환경을 어떻게 구축할 수 있을지 진지하게 고민했습니다.

 

그래서 전사적으로 도입한 것이 M365 Copilot, 그리고 로우코드(Low-code) 업무 앱 제작 도구인 'Power Apps Premium'과 업무 자동화 도구인 'Power Automate Premium'입니다. Microsoft 제품은 경영층부터 현장 직원까지 모든 구성원이 익숙하게 사용하고 있고, M365 Copilot은 일상적으로 이용하는 Office나 Teams와의 친화성이 높아 망설임 없이 결정했습니다. 그리고 노코드/로우코드의 대표주자인 Power Platform은 현장의 비엔지니어도 앱 개발이나 업무 흐름의 자동화가 가능하여, '현장 주도형 디지털 혁신'을 실현할 수 있다는 점에서 선택했습니다. 그때 신속하게 도입을 결정했던 것은 지금 돌이켜봐도 올바른 판단이었다고 할 수 있습니다.

 

현장 스스로가 'AI를 활용하고 싶다'고 생각하게 만드는 환경 조성이 관건

고바야시 : 퀵윈(Quick-win)을 어떻게 진행했고, 지금까지 어떤 성과를 거두었는지도 말씀해 주십시오.

 

우 : DX 전략 프로그램에서, 가장 먼저 착수한 것이 퀵윈이었습니다. 사용자 주도형으로 AI를 활용하기 위해서는, 사용자 스스로가 "활용하고 싶다/해야만 한다"는 내재적 동기를 불러일으킬 수 있는 환경을 마련해야 했기 때문입니다.

 

퀵윈은 라이선스 구매 후 3개월 이내에 어떤 형태로든 업무 성과를 창출하고 공유하는 것을 목표로 하는 활동입니다. 성공 사례를 공유함으로써 "다양한 것들을 할 수 있구나"라는 이해를 높이고 동기를 부여하는 것이 목적이었습니다.

 

사장인 가와사키와 이사 등 경영진의 약속(commitment) 아래, 본부장급 인재들이 모인 운영위원회를 만들었습니다. 여기에 영업, 인사, 회계, 정보시스템 부문, 거버넌스, 보안, 기존 인프라 관리 부서 등의 참여를 유도하고, 이를 총괄하기 위해 'DX 전략 프로그램 팀'을 만들어 긴밀히 협력하며 정보를 공유하는 체제를 갖췄습니다. 동시에 각 사업부분에도 개혁 리더를 배정하도록 했습니다.

 

고바야시 : 이상적인 체제군요.

우 : 여기서 가장 먼저 한 일은, 업무 부서에 "평소에 귀찮다고 생각하는 모든 것을 적어 주십시오'라고 요청한 것이었습니다. 그러자 "관리용 엑셀 시트가 너무 많아 번잡하다", "하나의 데이터를 시스템에 네 번씩 중복 입력하고 있다' 등, 상상도 하지 못했던 비효율적인 업무가 여기저기 존재한다는 것을 알게 되었습니다. 그러한 귀찮은 과제를 Power Platform이나 M365 Copilot으로 해결해 나갔습니다.

 

그 중 하나가 '매출 총이익 시뮬레이션'입니다. 저희 사업은 SES(시스템 엔지니어링 서비스) 파견업이나 컨설팅, 교육 등 다방면에 걸쳐 있고 계약 형태도 복잡해서, 수십 종류나 되는 엑셀 포맷을 기반으로 수익 구조를 계산하는 로직을 사용하고 있었습니다. 그래서 Power Apps를 이용해 그 계산 로직을 하나의 앱으로 만들고, 계산이나 시뮬레이션을 할 수 있도록 했습니다. 이전에는 20개 정도의 엑셀 파일을 통합(merge)해서 여러 가지 처리를 해야 했는데, 이제는 누구나 앱으로 간단히 시뮬레이션 할 수 있게 되어 경영 판단의 속도도 빨라졌습니다. 그 결과, 육안 확인 및 오류 검사에 소요되던 많은 시간이 단축되어 업무 리드타임이 5% 감소헸고 새로 부임하는 담당자에 대한 교육 비용의 절감 효과도 기대하고 있습니다.

 

데이터 기반 정비에서도 큰 효과가 나타나고 있습니다. Dataverse와 Power BI로 고객 데이터 분석 기반을 마련함으로써 지금까지 기간 시스템에서 필요한 데이터를 찾아내던 수고를 덜고 분석 및 영업 자료 작성에 드는 공수(工數)를 대폭 줄일 수 있었습니다. 연간 8,300시간, 3000만 엔의 비용 절감 효과를 얻었습니다.

 

마찬가지로 기존의 기간 시스템으로는 대응하기 어려웠던, 복잡하고 다양한 청구 처리 신청 프로세스도 Power Apps와 Power Automate로 대부분의 과정을 자동화했습니다. 이를 통해 인적 오류(human error)를 줄이고 청구 데이터를 일원화하여 관리할 수 있게 되었으며, 연간 7,500시간, 2,500만 엔의 비용 절감을 실현했습니다.

 

고바야시 : AI 활용하는 데 있어서는 데이터의 축적 및 관리 체제를 어떻게 구축하느냐가 큰 문제가 됩니다.. 이전까지는 클라우드 전환을 추진하는 요인으로 안전성, 운용 부담 경감, 보안 등의 관점이 주로 거론되었습니다만, AI 활용이 전제가 되면, '온프레미스(사내 서버) 어딘가에 데이터가 있는' 상태로는 활용할 수가 없습니다. AI 활용은 데이터 거버넌스 및 조직 거버넌스와 직결되며, 결국 조직의 변화 관리(Change Managemendt)가 필요해지는 셈입니다.

 

우 : 거버넌스의 관점에서 보자면, Microsoft의 AI는 아주 궁합이 좋습니다. 특히 M365 Copilot의 경우, "로그인 후에 사용해 주십시오'라는 원칙을 철저히 지키게 하는 것만으로도 Teams나 Office에서 일상적으로 AI를 안전하게 사용할 수 있습니다. 다른 대화형 AI 챗 서비스였다면 보안 및 거버넌스 리스크 때문에 이 정도로 확산되지는 못했을 것이라고 생각합니다.

 

고바야시 : 어려웠던 점은 없었습니까?

우 : M365 Copilot은 Office에 포함된 대화형 AI이기 때문에 "모든 직원이 자연스럽게 사용하기 시작할 것"이라고 생각했습니다. 하지만 도입 후 3개월이 지나도 사용자 비율은 전혀 오르지 않았고 5,000 라이선스 중 10% 정도밖에 사용되지 않고 있다는 사실을 알게 되었습니다. 그래서 ※ '인에이블먼트(Enablement)'에 본격적으로 착수하게 되었고, 전사 직원을 대상으로 하는 타운홀 미팅에서 DX 프로그램을 소개하고 M365 Coplilot의 사용법을 배울 수 있는 영상을 3~5분짜리 짧은 동영상을 제작하여 올리거나, 커뮤니티를 개설해 이벤트를 여는 등 다양한 활성화 정책을 펼쳤습니다.

 

동영상은 지금도 주 1~2편씩 꾸준히 올리고 있습니다. 지난 4월에 출시된 요구사항에 맞춰 비즈니스 분석을 수행하는 'Researcher', 데이터 과학자처럼 데이터에서 인사이트를 찾아내는 'Analyst'의 에이전트에 대한 사용법도 짧은 동영상으로 만들어 설명하고,  사내에서 직접 실습해 볼 수 있는 핸즈온(hands-on) 이벤트를 개최했습니다. 그 덕분에, 사내 경영 지원 업무 담당자의 98%가 AI 사용자가 되었습니다. 엔지니어 관리직, 즉 과장 급 레벨에서는 약 85%가 사용하고 있습니다.

 

※ 조직과 개인의 능력을 최대한으로 끌어내어 성과를 향상시키기 위한 포괄적인 지원 활동

 

고바야시 : 그것은 경이적인 침투율이네요. 우리 회사와 필적할 정도로 침투해 있다고 생각합니다.

 

우 : 컴플라이언스 팀이 엑셀로 매크로를 만들 때, "만드는 법을 몰라도 M365 Copilot에게 물어보면 매크로 만드는 법을 알려준다"고 말했으니까요.

 

고바야시 : 한 사람 한 사람에게 엑셀 전문가가 붙어 있는 것과 같고, 지시하면 원하는 대로 매크로를 만들어 주기도 하니 정말 편리합니다. 이런 것들이 쌓이면 기업의 경쟁력이나 성장 속도는 크게 달라질 것이라고 생각합니다.

 

현장에 디지털 주도권을 되찾아주면, 기업 전체의 퍼포먼스는 극적으로 올라간다

 

우 : 이번 활동으로, AX(AI Transformation)의 실천은 역시 조직 문화를 바꾸지 않으면 안 된다는 것을 실감했습니다. AI를 사용해야 할 외부적 동기로서 KPI도 설정했지만, 그러한 외부로부터의 작용이 아니라, 조직 내에 AX 변혁을 뿌리내리게 하려면 역시 내재적 동기를 어떻게 조성하는가가 포인트라고 느꼈습니다.

 

고바야시 : 제 부서에서 AI 에이전트 활용을 포상하는 해커톤을 개최했습니다. 우승한 팀은 관리·운영 업무를 담당하는 어드미니스트레이터 팀으로, 직원들로부터 문의가 많은 시스템상의 문제에 대해 이 에이전트에 물어보면 SharePoint에 있는 해결 매뉴얼로 바로 안내해주는 것을 개발했습니다. 팀 멤버 전원이 도움을 받고 있다고 생각합니다.

 

이사 : 그렇게 이노베이터나 얼리 어답터와 같이 선구적으로 나서는 사람들이 성공 사례를 공유하면, 다수의 직원이 그 뒤를 따르게 되고, 현장으로부터 상향식(Nottom-up)으로 마인드 체인지가 이루어지죠. 이것을 반복함으로써 현장 직원들에게 AI나 디지털을 활용하는 주도권이 돌아온다고 생각합니다. 바로 지금, AI 활용이 더 이상 미룰 수 없는 이 시기야말로 일본 기업이 디지털 주도권을 되찾을 기회입니다.

 

고바야시 : 그렇게 생각합니다. 서두에서 말씀드린 대로, AI 활용은 '얼마나 빨리 시작하는가'의 국면에 접어들었습니다.

 

AI 도입 논의에서 거의 반드시 나오는 이야기가, 'AI가 사람의 일을 빼앗는다'는 것이지만, AI는 인원 감축의 도구가 아니라 사람의 퍼포먼스를 확장하는 것입니다. 앞으로 심각한 노동력 부족이 우려되는 상황에서, 현재의 노동 인구로 수십 퍼센트의 생산성을 높이려고 한다면 그 사람들의 능력과 생산성을 얼마나 신속하게 높일 수 있는지가 관건이 됩니다. 경영자나 변혁을 이끄는 분들은, 발상을 '인원 감축'이 아닌, '현재의 인원으로 어떻게 하면 100%, 200%의 힘을 발휘할 수 있을까'라는 관점으로 전환하여, AI를 끝까지 활용하겠다는 생각으로 임해주셨으면 합니다.

 

180度転換したマインドチェンジ(180도 전환된 마인드셋 변화)'라는 표현을 직역
実績を踏まえ 실적을 바탕으로
取締役(이사), 執行役員 常務(집행임원 상무) 일본 기업의 직책을 한국 독자들이 이해하기 쉬운 용어로 번역
한국은 산업통상자원부
「使うか使わないか」ではなく、「いつ使い始めるのか」 ''사용할 것인가, 말 것인가'가 아니라 '언제부터 사용할 것인가''로 번역
～見ていらっしゃいますか(~보고 계신가요?)', '～と思います(~라고 생각합니다)'와 같이 부드럽고 자연스러운 경어체 대화 형식으로 번역
変革していく知見が蓄積できない(혁신을 위한 지식과 경험이 축적되지 않는다)
現場で改善を積み重ねていくこと(현장에서 개선을 거듭해 나가는 것
社員一人ひとりのROIが把握しづらい(직원 한 사람 한 사람의 ROI를 파악하기 어렵다)
실질적인 성과(ROI)
待ったなしの状況(더 이상 미룰 수 없는 상황)
프로젝트'가 종종 대규모 시스템 개편(大がかりなシステム刷新)과 같이 시작과 끝이 정해진 큰 단위의 사업으로 인식되는 반면, 여기서 '프로그램'은 보다 지속적이고 유연한 활동이라는 뉘앙스를 가진다.
Quick Win 작고 빠른 성공을 통해 조직 전체에 변화의 동력을 불어넣는 중요한 경영 전략 용어
전사적(全社的) : '회사 전체가 하나의 단위로서 움직였다'는 포괄적이고 중립적인 사실을 전달. 어떤 과제(Task), 기회(Opportunity), 문제(Problem) 등 대상에 상관없이 '모두가 함께 노력했다'는 '방식(How)'에 초점을 맞춘 표현. 비즈니스 용어
풀커밋(Full Commit) 원어의 뉘앙스를 살려, 단순한 동의를 넘어선 전폭적인 헌신과 지원이 있었음을 강조
全社員が慣れ親しんでおり 모든 구성원이 익숙하게 사용
親和性が高い 호환성이 높다
Agile / アジル・カンパニー 시장의 동향에 재빨리 대응하는 기업
내재적 동기(内発的動機)
작은 성공 경험(Quick-Win)
粗利 (매출 총이익) 상품이나 서비스의 매출액에서 매출원가를 뺀 이익, 순이익(Net Profit)과는 다른 개념
工数 어떤 작업을 완료하는 데 필요한 사람과 시간을 나타내는 단위
基幹システム(기간 시스템) 기업의 경영과 업무의 근간(基幹)이 되는 핵심적인 정보 시스템, 주로 회계, 생산, 판매, 재고 관리 등을 담당하는 ERP(전사적 자원 관리) 시스템 등이 이에 해당
一元管理 (일원화된 관리)
オンプレミス (On-premise) 클라우드(Cloud)의 반대 개념으로, 기업이 자체적으로 보유한 서버와 전산실에 소프트웨어나 데이터를 직접 설치하고 운영하는 방식
ガバナンス (Governance) 조직의 목표 달성을 위해 의사결정 및 관리를 위한 체계나 규정을 의미
浸透できなかった (확산되지 못했다) 
イネーブルメント (Enablement) 단순히 '교육'이나 '훈련'을 넘어, 사용자가 특정 도구나 기술을 '성공적으로 활용할 수 있도록 역량을 강화하고 환경을 조성해주는 모든 활동'을 의미
ハンズオン (Hands-on) '손을 직접 사용한다'는 뜻으로, 이론 강의만 듣는 것이 아니라 참가자가 컴퓨터나 장비를 직접 조작하며 기술을 익히는 '실습형 교육'을 의미
침투율 (浸透率): 마케팅 용어로, 특정 제품이나 서비스가 시장 또는 고객층에 얼마나 보급되었는지를 나타내는 비율, 여기서는 '보급률' 또는 '사용률'로 이해할 수 있다.
現場にデジタル主導権を取り戻せば : '디지털 주도권을 되찾는다'는 것은 Top-down 형식이 아닌, 현장 중심의 자율적인 디지털 혁신을 의미
AX : AI Transformation(인공지능 전환)의 약자
AIエージェント 특정 목적을 위해 자율적으로 작업을 수행하는 AI 프로그램 의미, 본문에서는 '챗봇'이나 '가상 비서'와 같은 역할 하는 AI 지칭
ハッカソン  해킹(Hacking)'과 '마라톤(Marathon)'의 합성어, 정해진 시간 동안 집중적으로 아이디어를 내고 프로그래밍하여 시제품(프로토타입)을 만드는 개발 경진대회
イノベーターやアーリーアダプター  '혁신 수용자 이론'에 나오는 용어, (Innovators, 혁신가 / Early Adopters, 조기 수용자
マインドチェンジが図られていきますよね 마인드 체인지가 이루어지죠
待ったなし 스모 용어로, 기술이 들어간 후에는 심판이 경기를 중단시킬 수 없는 상황을 의미, '더 이상 미룰 수 없는', '시간적 여유가 없는 절박한 상황'을 나타냄