생성 AI가 직장에서 생산성을 높여줄까요?
생성 AI가 직장에서 생산성을 높여줄까요?
예, 하지만 아직 일을 잘하지 못하는 경우에만 가능합니다. 콜 센터에서 AI 비서의 영향을 조사하는 학자들은 경험이 적은 근로자에게 이점을 찾습니다.
스탠포드 대학교 HAI
2023.04.24
생성 AI의 기능이 증가함에 따라 이러한 모델은 연구실에서 사무실로 이동하고 있습니다. 그러나 그들은 작업자 생산성을 향상합니까?
Stanford HAI 및 Massachusetts Institute of Technology 내 Stanford Digital Economy Lab 의 학자들은 콜 센터의 고객 서비스 부문에 대규모로 배포된 생성 AI의 영향을 연구했습니다. 그들은 AI 지원에 대한 액세스가 상담원 생산성을 14% 증가시켰고 경험이 적은 작업자에게 가장 큰 영향을 미쳤다는 사실을 발견했습니다.
"우리는 AI에 접근할 수 있는 작업자가 상당히 상당한 생산성 향상을 볼 수 있다는 것을 발견했지만, 이러한 이득의 대부분은 초보 또는 능력이 부족한 작업자에게 발생합니다."라고 MIT 박사 후보이자 새 논문 의 공동 저자인 Lindsey Raymond는 말합니다. "AI 모델이 더 유능한 작업자의 잠재적인 암묵적 지식을 전파하고 새로운 작업자가 경험 곡선을 위로 이동하도록 돕기 때문일 수 있습니다."
콜 센터 어시스턴트
Stanford Digital Economy Lab의 책임자인 경제학자 Erik Brynjolfsson 이 포함된 연구 팀 ; MIT Sloan School of Management 부교수 Danielle Li; 및 Raymond – 비즈니스 프로세스 소프트웨어를 제공하는 Fortune 500대 소프트웨어 회사를 위한 채팅 도우미의 시차 배치를 조사했습니다. 회사에서 5,000명이 넘는 상담원의 데이터로 훈련된 이 도구는 고객 채팅을 모니터링하고 회사 상담원에게 고객에게 응답하는 방법에 대한 실시간 제안을 제공합니다. 에이전트는 이러한 제안을 사용할 수 있지만 무시할 수도 있습니다.
학자들은 이 도구를 통해 상담원이 시간당 13.8% 더 많은 문제를 해결할 수 있다는 사실을 발견했습니다. 상담원은 문제를 더 빠르게 처리하고 한 번에 여러 통화를 처리하며 문제 해결에 더 성공할 수 있었습니다.
AI 도우미는 모든 생산성 측정에서 숙련도가 낮거나 경험이 적은 근로자의 성과를 개선했습니다. 이 도구를 사용한 2개월 재직 에이전트는 AI에 액세스할 수 없는 6개월 재직 에이전트와 마찬가지로 수행할 수 있었습니다.
연구자들은 회사에서 가장 숙련되거나 경험이 많은 구성원에게 AI의 긍정적인 효과가 거의 없음을 발견했습니다.
Brynjolfsson은 "고숙련 작업자는 AI 권장 사항이 자신의 행동에 포함된 지식을 포착하기 때문에 AI 지원에서 얻는 것이 적을 수 있습니다."라고 말합니다.
직원 생산성 외에도 Brynjolfsson은 AI 지원에 추가적인 이점이 있다고 언급했습니다. 상담원이 좌절한 고객에게 더 공감할 수 있도록 설계된 AI 제안의 결과로 고객은 상담원을 훨씬 더 긍정적으로 대했습니다.
'우리가 모르는 것이 너무 많다'
생성 AI 및 파운데이션 모델이 성능을 보다 광범위하게 개선함에 따라 더 많은 도구가 인력에 적용되고 있습니다. 그러나 지금까지 생산성, 조직 구조 또는 사기에 미치는 영향을 대규모로 조사한 연구는 거의 없다고 저자는 지적합니다.
일부 소규모 실험을 포함하여 제너레이티브 AI 기능을 이해하려는 연구는 적지만 점점 늘어나고 있지만 실제 작업장에서 생성 AI 도구를 살펴보는 첫 번째 연구 중 하나입니다.
Brynjolfsson은 "여기에서 훨씬 더 많은 연구가 필요합니다."라고 말합니다. “AI가 생산성에 미치는 영향이 시간이 지남에 따라 달라질 수 있는지 여부는 알 수 없으며 이러한 도구를 사무실에 추가하려면 보완적인 조직 투자, 기술 개발 및 비즈니스 프로세스 재설계가 필요할 수 있습니다. 그리고 AI 시스템은 근로자와 고객 만족도, 이탈, 행동 패턴에 영향을 미칠 수 있습니다. 우리가 모르는 것이 너무 많습니다.”
논문 내용 발췌
첫째, AI 지원은 작업자 생산성을 높여 상담원이 시간당 성공적으로 해결할 수 있는 채팅 수가 13.8% 증가합니다. 이러한 증가는 생산성의 세 가지 구성 요소의 변화를 반영합니다. 상담원이 개별 채팅을 처리하는 데 걸리는 시간 감소, 상담원이 시간당 처리할 수 있는 채팅 수 증가(상담원은 한 번에 여러 통화를 처리할 수 있음) 성공적으로 해결된 채팅의 점유율이 약간 증가했습니다.
둘째, AI 지원은 우리가 고려하는 모든 생산성 측정에서 덜 숙련되고 경험이 적은 근로자의 성과를 불균형하게 증가시킵니다. 또한 AI 도구는 신입 상담원이 경험 곡선 아래로 더 빠르게 이동하는 데 도움이 된다는 사실을 발견했습니다. 재직 기간이 2개월인 치료를 받은 상담원은 재직 기간이 6개월 이상인 치료를 받지 않은 상담원만큼 성과를 냅니다. 이러한 결과는 컴퓨터 기술의 초기 물결에 대한 기술 편향적 기술 변화의 증거를 찾은 연구와 근본적으로 대조됩니다(Autor et al., 2003; Acemoglu and Restrepo, 2018; Bresnahan et al., 2002; Bartel et al., 2007).
세 번째 결과 세트는 지금까지 우리가 발견한 것의 기본 메커니즘을 조사합니다. 우리는 AI 권장 사항이 자신의 행동에 내재된 잠재적인 암묵적 지식을 포착하기 때문에 고숙련 근로자가 AI 지원으로부터 얻는 것이 적을 수 있다고 가정합니다. 오히려 저숙련 근로자는 AI 제안을 준수함으로써 이러한 행동을 통합함으로써 개선될 가능성이 더 높습니다. 이와 일관되게 우리는 가장 숙련되거나 가장 경험이 많은 근로자에게 AI 액세스의 긍정적인 효과를 거의 발견하지 못했습니다. 대신 텍스트 분석을 사용하여 AI 지원이 저숙련 상담원이 고숙련 상담원처럼 의사소통하도록 이끈다는 암시적인 증거를 찾습니다.
마지막으로, 우리는 AI 시스템의 도입이 업무 경험과 구성에 영향을 미칠 수 있음을 보여줍니다. 우리는 채팅 메시지의 감정으로 측정할 때 AI 지원이 고객이 상담원을 대하는 방식을 현저하게 개선한다는 것을 보여줍니다. 이러한 변화는 다른 조직적 변화와 관련이 있을 수 있습니다. 특히 신입 직원의 경우 이직률이 감소하고 고객이 상담원의 감독자와 통화를 요청하여 전화를 에스컬레이션할 가능성이 줄어듭니다. 우리의 전반적인 연구 결과는 인간과 함께 일하는 생성 AI가 개별 작업자의 생산성과 유지에 상당히 긍정적인 영향을 미칠 수 있음을 보여줍니다. 그러나 우리는 이 논문이 생성 AI 도구의 총 고용 또는 임금 효과를 밝히기 위해 고안된 것이 아니라는 점을 강조합니다.
우리의 논문은 다양한 형태의 기술 채택이 근로자 생산성 및 작업 조직에 미치는 영향에 대한 대규모 문헌과 관련이 있습니다(예: Rosen, 1981; Autor et al., 1998; Athey and Stern, 2002; Bresnahan et al., 2002 ; Bartel et al., 2007; Acemoglu et al., 2007; Hoffman et al., 2017; Bloom et al., 2014; Michaels et al., 2014; Garicano 및 Rossi-Hansberg, 2015; Acemoglu 및 Restrepo, 2020) . 이러한 많은 연구, 특히 정보 기술에 초점을 맞춘 연구에서는 IT가 고숙련 근로자를 보완한다는 증거를 찾습니다(Akerman et al., 2015; Taniguchi and Yamada, 2022). Bartelet al. (2007)은 IT를 채택한 기업이 더 숙련된 노동력을 사용하고 직원의 기술 요구 사항을 증가시키는 경향이 있음을 보여줍니다. Acemoglu 및 Restrepo(2020)는 로봇의 확산을 연구하고 로봇의 부정적인 고용 효과가 생산직 근로자와 대학 교육 미만 근로자에게 가장 두드러진다는 사실을 발견했습니다. 대조적으로, 우리는 다른 유형의 기술인 생성 AI를 연구하고 그것이 저숙련 근로자를 가장 효과적으로 보강한다는 증거를 찾습니다.
예를 들어, Peng et al. (2023b) 특정 코딩 작업(JavaScript로 HTTP 서버 작성)을 위해 소프트웨어 엔지니어를 모집하고 GitHub Copilot에 대한 액세스 권한이 부여된 사람들이 이 작업을 두 배 빠르게 완료함을 보여줍니다. 마찬가지로 Noy와 Zhang(2023)은 ChatGPT에 액세스할 수 있는 피험자가 전문적인 작문 작업을 더 빨리 완료한다는 것을 보여주는 온라인 실험을 실행했습니다. 또한 그들은 ChatGPT가 생산성 분포를 압축하여 저숙련 근로자가 가장 많은 혜택을 받는다는 것을 보여줍니다.
그러나 우리가 아는 한, 생성 AI 도구에 대한 액세스가 실제 작업장에서 또는 더 오랜 기간 동안 생산성에 미치는 영향에 대한 연구는 없었습니다. 이러한 연구는 AI가 생산성에 미치는 영향이 시간이 지남에 따라 달라질 수 있고 작업자의 기본 경험 또는 전문성 수준과 상호 작용할 수 있기 때문에 중요합니다. 실험실 환경에서 유망해 보이는 기술은 보완적인 조직 투자, 기술 개발 및 비즈니스 프로세스 재설계가 필요하기 때문에 실제로는 더 제한적인 영향을 미칠 수 있습니다. 또한 AI 시스템의 도입은 직원 및 고객 만족도, 이탈 및 조직 행동 패턴에 더 많은 영향을 미칠 수 있습니다.
결론
기계 학습의 발전은 광범위한 경제적 가능성을 열어줍니다. 우리의 논문은 실제 작업장에서 생성 AI 도구의 효과에 대한 최초의 실증적 증거를 제공합니다. 우리 환경에서 우리는 AI가 생성한 권장 사항에 대한 액세스가 직원 생산성을 높이고 고객 감정을 개선하며 직원 이직률 감소와 관련이 있음을 발견했습니다.
우리는 우리가 문서화한 효과의 일부가 우리 회사의 고숙련 작업자의 모범 사례를 구현하는 AI 시스템의 능력에 의해 주도된다고 가정합니다. 이러한 관행은 암묵적 지식을 포함하기 때문에 이전에는 전파하기 어려웠을 수 있습니다. 이와 일관되게, 우리는 AI 지원이 신입 및 미숙련 근로자의 문제 해결 및 고객 만족도를 크게 향상시키지만 이러한 조치에 대해 가장 숙련되거나 경험이 많은 근로자에게 도움이 되지 않는다는 것을 확인했습니다. 상담원 대화의 텍스트를 분석하면서 AI 권장 사항이 저숙련 작업자가 고숙련 작업자처럼 의사소통하도록 유도한다는 암시적인 증거를 발견했습니다.
우리의 연구 결과와 그 한계는 향후 연구를 위한 다양한 방향을 제시합니다. 잠재적인 범용 기술로서 생성적 AI는 다양한 방식으로 배포될 수 있고 배포될 것이며 우리가 발견한 효과가 모든 기업과 생산 프로세스에 걸쳐 일반화되지 않을 수도 있습니다(Eloundou et al., 2023). 예를 들어 우리 환경에는 상대적으로 안정적인 제품과 일련의 기술 지원 질문이 있습니다. 제품이나 환경이 빠르게 변화하는 영역에서는 과거 데이터를 기반으로 훈련된 AI 추천의 상대적 가치가 다를 수 있습니다.
우리의 결과는 기술 수요, 작업 설계, 임금 또는 고객 수요에 대한 잠재적인 장기적 영향을 포착하지 않습니다. 예를 들어 보다 효과적인 기술 지원은 상담원의 생산성이 향상되더라도 총 수요를 증가시키면서 보다 복잡한 고객 책임을 맡는 컨택 센터 상담원의 추세를 가속화할 수 있습니다(Berg et al., 2018; Korinek, 2022). 그리고 장기적으로 이러한 도구는 공식 채널에서 문서화되지 않을 수 있는 패턴과 통찰력을 발견하여 직원이 관리되는 방식이나 조직 내에서 지식이 공유되는 방식을 변화시킬 수 있습니다.
마지막으로, 우리의 연구 결과는 작업자가 AI 시스템에 제공한 데이터에 대해 보상을 받아야 하는지 여부와 그 방법에 대한 질문을 제기합니다. 특히 고숙련 작업자는 모델 개발에서 중요한 역할을 하지만 자신의 생산성 향상 측면에서 직접적인 이점은 적습니다.
생성 AI의 초기 단계를 감안할 때 이러한 질문과 기타 질문은 추가 조사가 필요합니다.
https://hai.stanford.edu/news/will-generative-ai-make-you-more-productive-work-yes-only-if-youre-not-already-great-your-job
https://www.nber.org/papers/w31161
https://www.aitimes.com/news/articleView.html?idxno=150414