Nippon Life의 대화 기록 8,830건 분석

1. 왜 이 사례인가

Nippon Life는 일본 최대 생명보험사 가운데 하나로, 10년 넘게 일본의 기업지배구조 개혁에서 스튜어드십 활동을 이끌어 온 기관투자자입니다. 매년 약 700개 투자 대상 기업과 대화(engagement)를 나눕니다. 활동 규모가 커질수록 한 가지 질문이 남았습니다. 이 대화가 실제로 효과가 있는지, 어느 영역에서 진전이 있었는지를 어떻게 알 수 있느냐는 점이었습니다.

이 사례에서 생성형 AI는 업무를 대신 처리하는 도구가 아니라 측정 도구로 쓰였습니다. Nippon Life와 Oliver Wyman은 10년 넘게 쌓인 대화 기록 8,830건을 생성형 AI로 일관된 기준에 따라 평가하고, 투자 대상 기업에 전달한 요청 사항 10,000건 이상을 이후의 공시·재무 변화와 대조했습니다. 사람이 읽고 인상으로 판단하던 정성적 활동을 객관적인 증거로 바꾸려 한 시도입니다.

진행 과정도 구체적으로 공개되어 있습니다. 투자 철학을 먼저 학습시키고, 좋은 대화의 정의를 세운 뒤, 300건 파일럿으로 프롬프트를 조정했습니다. 영상 인터뷰에서 Nippon Life 주식투자부 부장은 생성형 AI가 발언을 실제보다 좋게 해석하는 경향을 어떻게 걸러 냈는지도 설명합니다. 정성 데이터를 LLM으로 채점하려는 조직이 맞닥뜨릴 문제를 미리 보여 주는 사례입니다.

2. Problem

일본은 2014년 기관투자자를 위한 스튜어드십 코드를, 2015년 기업을 위한 기업지배구조 코드를 도입하면서 지배구조 개혁에 속도를 냈습니다. Nippon Life는 이 흐름 속에서 스튜어드십을 핵심 책무로 삼았습니다. 영상 인터뷰에서 이시이 도모치카(Tomochika Ishii) 주식투자부 부장은 Nippon Life가 2014년에 스튜어드십 코드 수용을 표명한 뒤 체제를 강화하며 대화의 양과 질을 함께 늘려 왔다고 설명합니다. 연간 약 700개사라는 대화 규모는 일본에서도 최대급일 것이라고 덧붙입니다.

대화 주제도 넓어졌습니다. 초기에는 지배구조와 재무 성과가 중심이었지만, 이후 환경·사회 주제로 확장되었습니다. 이시이 부장은 확장 시점을 2018년 무렵으로 꼽습니다. 주제가 늘면서 대화의 다양성과 복잡도도 함께 커졌습니다. 스튜어드십 담당자 한 명이 한 해에 100개 가까운 기업을 맡고, 한 기업과도 여러 주제를 여러 해에 걸쳐 다룹니다.

Nippon Life는 이 대화가 어떻게 진행되고 있는지, 어디에 더 집중해야 하는지를 인상이 아니라 일관된 증거로 파악하고 싶어 했습니다. 이를 위해서는 10년 넘게 쌓인 대화 기록을 일관되고 객관적인 방식으로 평가해야 했습니다. 하지만 방대한 기록의 양, 대화의 정성적 성격, 폭넓은 주제 때문에 사람이 직접 평가하기는 어려웠습니다. 사례별 검토로는 드러나지 않는 패턴을 찾아내려면 대화의 질을 대규모로 분석할 방법이 필요했습니다.

확인된 사실: 2014년 스튜어드십 코드와 2015년 기업지배구조 코드, 10년 이상의 스튜어드십 활동, 연간 약 700개사와의 대화, 담당자 1인당 연간 100개사 가까이, 지배구조·재무에서 환경·사회로 넓어진 주제(영상: 2018년 무렵부터), 수작업 평가의 어려움.

3. Solution

3.1 대화의 질과 기업의 변화를 나눠 보는 두 단계 분석

Oliver Wyman은 Nippon Life와 함께 10년 치 대화 기록에서 대화의 질을 평가하고, 그 대화를 관찰 가능한 기업의 변화와 연결하는 AI 기반 프레임워크를 만들었습니다. 영상에서 세키오카 야스유키(Yasuyuki Sekioka) Oliver Wyman 도쿄 오피스 파트너는 프로젝트가 확인하려던 세 가지 핵심 질문을 설명합니다. Nippon Life의 대화 품질이 높은지, 투자 대상 기업이 그 대화를 제대로 받아들였는지, 그 결과 기업이 외부에서 확인할 수 있는 행동 변화를 보였는지입니다. 목표는 이를 가능한 한 객관적으로 분석하는 것이었습니다.

이시이 부장은 Oliver Wyman을 파트너로 고른 이유 가운데 하나로, 직전 2년 동안 스튜어드십 영역 프로젝트를 함께하며 Nippon Life의 활동과 생각을 깊이 이해하고 있었다는 점을 꼽습니다.

3.2 1단계: 대화 품질 평가

첫 단계는 AI에게 Nippon Life의 투자 철학을 이해시키는 일이었습니다. 다음으로 좋은 대화가 무엇인지 정의했습니다. 원문이 제시한 고품질 대화의 기준은 건설적이고 구체적이며, 상대의 행동에 영향을 줄 수 있는 대화입니다. 이시이 부장은 효과적인 대화의 정의를 Nippon Life 측에서 세우고 이를 생성형 AI에 학습·지시했다고 설명합니다.

이어서 300건의 기록으로 파일럿을 돌리며 프롬프트를 다듬었습니다. 목표는 모델이 내용을 지나치게 해석하지 않으면서 대화 품질 단계를 구분하게 만드는 것이었습니다. 이시이 부장은 이 시행착오 과정에서 드러난 문제를 구체적으로 설명합니다. 생성형 AI는 문맥을 이해하는 능력이 뛰어난 반면, 그 능력 때문에 기록 속 Nippon Life 측 발언을 실제보다 긍정적으로 해석해 버리는 경우가 있었고, 이런 사례를 표본 점검 단계에서 걸러 냈다는 것입니다. 최종 프롬프트는 A4 용지 10장 정도 분량에 달했다고 말합니다. 원문은 이 최종 프롬프트 프레임워크가 일관된 평가에 필요한 세부 기준을 담았다고 설명합니다.

보정을 마친 AI는 대화 기록 총 8,830건을 분석했습니다. 원문 영문은 이를 “dialogue minutes”로 표기하는데, 이시이 부장은 같은 숫자를 대화 기록 8,830건이라고 표현합니다. 대화 시간이 아니라 면담 기록(의사록)의 건수입니다. 결과의 신뢰성을 확보하고자 사람이 주도하는 검증과 거버넌스 점검 절차를 함께 두었습니다. 이렇게 해서 대화의 질을 연도별, 주제별, 기업별로 같은 기준에 따라 측정할 수 있게 되었고, 비정형 기록 속에 묻혀 있던 패턴이 드러났습니다. 이시이 부장은 이 대화 품질 분석에 프로젝트에서 가장 많은 시간이 들었다고 말합니다.

3.3 2단계: 요청 사항과 이후 변화의 대조

원문은 대화 품질 측정이 과제의 절반에 불과했다고 말합니다. 다음 단계는 Nippon Life가 전달한 지배구조 요청 뒤에 투자 대상 기업에서 관찰 가능한 변화가 나타났는지 확인하는 일이었습니다.

먼저 10,000건이 넘는 요청 사항을 정량 요청(재무 지표)과 정성 요청(공시, 지배구조 변경)으로 분류했습니다. 그리고 관련 재무 데이터와 공개 보고서를 시스템 환경에 미리 적재했습니다. 이시이 부장은 정량 요청에는 재무 데이터를, 정성 요청에는 유가증권보고서나 통합보고서 같은 공시 자료를 미리 넣어 두었다고 설명합니다. AI는 요청 사항을 이후의 공시·재무 변화와 대조해, 기업의 변화가 요청과 같은 방향이었는지를 평가했습니다.

Nippon Life는 대화와 기업 성과를 연결하는 작업이 복잡하다는 점을 알고 있었기에 이 단계에 건강한 회의감을 가지고 임했습니다. 원문은 시스템 설계와 사람이 주도하는 검증을 결합한 결과, 평가 결과가 일관되고 반복 가능하며 신뢰할 만했다고 설명합니다. 이시이 부장은 이 분석을 Oliver Wyman에 직접 제안했지만 결과에는 반신반의했다고 말합니다.

“생성형 AI가 정말 이렇게 타당한 판단을 내릴 수 있을지 반신반의했지만, Oliver Wyman이 AI로 훌륭한 시스템 환경을 구축해 냈고, 이 점에 정말 놀랐습니다.” — 이시이 도모치카(Tomochika Ishii), CFA, Nippon Life 주식투자부 부장

3.4 분석 규모

원문이 핵심 지표로 제시한 숫자는 성과가 아니라 분석의 규모입니다(원문 게시일 2026-05-28 기준).

확인된 사실: 투자 철학 학습 → 고품질 대화 정의(건설적·구체적·행동에 영향) → 300건 파일럿 프롬프트 조정, 과잉 해석 방지와 표본 점검(영상), A4 10장 분량의 최종 프롬프트(영상), 8,830건 분석, 사람이 이끄는 검증·거버넌스 점검, 10,000건 이상 요청의 정량·정성 분류, 재무 데이터·공개 보고서 사전 적재, 요청과 변화의 방향 일치 평가.

4. Impact

원문은 성과를 비율이나 절대 수치 없이 정성적인 경향으로만 제시합니다.

* 대화 품질: 연도가 지날수록 High Quality로 평가된 대화의 비율이 높아졌습니다. 원문은 이를 Nippon Life의 대화 활동이 효과 면에서 개선되고 있다는 확인으로 해석합니다. 이시이 부장은 대화 품질과 기업 반응 모두에서 좋은 판정을 받은 비율이 해마다 높아졌다고 말합니다.

* 주제별 차이: 재무와 지배구조 주제의 대화는 High, Good, Effective 판정을 더 자주 받았고, 환경·사회 주제의 대화는 결과가 엇갈렸습니다. 이시이 부장은 이 차이가 어느 정도 예상했던 결과였다고 말합니다.

* 대화와 변화의 관계: 대화가 효과적이었고 기업이 긍정적으로 반응한 경우, 관찰 가능한 행동 변화로 이어질 가능성이 더 높았습니다.

* 행동 변화의 해석: 이시이 부장은 기업의 행동 변화가 확인된 비율도 해마다 늘었다고 말합니다. 다만 이를 Nippon Life 대화만의 효과로 단정하지는 않습니다. 기업은 정책, 다른 기관투자자의 요청, 자체 노력 등 여러 요인의 영향을 받으므로, 이 결과를 Nippon Life의 요청과 기업 변화의 방향이 대체로 일치했다는 의미로 받아들인다고 설명합니다.

Nippon Life는 이 분석으로 어디에서 진전이 있었는지, 어디에 더 집중해야 하는지, 대화의 질이 이후 기업 성과와 어떻게 연결되는지를 파악했습니다. 이시이 부장은 담당자 한 명이 한 해에 100개 가까운 기업을 맡는 상황에서 효과적인 대화의 비율을 높이려면 활동 방식을 어떻게 바꾸어야 할지 검토가 필요하다고 느꼈다고 말합니다. 원문은 장기 기관투자자에게 스튜어드십은 빠른 성과를 내는 활동이 아니며, 개선이 나타나기까지 3~5년 이상 걸리는 경우가 많다고 덧붙입니다.

확인된 사실: High Quality 비율의 연도별 증가, 재무·지배구조 주제와 환경·사회 주제의 차이, 효과적 대화와 긍정 반응이 행동 변화 가능성을 높인다는 결과, 행동 변화 비율 증가와 방향 일치라는 해석(영상), 3~5년 이상의 개선 기간.

5. Insight

생성형 AI는 과거 기록을 평가하는 측정 도구로도 쓸 수 있습니다. 이 사례는 새 업무를 자동화하지 않았습니다. 이미 10년 넘게 쌓여 있던 대화 기록을 같은 기준으로 다시 읽어, 사람이 인상으로 판단하던 활동의 효과를 연도·주제·기업 단위로 비교할 수 있게 만들었습니다. 사람이 8,830건을 일관된 기준으로 읽기는 어렵지만, 기준이 고정된 모델은 그 작업을 안정적으로 반복할 수 있습니다.

평가 기준을 세우는 일이 가장 큰 작업입니다. AI에게 먼저 학습시킨 것은 Nippon Life의 투자 철학이었고, 그다음이 좋은 대화의 정의였습니다. 이 정의는 Nippon Life 측에서 직접 세웠고, 최종 프롬프트는 A4 10장 분량에 달했습니다. 이시이 부장은 대화 품질 분석에 가장 많은 시간이 들었다고 설명하는데, 그 중심에는 정성적 판단 기준을 프롬프트로 체계화하는 작업이 있었습니다.

LLM은 기록을 실제보다 우호적으로 읽을 수 있습니다. 문맥 이해력이 뛰어난