AX Case Study Podcast · 2026년 10월 23일 · 21:35
Podli 앱에서 듣기 🎧
좋아하는 팟캐스트를 팔로우하고, 오프라인과 차 안에서 CarPlay 및 Android Auto로 듣고, 항상 멈춘 곳에서 이어 들으세요. 무료로 사용해 보세요.
핵심
* 에이전트의 레드라인에 변호사가 수정한 내용은 훈련과 평가를 위한 데이터가 됩니다.
* 팟 단위로 변호사와 엔지니어가 한 팀을 이루며 변호사가 에이전트의 프롬프트를 작성합니다.
* 성과는 청구 가능 시간이 아니라 처리 속도와 검토 시간을 기준으로 측정합니다.
1. 겨냥하는 산업
Crosby는 상업 계약을 검토하고 협상하는 뉴욕 소재 로펌입니다. 주로 다루는 문서는 NDA(비밀유지계약), MSA(기본 서비스 계약), DPA(데이터 처리 계약)입니다. 고객사는 대부분 Cursor나 Clay처럼 빠르게 성장하는 기술 기업입니다. Crosby가 맡는 일은 영업팀이 기다리는 일상적인 계약 업무입니다. 고객이 계약서를 보내면 변호사가 수정본을 만들고, 변경 사항을 설명한 뒤 다시 회신합니다.
Crosby는 2024년 Cooley 출신 어소시에이트이자 스타트업 법무 책임자(GC)였던 라이언 대니얼스와 Ramp 엔지니어링 리드 출신인 존 사리한이 공동 설립했습니다. 이 회사는 스스로를 “수직 통합형 AI 네이티브 로펌”이라 부릅니다. 로펌을 상대로 소프트웨어를 판매하는 회사가 아닙니다. 공인 변호사와 과실 배상보험을 갖추고 업무에 책임을 지는 실제 로펌입니다. 2026년 6월 라이언 대니얼스는 Artificial Lawyer와의 인터뷰에서 법률 서비스를 제공하는 로펌과 기술 라이선스를 부여하고 청구·영업 같은 비법률 업무를 처리하는 별도 법인, 두 개 법인으로 회사를 구성했다고 밝혔습니다. Crosby는 약 8,600만 달러를 유치했으며, 가장 최근에는 2026년 3월 6,000만 달러 규모의 시리즈 B 투자를 유치했습니다.
2. 운영 방식
계약 한 건의 처리 흐름. 고객이 Slack에서 Crosby를 태그하거나 이메일을 보냅니다. 존 사리한은 Sequoia Capital의 Training Data 팟캐스트에서 다음 단계를 이렇게 설명했습니다. “현재 저희는 기본적으로 모든 업무 라우팅을 담당하는 패러리걸 에이전트를 구축해 두었습니다.” 이 에이전트가 요청을 변호사에게 배정합니다. 그런 다음 에이전트들이 1차 검토를 진행합니다. 계약서를 요약하고, 레드라인(수정 표시)을 제안하며, 각 변경 사항을 설명하는 코멘트 초안을 작성합니다. 창업자들은 AI가 가장 뛰어난 역량을 발휘하는 영역이 바로 이 설명 작성이라고 밝혔습니다. 그 후 공인 변호사가 필요에 따라 레드라인(수정 표시)을 다듬고 최종 버전을 고객에게 전달합니다. 창업자들은 팟캐스트에서 보통 몇 시간 안에 고객이 수정본을 받아본다고 설명했습니다.
고객별 규칙과 기억. 모든 고객에게는 고유한 협상 플레이북이 있습니다. Crosby의 Cursor 케이스 페이지에 따르면, 이 로펌은 Cursor와 합의한 플레이북에 따라 업무를 수행하며 플레이북 범위를 벗어나는 사안은 Cursor의 시니어 법률 고문에게 보고합니다. 각 고객의 선호 사항과 과거 결정은 Crosby가 Crosbrain이라 부르는 데이터베이스에 저장됩니다. 새로운 계약이 들어올 때마다 시스템은 이전 버전, 거래 상대방의 입장, 고객의 우선순위를 불러옵니다.
모든 수정은 곧 데이터. 에이전트가 초안을 잡고 변호사가 편집하기 때문에, Crosby는 모든 검토 건마다 두 가지 버전을 확보합니다. 바로 에이전트가 제안한 버전과 변호사가 보낸 버전입니다. 2026년 10월 19일 회사 블로그 게시물은 이를 명확히 밝힙니다. “변호사의 결정 하나하나는 모두 잠재적인 훈련 라벨입니다.” 회사는 이 데이터를 세 가지 방식으로 활용합니다.
* 판단이 필요 없는 규칙 검사를 먼저 실행합니다. 수정 위치가 올바른 문단에 들어갔는지, 코멘트가 알맞은 본문 텍스트에 붙어 있는지, 수정을 거치며 정의되지 않은 용어가 새로 생기지는 않았는지 살핍니다. Crosby는 이러한 검사를 통해 잘못된 형식의 코멘트 40개가 추가될 뻔한 오류를 잡았다고 설명합니다.
* 판단력은 비교를 통해 측정합니다. Crosby는 변호사들에게 레드라인(수정 표시)을 1점에서 10점 사이로 평가하게 했을 때 일관되지 않은 답변이 나온다는 점을 확인했습니다. 대신 변호사에게 모델이 만든 것인지 사람이 만든 것인지 알리지 않은 채 두 개의 레드라인(수정 표시)을 보여줍니다. 그리고 어느 쪽을 보내고 싶은지 고르게 한 뒤, 적힌 그대로 보낼 수 있는지 묻습니다.
* 모델이 변호사의 수용 여부를 예측합니다. Crosby는 라벨링된 약 13,000개의 레드라인(수정 표시)으로 Verifier라는 모델을 훈련했습니다. 이 모델은 변호사가 제안된 레드라인(수정 표시)을 수정 없이 그대로 보낼 확률을 예측합니다. 앞으로 변호사의 시간을 판단이 꼭 필요한 수정 작업에 배분하고, 아직 아무도 검토하지 않은 계약서를 대상으로 에이전트를 평가하는 데 이 모델을 활용할 계획입니다.
Crosby는 데이터의 한계도 솔직하게 인정합니다. 한 실험에서는 두 명의 변호사가 동일한 20건의 NDA(비밀유지계약)에 레드라인(수정 표시) 작업을 진행했는데, 약 500개의 수정 사항 중 합의에 이른 비율은 45%에 불과했습니다. 또한 고객이 통화 중에 언급한 선호 사항처럼 에이전트가 전혀 알지 못했던 맥락에 의존해 변호사가 수정한 경우도 있다고 설명합니다.
구성원. 2026년 6월 라이언 대니얼스가 Artificial Lawyer 인터뷰에서 밝힌 바에 따르면, 당시 Crosby에는 약 45명의 변호사와 약 40명의 엔지니어링 및 운영 인력이 근무하고 있었습니다. 2026년 10월 기준 웹사이트에는 50명이 넘는 공인 변호사가 등록되어 있습니다. 변호사와 엔지니어는 팟(소규모 팀)으로 함께 일하며, 보통 고객 한 곳당 변호사 한 명과 엔지니어 한 명이 배정됩니다. 라이언 대니얼스는 사무실 배치를 두고 “변호사, 엔지니어, 변호사, 엔지니어가 지그재그로 앉아 있는 형태”라고 표현했습니다. 변호사들은 프롬프트를 직접 작성합니다. 라이언 대니얼스는 팟캐스트에서 “그들이 프롬프트를 쓰게 해야 합니다”라고 말했습니다. 평가 툴 역시 두 직군 모두를 위해 설계되었습니다. 실제 Word 문서를 열어 에이전트의 레드라인(수정 표시)과 변호사가 기대하는 수정본을 나란히 보여줍니다. 변호사는 고객 맥락을 수정할 수 있고, 엔지니어는 시스템 프롬프트와 툴링을 관리합니다.
3. 격차
변호사가 하는 일. 기존 로펌에서는 변호사가 직접 수정본을 작성하고 그에 소요된 시간에 맞춰 비용을 청구합니다. Crosby에서는 에이전트가 1차 초안을 작성하고 변호사는 편집자 역할을 맡습니다. 변호사의 수정 사항은 에이전트를 가르치는 학습 재료가 됩니다. 변호사들은 프롬프트를 직접 작성하며 엔지니어와 나란히 앉아 협업합니다. 라이언 대니얼스에 따르면 이 로펌에는 “수퍼 시니어” 파트너가 없으며, 수익은 파트너들에게 배분되기보다 연구에 재투자됩니다.
성과 측정 방식. Crosby는 시간당 청구(빌러블 아워)를 집계하지 않습니다. 존 사리한은 “우리는 총 처리 시간을 기준으로 운영합니다”라고 말했습니다. 계약서를 받아 모든 검토 라운드를 거쳐 다시 회신할 때까지 걸리는 시간을 의미합니다. HuRT라 불리는 두 번째 지표는 사람이 검토에 쓴 시간을 추적합니다. 세 번째 지표는 결과물이 각 고객의 위험 성향에 맞는지 점검합니다. 변호사는 총 처리 시간과 검토 시간을 기준으로 평가받습니다. Crosby는 통제된 실험 결과 에이전트 튜닝 후 변호사의 검토 시간이 한 고객의 NDA(비밀유지계약)에서는 74%, 다른 고객의 MSA(기본 서비스 계약)에서는 약 80% 줄었다고 발표했습니다. 이는 회사가 자체 측정한 수치입니다.
비용 청구 방식. Crosby는 문서당 고정 요금을 청구합니다. 웹사이트 첫 화면에는 “시간을 사지 마세요. 결과를 사세요.”라고 적혀 있습니다. 라이언 대니얼스는 Artificial Lawyer 인터뷰에서 “기본 단위는 계약서입니다”라고 말했습니다. 요금은 해당 계약서가 몇 차례의 검토 라운드를 거쳐야 할지 알기 전에 미리 정해져야 합니다. 라이언 대니얼스는 이 예측이 빗나갈 때도 있다며 “저희는 일하면서 늘 손해를 봅니다”라고 인정했습니다. 독립 연구 기관인 Contrary Research는 기존 로펌들도 기본적인 검토 작업에는 비슷한 수준의 금액을 청구한다고 지적합니다. 이 기관의 분석에 따르면 Crosby의 차별점은 낮은 가격이 아니라 빠른 처리 속도와 계약 건당 일원화된 청구에 있습니다.
자동화의 적용 범위. 현재는 여전히 모든 결과물을 변호사가 직접 확인합니다. 라이언 대니얼스는 2026년 7월 Artificial Lawyer가 인용한 게시물에서 “현재 저희 변호사들은 모든 작업 결과물을 하나하나 검토하고 있습니다”라고 적었습니다. 그는 같은 글에서 에이전트 자체에 대한 전문직 배상책임보험을 가입할 계획을 밝히며, 앞으로는 그러한 검토가 “필요하지 않게 될 것”이라고 언급했습니다. Bloomberg Law는 AI 결과물에 대한 변호사의 직접 검토가 여전히 법조계 전반에서 지배적인 기준으로 남아 있다고 전했습니다.
4. 파급
대량 업무에서 시간당 청구 방식이 입지를 잃을 수 있습니다. 소프트웨어가 초안 작성의 대부분을 맡게 되면, 시간 단위로 청구하는 로펌은 처리 속도가 빨라질수록 수익이 줄어듭니다. Crosby는 이 구조를 뒤집었습니다. 계약 건당 고정 요금을 받으면 검토 속도가 빨라질수록 마진이 늘어날 수 있습니다. 문서당 투입 공수를 예측할 수 있는 로펌이 늘어난다면, 일상적인 계약 업무는 시간당 청구에서 문서당 과금 방식으로 옮겨갈 수 있습니다. 창업자들 스스로 팟캐스트에서 언급했듯, 범위를 예측하기 어려운 복잡한 사안은 시간당 청구 방식으로 남을 가능성이 높습니다.
로펌의 피라미드 조직 구조가 바뀔 수 있습니다. 창업자들은 팟캐스트에서 로펌의 수련 과정을 도제식 교육이라 설명했습니다. 에이전트가 1차 초안 작성을 도맡게 되면 주니어 변호사들이 실무를 배우는 기회가 줄어들거나 달라질 수 있습니다. 팟캐스트에서 밝힌 Crosby의 자체 계획은 주니어 어소시에이트, 시니어 어소시에이트, 주니어 파트너를 모델로 한 에이전트를 구축하는 것입니다. 이는 업계 전체에 질문을 던집니다. 변호사들이 초기 초안 작업을 더 이상 하지 않는다면 어디서 판단력을 배울 것인가 하는 점입니다.
다른 조직도 Crosby의 검토 체계 설계 방식에서 배울 점이 있습니다. 전문가의 검토를 거치는 모든 업무에 적용해 볼 수 있는 세 가지 아이디어입니다.
* 두 가지 버전을 모두 보관할 수 있습니다. 에이전트의 초안과 전문가의 최종 버전을 함께 저장해 두면 별도의 라벨링 프로젝트를 진행하지 않아도 일상 업무가 그대로 훈련 및 평가 데이터가 됩니다.
* 기계적인 부분은 규칙으로 먼저 검사할 수 있습니다. 사람의 판단에 의존하는 업무라 해도 일정 부분은 자동 점검이 가능합니다. Crosby는 이러한 검사를 가장 먼저 실행합니다.
* 점수를 매기는 대신 비교할 수 있습니다. 전문가마다 의견이 다르고 점수 기준도 흔들리기 마련입니다. 1점에서 10점 척도로 묻는 것보다 “어느 쪽을 보내고 싶습니까?”라고 묻는 방식이 Crosby에 더 일관된 답변을 제공해 주었습니다.
5. 한계
* 업무 효율 및 처리 시간 관련 수치는 Crosby가 직접 측정한 자체 데이터입니다.
* 현재는 변호사가 모든 결과물을 직접 검토하고 있으므로,