RESEARCH BRIEFING · 국제 학술지
대형 언어 모델의 편향된 확신과 사회복지법 지식 부족 문제
Selective Overconfidence: How Large Language Models Underserve Social Welfare Law Across Jurisdictions
ABSTRACT-BASED BRIEFING
GPT 초록 요약
본 연구는 대형 언어 모델(LLM)이 다양한 법률 영역에서 지식 확신에 차이가 있는지를 평가하는 지식 탐침 방법론을 제안한다. 독일, 프랑스, 캐나다의 3개 사법 관할권에서 1,200건의 판결문을 대상으로 실험한 결과, 비영어권 지역에서 Llama 3.3 70B 모델이 사회복지법 영역에서 세법에 비해 확신 부족을 더 적게 표현하는 경향을 보였다. 예를 들어 독일 판결문에서는 세법 관련 문제에서 49.8%가 불확실성을 인정한 반면, 사회복지법에서는 6.8%에 그쳤다. 이는 해당 모델이 사회복지법에 대해 과도한 확신을 나타내며, 법률 정보 서비스의 질적 불균형 가능성을 시사한다.
핵심 내용
- 새로운 지식 탐침 파이프라인으로 LLM의 법률 분야별 확신 정도를 정량화함
- 독일, 프랑스, 캐나다 사법 관할권 판결을 분석해 비영어권 지역에서 사회복지법 관련 확신 부족 표현이 상대적으로 적음을 확인함
- 이는 LLM이 사회복지법에 대해 선택적으로 과신(overconfidence)하는 편향적 특성을 가짐을 보여 줌
요약의 범위와 한계
원문 초록에 담긴 내용을 바탕으로 생성한 한국어 요약입니다. 논문 전문을 검토한 결과가 아니며, 세부 방법·수치·결론의 적용 범위는 원문에서 확인해야 합니다.
본 브리핑은 논문의 초록만을 기반으로 작성되었으며, 구체적인 실험 방법론, 데이터 상세, 통계적 유의성 수준, 그리고 모델의 전반적 성능 평가는 포함되지 않았다. 따라서 전체 논문의 내용을 통해 검증과 심층 분석이 필요하다.
이 요약은 고학수 교수 또는 서울대학교 법과경제연구센터의 공식 견해가 아닙니다.
요약 근거: 원문 초록 · 모델: gpt-4.1-mini · 생성: 2026. 10. 12. 06:06 (한국시간)