SWTV - 문서 열람·보고서 작성, AI가 ‘척척’…서울시, 행정 분야에 LLM(초거대 언어모델) 도입

[SWTV 강철 기자] 문서를 찾거나, 규정을 확인하고 보고서를 작성하는 일까지 AI가 대신해 주는 새로운 행정지원 시스템이 구축된다. 또 시민용 챗봇 ‘서울톡’에 생성형 AI를 시범 적용해 미답변 질의 응답률을 높이는 등 행정 서비스의 속도와 품질, 만족도가 향상될 전망이다.

서울시는 공무원의 반복 행정업무를 생성형 인공지능(AI)으로 대체하는 행정 지원 체계 ‘챗봇 2.0’ 사업을 추진한다고 7일 밝혔다. 

▲ 서울특별시청. [사진=연합뉴스]

이를 위해 올해는 내부망에 자체 LLM(초거대 언어모델)을 도입하고, 일부 부서를 대상으로 시범운영에 들어간 후 내년부터 내부 행정 시스템과 연계한 고도화 기능을 확대한다는 계획이다.

‘챗봇 2.0’ 사업은 1세대 챗봇의 기술적 한계를 넘어 생성형 AI 기반의 유연하고 정교한 ‘AI 행정 지원 체계’로 전환한다는 점이 핵심이다.

서울시는 그동안 시민용 챗봇 ‘서울톡’(2020년), 직원용 업무 챗봇(2023년) 등 챗봇 기반 민원·행정 자동화를 선도해 왔다. 하지만 모두 정해진 규칙과 검색 기반 고정 응답 방식으로, 유연한 대화 생성이나 맥락 이해가 필요한 복합 질의에는 한계가 있었다.

예컨대, ‘공유재산 사용료가 3회 연속 체납된 경우 즉시 계약 해지 가능한가’라고 물으면 AI가 지방세외수입 업무 편람 내용을 종합해서 답변해 직원이 일일이 부서로 문의하거나 자료를 요청하지 않아도 된다.

또 사용자가 보유한 계획서나 기획안을 업로드하고 보도자료를 작성해 달라고 요청하면 AI가 양식에 맞춰 초안을 자동 작성해 주고, 부서 단위로 ‘나만의 챗봇’을 만들어 반복되는 실무 대응이나 협업 기반 문서 공유에도 활용할 수 있다.

‘챗봇 2.0’ 사업은 서울시 자체 LLM을 내부망에 직접 도입한다는 점이 가장 큰 특징으로, 민감한 공공데이터를 안전하게 처리할 수 있는 독립형 AI 환경에서 운용된다.

강옥현 서울시 디지털도시국장은 “챗봇 2.0 도입을 시작으로 공무원은 더 효율적으로 일하고, 시민은 더 빠르고 정확하게 응답받는 새로운 행정 서비스 시대가 열릴 것으로 기대된다”며 “공공행정 전반에 AI를 적극 활용해 국내를 넘어 ‘글로벌 AI 행정도시’로 거듭날 것이다”라고 말했다.

한편 서울시는 올해 GPU 서버(H200 8GPU)를 도입하고 내년까지 GPU 서버 3대를 추가 확보해 폐쇄망 내에서 고도화된 생성형 AI 서비스가 시행될 수 있도록 단계적으로 확대해 나간다는 계획이다.

또 서울시민 50만명이 이용 중인 시민용 챗봇 ‘서울톡’에도 생성형 AI를 시범 적용해 누리집 내 보도자료나 새소식 등 자료를 기반으로 LLM이 맥락을 이해하고 자연어로 응답하는 기능도 제공할 예정이다.

[ⓒ SWTV. 무단전재-재배포 금지]