이루오 — 기록

인셋 지도를 언제 띄울지 정거장 155개를 전부 돌려서 정했다. 예외는 브뤼셀 하나였고, 104px이라는 크기는 끝까지 눈대중으로 남았다.

세계일주 기록 사이트에는 오른쪽 아래에 작은 지구본이 떠 있다. 지금 보는 도시가 세계 어디쯤인지 알려 주는 물건이다. 브라질에서 그게 쓸모가 없었다. 도시를 보면 카메라가 바짝 붙는다. 그 높이에서 화면에 담기는 건 528×330km. 브라질은 그 스무 배쯤 된다. 그런데 지구본 속 브라질은 엄지손톱이고 내 위치는 그 안의 점이다. "세계 어디"는 알겠는데 "브라질 어디"를 모른다. 그래서 나라 하나만 그리는 작은 지도를…

Play Console 요구대로 R8 을 켰더니 Cordova 결제 플러그인 등록부가 지워졌다. 앱 결제가 열흘 동안 0건이었고, keep 규칙 한 줄로 고쳤다.

내가 운영하는 오픽 말하기 연습 앱은 결제의 대부분이 스토어 인앱결제에서 나온다. 전체 기간 결제 54건 중 40건, 74%가 앱이다. 웹에도 결제 수단이 있지만 주력은 앱이다. 9월 1일부터 10일까지 안드로이드 결제가 0건이었다. 나는 열흘째 되는 날 밤에 알았다. Play Console 이 DEX 코드 최적화를 요구했다. 권고가 아니라 요구사항 형태로 올라와 있었고, 기한이 붙어 있었다. 8월 31일에…

녹음 시작 함수의 await 구간에 재진입이 생겨 초기화 세그먼트가 버려졌다. iOS 탓이라고 두 번 고쳤다가 틀렸고, 업로드 파일의 첫 바이트를 찍고서야 원인이 나왔다.

내가 운영하는 오픽 말하기 연습 앱은 사용자의 답변을 녹음해서 모델에 보내고 평가를 받아온다. 녹음이 안 되면 제품이 없다. 9월 8일, 신규 사용자 한 명이 가입 3분 뒤부터 다섯 번 연속으로 분석에 실패했다. 서버 로그에 남은 건 모델 API 가 400 INVALID_ARGUMENT 를 돌려줬다는 기록 하나뿐이었다. 로그에 남은 실패 두 건이 있었고, 둘 다 iOS 였다. 18.7 과 18.7.1. 그럴듯한 가설이 바로…

서버는 UTC 로 돌고 사용자의 하루는 KST 로 시작한다. 증상이 전혀 안 닮은 버그 여섯 개가 같은 뿌리였고, 진짜 결함은 두 기준을 한 함수 안에서 섞은 것이었다.

일주일 사이에 고친 버그 여섯 개가 있다. 증상은 전부 달랐다. 주간 랭킹이 월요일 아침에 갱신되지 않았다. 복습 카드가 예정일에 안 떴다. 크레딧이 무한정 충전됐다. 관리자 대시보드 숫자와 목록 숫자가 안 맞았다. 공지가 등록한 날부터 안 보였다. 리퍼럴 월 상한이 달이 바뀌었는데 안 풀렸다. 원인은 하나였다. 그리고 그 원인은 "UTC 를 썼다"가 아니었다. 이 앱의 서버는 서버리스 함수다. 타임존은 UTC 다.…

대책을 고르기 전에 규모부터 쟀다. 피해액이 $0.27 이라 아무것도 하지 않기로 했고, 대신 오히려 문제를 만들던 기존 방어 하나를 걷어냈다.

내가 운영하는 앱은 가입하면 무료 크레딧을 준다. 크레딧으로 AI 분석을 받고, 분석 한 번에 실비가 나간다. 사용자가 급증하자 예상된 질문이 따라왔다. 계정을 여러 개 만들어서 무료 크레딧만 빼먹는 사람이 있지 않을까. 의심할 근거는 있었다. 이름이 비슷한 계정 묶음이 보였고, 구글은 계정을 무한정 만들 수 있다. 대책 후보도 금방 나왔다. 기기 증명, 스토어 무결성 검사, IP 제한, 본인인증. 하나도 적용하지 않았다.…

의존성으로도 포크로도 안 돼서 벤더링을 골랐다. 대가로 포매터를 대지 않고 커밋을 나누는 규율이 생겼고, 못 고치는 것은 문서에 적어 뒀다.

기억 서비스의 저장·검색 엔진은 직접 만들지 않았다. 오픈소스 라이브러리를 가져다 썼다. 그런데 첫 글에서 쓴 대로, 그 라이브러리의 추출 프롬프트를 우리가 고쳐야 했다. 한국어가 영어로 추출되던 문제 때문이다. 여기서 선택이 갈린다. 의존성으로 쓰면 프롬프트를 못 고친다. 포크하면 고칠 수는 있지만, 시간이 지나면 "이게 원래 저랬나 우리가 고친 건가"를 아무도 모르게 된다. 세 번째를 골랐다. 코드를 저장소 안으로 통째로…

배포도 성공했고 라우트도 등록됐는데 호출은 404 였다. FastAPI 의 Mount 가 접두어로 첫 매치를 쓰기 때문이고, 별칭에 슬래시를 허용한 것이 원인이었다.

한 고객사에서 신규 에이전트의 API 호출이 항상 404 를 반환한다는 문의가 왔다. 확인할 수 있는 건 전부 정상이었다. 관리 콘솔의 상태는 배포완료였고, API 접근 토글은 켜져 있었고, 등록 API 의 응답은 200 이었다. 같은 사이트의 다른 에이전트는 멀쩡했다. 404 의 첫 번째 용의자는 언제나 앞단이다. 라우팅 규칙이 잘못됐거나, 인그레스가 경로를 못 찾거나. 두 가지가 그걸 부정했다. 첫째, 파드 로그에 요청이…

에러 로그를 남기지 않는 결함 여섯 개를 찾았다. 빈 배열 하나로 "없음"과 "못 가져옴"을 함께 표현한 게 공통점이었고, 넷은 배포 전에 잡았다.

버그 리포트는 이렇게 왔다. 에러 로그는 없었다. 5xx도 없었다. 응답은 200이었고, 기억 목록이 빈 배열이었을 뿐이다. 재현하려고 낮에 아무리 호출해도 잘 나왔다. 원인을 찾고 나서, 같은 성질의 결함이 다섯 개 더 있다는 걸 알았다. 벡터 저장소 커넥션 풀에 대여 전 검사가 없었다. 몇 시간 유휴 상태로 두면 서버 쪽에서 커넥션이 끊기는데, 풀은 그걸 모른 채 죽은 커넥션을 내준다. 첫 요청이 그걸 물고 실패한다. 설계…

0.9로 시작했다가 문장 쌍을 모아 실제 임베딩 모델로 재서 0.85로 정했다. 두 방향의 실패 비용이 달라 여유는 한쪽으로 몰았고, 검색 경로에서는 임계를 아예 버렸다.

지난 글에서 에이전트에 붙인 기억 서비스 이야기를 했다. 이번엔 그 안에 박혀 있는 숫자 하나에 대한 이야기다. 사용자가 "나 12월에 이사 가"라고 말하면 모델이 그 사실을 기억으로 쓴다. 그런데 지난달에 이미 "11월에 이사 간다"는 기억이 저장돼 있었다면? 새로 쓸 것인가, 기존 것을 덮을 것인가, 아니면 둘 다 남길 것인가. 판단 기준은 두 문장이 같은 사실인가이다. 그리고 그건 임베딩 유사도로 잰다. 그러면 몇부터…

추출 프롬프트에 영어 few-shot 예시가 14개 있었다. 지시문을 어디에 넣어도 안 바뀌었고, 예시를 3개로 줄이고 하나를 한국어 쌍으로 바꾸자 해결됐다.

에이전트에 장기 기억을 붙이는 일을 맡았다. 사용자가 대화 중에 흘린 사실을 추출해 저장해 두고, 다음 대화에서 꺼내 쓰는 구조다. 어느 날 저장된 기억을 열어 봤더니 이렇게 적혀 있었다. 대화는 처음부터 끝까지 한국어였다. 먼저 구조부터. 기억 서비스는 대화 원문을 소유하지 않는다. 원문은 대화로그 저장소 한 곳에만 있고, 이쪽은 요약과 커서와 기억만 가진다. 원문을 복제하지 않기로 한 것은 초기 결정 중 가장 잘한…

Redis 채널 이름을 요청 ID로 지어서 중첩 호출 때 구독자가 둘이 됐다. 토큰 5개가 195개로 불어났고, 같은 원인이 몇 주 뒤 병렬 호출에서 다시 나왔다.

에이전트 안에서 사용자가 쓴 코드가 돌아간다. 그 코드가 다른 에이전트를 부를 수 있다. 부르면 답이 토큰 단위로 돌아오고, 그 토큰들이 브라우저까지 흘러간다. print("Hello World") 한 줄을 실행시켰다. 모델이 만든 토큰은 다섯 개였다 — print, (", Hello, World, "). 브라우저가 받은 SSE 이벤트는 195개였다. 대화 서비스는 요청을 받으면 Redis 채널 하나를 구독한다. 채널 이름은…

24시간 동안 같은 열 줄을 다섯 번 고쳤다. 아무것도 잃지 않은 버전은 17분 만에 지운 첫 번째였고, 그 코드가 생성되는 문자열 안에 있었던 게 이유였다.

외부 모델 공급자를 붙일 때 우리가 한 약속이 하나 있다. 어느 공급자를 쓰든 클라이언트가 받는 응답 형태는 같아야 한다는 것. 공급자들의 SSE 페이로드는 제각각이다. 필드 이름이 다르고, 중첩 깊이가 다르고, 종료 신호도 다르다. 약속을 지키려면 스트림이 지나갈 때 각 이벤트를 열어서 우리 형식으로 바꿔야 한다. 그렇게 하는 순간 이 층은 릴레이를 그만두고 파서가 된다. 이 글은 그 대가에 관한 것이다. 2025년 8월…

사용자 파이썬을 재시작 없이 API 로 만들려면 그 코드가 디스크의 진짜 파일이어야 한다. 그 제약에서 나온 버그 세 종류와, 땜빵 세 개 뒤에 바꾼 방향을 적었다.

이 엔진이 하는 일은 한 문장이다. 사용자가 작성한 파이썬 파일을 받아서, 서버를 재시작하지 않고, 지금 뜨는 API로 만든다. 그래서 상태를 어디에 둘지에 선택지가 없었다. 코드를 데이터베이스에 넣을 수 없다. importlib은 컬럼을 읽지 않는다. 디스크 위의 진짜 파일이 있어야 모듈이 된다. 문서에는 이렇게 한 줄로 남아 있다. 이 문장은 아키텍처 결정처럼 보이지만, 실제로는 청구서였다. 이후 다섯 달 동안 올라온…