🤔 LangChain Opentutorial 1주차 Model Serialization

opensource 프로젝트

링크

langchain tutorial 작성하는 프로젝트에 합류하게 되었고, 이번주에 처음 코드를 제출했습니다. 이번에 작업한 건 Model Serialization 입니다.

Serialization = 직렬화

langchain 객체 중에 Serializable 객체를 상속하는 경우 langchain_core.load 의 함수 dumpd dumps 를 사용해서 dictionary, string 으로 변환 할 수 있습니다. load loads 함수를 사용하면 각각 dictionary, string 을python langchain 객체로 변환 할 수 있습니다. 기본 라이브러리인 pickle 을 활용해 .pkl 파일로 저장할 수 있습니다.

모두 확인하지는 않았지만 추상화 되어서 사용하는 대부분의 객체들(ChatOpenAI, PromptTemplate)은 내부적으로 RunnableSerializable 을 상속하고 있고 Serialize 할 수 있습니다. 따라서 필요에 따라 파일시스템 또는 S3등을 활용해 복잡하게 구성된 runnable을 기존 코드와 분리하여 관리하고 평가 할 수 있습니다.

활용 방법

좀 더 구체적으로 설명하자면, 예를 들어 fastapi 등의 프레임워크를 사용해 챗봇등의 앱을 설계 했다고 가정 하겠습니다.

서버세팅 하는 코드와 langchain runnable 을 구성하는 코드가 함께 있게 되면 배포할 때 서버관련 코드만 변경 하더라도 runnable 코드가 함께 배포 될 것이고, runnable의 답변 생성구조가 변경되더라도 함께 배포될 것 입니다.

이때 직렬화(serialization)을 사용하게되면 서버는 요청을 받아서 처리하고 응답해주는 본연의 역할에 좀더 집중 할 수 있고, runnable 객체는 본질적인 목적인 답변 생성에 집중 할 수 있게 됩니다.

테스트 할 때도 서버와 runnable의 답변생성 퀄리티를 구분하여 테스트 할 수 있고, 여러모로 잘 활용했을때 유용할 것 같습니다.

추가로 python에서 serialize된 객체가 typescript에서도 호환되는지 확인해봐야 할 것 같습니다.

js랑 python이랑 서로 호환되지는 않는 것 같습니다.