입력, 출력, 메타데이터와 앱을 통해 흐르는 데이터를 추적하는 것은 시스템 성능을 이해하는 데 필수적입니다. 시간에 따라 앱을 버전 관리하는 것 또한 중요합니다. 코드나 매개변수의 변경이 출력에 어떤 영향을 미치는지 보여주기 때문입니다. Weave의 Model 클래스는 이러한 변경을 추적해 줍니다.
이 튜토리얼은 LLM 애플리케이션의 여러 버전에서 결과를 비교하고 재현하려는 개발자를 위한 것입니다. 이 튜토리얼을 마치면 애플리케이션의 매개변수와 코드를 캡처하는 버전 관리된 Weave Model을 갖추게 됩니다. 또한 이전 버전을 조회하고 재사용하는 방법도 알게 됩니다.
이 튜토리얼에서는 다음 내용을 알아봅니다:
- Weave
Model을 사용해 애플리케이션과 해당 매개변수를 추적하고 버전 관리하는 방법
- 이미 로깅된 Weave
Model을 내보내고, 수정하고, 재사용하는 방법
weave.Model 클래스는 Python에서만 지원됩니다.
모델을 사용하면 모델 벤더 ID, 프롬프트, temperature 등과 같은 파라미터가 변경될 때 저장되고 버전 관리됩니다.
Weave에서 모델을 만들려면 다음이 필요합니다.
weave.Model을 상속하는 클래스.- 모든 클래스 필드에 대한 유형 정의.
@weave.op() 데코레이터가 적용된 타입 지정 invoke 함수.
클래스 필드나 모델을 정의하는 코드를 변경하면 이러한 변경 사항이 로깅되고 버전이 업데이트됩니다. 이를 통해 앱의 서로 다른 버전 간 생성 결과를 비교할 수 있습니다.
다음 예시에서는 Weave가 모델 이름, temperature, system prompt를 추적하고 버전 관리합니다:
import json
from openai import OpenAI
import weave
@weave.op()
def extract_dinos(wmodel: weave.Model, sentence: str) -> dict:
response = wmodel.client.chat.completions.create(
model=wmodel.model_name,
temperature=wmodel.temperature,
messages=[
{
"role": "system",
"content": wmodel.system_prompt
},
{
"role": "user",
"content": sentence
}
],
response_format={ "type": "json_object" }
)
return response.choices[0].message.content
# weave.Model을 사용한 하위 클래스
class ExtractDinos(weave.Model):
client: OpenAI = None
model_name: str
temperature: float
system_prompt: str
# 함수 이름이 `invoke` 또는 `predict`인지 확인하세요
@weave.op()
def invoke(self, sentence: str) -> dict:
dino_data = extract_dinos(self, sentence)
return json.loads(dino_data)
이 기능은 아직 TypeScript에서 사용할 수 없습니다.
invoke로 모델을 인스턴스화하고 호출할 수 있습니다.
weave.init('jurassic-park')
client = OpenAI()
system_prompt = """Extract any dinosaur `name`, their `common_name`, \
names and whether its `diet` is a herbivore or carnivore, in JSON format."""
dinos = ExtractDinos(
client=client,
model_name='gpt-4o',
temperature=0.4,
system_prompt=system_prompt
)
sentence = """I watched as a Tyrannosaurus rex (T. rex) chased after a Triceratops (Trike), \
both carnivore and herbivore locked in an ancient dance. Meanwhile, a gentle giant \
Brachiosaurus (Brachi) calmly munched on treetops, blissfully unaware of the chaos below."""
result = dinos.invoke(sentence)
print(result)
이 기능은 아직 TypeScript에서 사용할 수 없습니다.
.invoke()를 호출한 후에는 Weave의 트레이스가 weave.op()로 데코레이트된 모델 함수의 코드와 함께 모델 파라미터도 추적합니다. 또한 모델에도 버전이 지정되며(이 경우 v21) 모델을 클릭하면 해당 버전을 사용한 모든 Call을 볼 수 있습니다.
weave.Model 사용 시 참고 사항:
- 원한다면 Weave
모델의 함수 이름으로 invoke 대신 predict를 사용할 수 있습니다.
- 다른 클래스 메서드를 Weave로 추적하려면
weave.op()으로 감싸세요.
- 밑줄로 시작하는 파라미터는 Weave에서 무시되며 로깅되지 않습니다.
로깅된 weave.Model 내보내기 및 재사용
# 내보낸 Weave 모델은 이미 초기화되어 있으며 바로 호출할 수 있습니다.
new_dinos = weave.ref("weave://morgan/jurassic-park/object/ExtractDinos:ey4udBU2MU23heQFJenkVxLBX4bmDsFk7vsGcOWPjY4").get()
# 클라이언트를 다시 OpenAI 클라이언트로 설정합니다.
new_dinos.client = client
new_sentence = """I also saw an Ankylosaurus grazing on giant ferns"""
new_result = new_dinos.invoke(new_sentence)
print(new_result)
이 기능은 아직 TypeScript에서 사용할 수 없습니다.
이제 애플리케이션의 여러 버전에서 반복적으로 개선하고, 조회하고, 재사용할 수 있는 버전 관리된 Weave Model을 갖게 되었습니다.
