sliding window attention1 MistralAI - 최고의 성능까지 갖춘 최초의 Apache 2.0 라이선스 LLM 모델 등장 현재 X (트위터) 에서 가장 많이 언급되고 있는 키워드가 아마도 Mistral이 아닐까 싶은데요. 아마도 Meta의 Llama2 가 이끌고 있던 오픈 LLM 진영에 새로운 돌풍이 일고 있는 것 같습니다. 현재 공개된 모델은 73억(7.3B) 매개변수를 가진 Mistral 7B 입니다. LLM으로는 처음으로 Apache 2.0 라이선스로 공개하였으며, 제한 없이 사용할 수 있습니다. 참고로 Meta의 Llama는 처음에 GPLv3 로 공개했다가, 사용 제약등으로 인해 현재는 LLAMA 2 COMMUNITY LICENSE 로 오픈소스로 분류되진 않고 있습니다. (LLaMa 2 라이선스는 오픈 소스가 아닙니다.) Mistral 7B는 사용 제한도 없는데다가 성능까지도 획기적으로 올라간 벤치마크도 공개했습니다.. 2023. 10. 6. 이전 1 다음
