The problem with large language models is that you can’t run these locally on your laptop. Thanks to Georgi Gerganov and his llama.cpp project, it is now possible to run Meta’s LLaMA on a single computer without a dedicated GPU.
There are multiple steps involved in running LLaMA locally on a M1 Mac after downloading the model weights.
이 글은 안드레이 카패시의 글 소프트웨어 2.0 을 번역한 것입니다. 의/오역이 있을 수 있습니다.
나는 때때로 사람들이 뉴럴넷을 "기계학습 도구 상자의 또 다른 도구"로 언급하는 것을 본다. 뉴럴넷은 장단점이 있다. 여기 저기에서 동작하고, 때로는 캐글 경쟁에서 승리하는데 사용할 수도 있다. 그러나 이 해석은 완전히 나무만 보고 숲을 보지 못하는 것이다. 뉴럴넷은 단지 또 다른 종류의 분류기가 아니다. 그것은 우리가 소프트웨어를 작성하는데 있어 근본적인 변화의 시작을 나타낸다. 그것은 소프트웨어 2.0이다.
소프트웨어 1.0의 "고전적인 스택"은 우리가 익숙한 것이다. 그것은 Python, C++ 등의 언어로 작성이 되어 있고, 프로그래머가 작성한 구체적 명령으로 구성되어 있다. 프로그래머는 코드의 각 라인을 작성하는 것으로 프로그램 공간의 특정 포인트를 어떤 원하는 행동으로 확정짓고 있다.