Skip to content

Instantly share code, notes, and snippets.

View sdwvit's full-sized avatar
🏠
Working from home

Victor Musienko sdwvit

🏠
Working from home
  • noibu.com
  • Toronto, ON, Canada
View GitHub Profile
@rain-1
rain-1 / llama-home.md
Last active February 22, 2024 05:52
How to run Llama 13B with a 6GB graphics card

This worked on 14/May/23. The instructions will probably require updating in the future.

llama is a text prediction model similar to GPT-2, and the version of GPT-3 that has not been fine tuned yet. It is also possible to run fine tuned versions (like alpaca or vicuna with this. I think. Those versions are more focused on answering questions)

Note: I have been told that this does not support multiple GPUs. It can only use a single GPU.

It is possible to run LLama 13B with a 6GB graphics card now! (e.g. a RTX 2060). Thanks to the amazing work involved in llama.cpp. The latest change is CUDA/cuBLAS which allows you pick an arbitrary number of the transformer layers to be run on the GPU. This is perfect for low VRAM.

  • Clone llama.cpp from git, I am on commit 08737ef720f0510c7ec2aa84d7f70c691073c35d.

Read/Write React Context

Quick Start

To start working with Read/Write Context, create a pair of Provider/Consumer components in the same way as for React Context API:

let CounterContext = createContext();
anonymous
anonymous / -
Created July 4, 2017 11:19
System: Host: vit-HP-ProBook-650-G2 Kernel: 4.4.0-75-generic x86_64 (64 bit gcc: 5.4.0)
Desktop: Cinnamon 3.2.8 (Gtk 3.18.9) dm: lightdm Distro: Ubuntu 16.04 xenial
Machine: System: HP (portable) product: HP ProBook 650 G2 Chassis: type: 10
Mobo: HP model: 8125 v: KBC Version 23.37 Bios: HP v: N87 Ver. 01.01 date: 01/05/2016
CPU: Quad core Intel Core i5-6440HQ (-MCP-) cache: 6144 KB
flags: (lm nx sse sse2 sse3 sse4_1 sse4_2 ssse3 vmx) bmips: 20702
clock speeds: min/max: 800/3500 MHz 1: 876 MHz 2: 862 MHz 3: 893 MHz 4: 871 MHz
Graphics: Card: Intel Skylake Integrated Graphics bus-ID: 00:02.0 chip-ID: 8086:191b
Display Server: X.Org 1.18.4 drivers: intel (unloaded: fbdev,vesa)
Resolution: 1920x1080@60.01hz, 1920x1080@60.00hz
@listochkin
listochkin / dev-ua-jobs-rules.md
Last active January 12, 2024 14:31
Dev-UA Rules for Job Posting

Правила публикации вакансий в Frontend UA Jobs / Dev-UA Jobs

  1. Одно объявление от одного пользователя в день. Объявление текстом в сообщении, а не ссылкой на какой-то сайт вакансий. В объявлении можно описать несколько вакансий, но в рамках одной компании или команды.
  2. Разрешается публиковать вакансии в компаниях, где сам автор не работает и не участвует, но при условии, что автор может дать ответы на все вопросы о вакансии.
  3. В объявлении стоит описывать:
    • чем занимается команда, что за продукт, какая у компании бизнес-модель, какие источники финансирования проекта, какие риски присутствуют у потенциального соискателя в случае, если он согласится участвовать.
    • тип работы: временный контракт, сдельная, полная занятость, возможна ли удаленка, готовы ли вы перевозить сотрудника из другого города и страны (и какую визу при этом открываете)
    • стек технологий: что используете почему? Если вы не можете ответить на этот вопрос, то лучше вакансию не постить.
  • организация процесса:
@asiegman
asiegman / nginx.conf
Created January 29, 2015 16:29
nginx logstash output
# Output json-esque output for logstash to parse easily.
http {
# ...
log_format logstash_json '{"@timestamp": "$time_iso8601", '
'"remote_addr": "$remote_addr", '
'"remote_user": "$remote_user", '
'"body_bytes_sent": "$body_bytes_sent", '
'"request_time": "$request_time", '
@caridy
caridy / export-syntax.js
Last active January 15, 2022 14:22
ES6 Module Syntax Table
// default exports
export default 42;
export default {};
export default [];
export default foo;
export default function () {}
export default class {}
export default function foo () {}
export default class foo {}
@beccam
beccam / GettingStartedTwo.java
Last active July 21, 2017 21:02
Getting Started with Apache Cassandra and Java Part II
import com.datastax.driver.core.*;
public class GettingStartedTwo {
public static void main(String[] args) {
Cluster cluster;
Session session;
ResultSet results;
Row rows;
@devongovett
devongovett / pull_request.sh
Created April 10, 2014 16:32
Bash script to make a pull request from the current git repository. Tries the upstream remote if possible, otherwise uses origin.
# put this in your .bash_profile
pull_request() {
to_branch=$1
if [ -z $to_branch ]; then
to_branch="master"
fi
# try the upstream branch if possible, otherwise origin will do
upstream=$(git config --get remote.upstream.url)
origin=$(git config --get remote.origin.url)