Skip to content

Instantly share code, notes, and snippets.

congyh congyh

Block or report user

Report or block congyh

Hide content and notifications from this user.

Learn more about blocking users

Contact Support about this user’s behavior.

Learn more about reporting abuse

Report abuse
View GitHub Profile
View gross_revenue_gross_cash_revenue.txt
广告毛收入比广告毛现金收入多了假钱记业绩消耗.
View git_migrate_repo.md

git-远程仓库迁移

为什么会有这种需求呢? 实际上还是挺常见的, 例如apache不就陆续把git仓库从自己的服务器迁移到了github服务器吗.

为了理解远程仓库迁移, 首先要理解bare repo的概念

bare repo

bare repo实际上就是远程仓库, 实际上就是不含工作区的.git目录.

View git_big_file_handle.md

git-去除提交历史中指定文件, 大文件

为什么有这种需求呢? 通常是以下两种原因导致的:

  • 有密码文件被写到较早的提交历史中了, 已经无法方便的通过reset来回滚历史;
  • 有误提交的大文件(例如二进制文件)等, 存在于git历史中会导致仓库臃肿, 加大了仓库的维护成本(存储及clone耗时等).

处理步骤

  1. 镜像远程仓库
View git_push_specified_commits.md

git-仅push部分commits的方法

步骤

  1. 新建两个分支<branch_name>_origin<branch_name>;
  2. 所有的commits都在带origin的分支上进行;
  3. 当想push的时候, 对历史的commits进行rebase + cherry-pick到<branch_name>上;
  4. 然后可以修改提交时间等.
  5. push到远程分支.
View low_latency_cps_offline.sql
-- 总消耗、现金消耗
select dt,sum(comsuption),sum(cash_comsuption)
from app.app_ads_cps_union_flow_restructure_new
where dt='2019-05-04'
group by dt;
-- 订单 下单口径
select substr(order_time,1,10),
count(distinct order_id,sku_id,clear_status),
sum(case
View hive_now.sql
# Hive\-获取当前时间
## 获取当前时间戳
```sql
hive> select unix_timestamp();
unix_timestamp(void) is deprecated. Use current_timestamp instead.
OK
1556265569
```
View fasterxml_deserialize_error.md
View hive_permanent_function.md

Hive UDF永久生效, 启动时生效方法

方法1: 注册到hive metastore中

此种方式对hive命令行, jdbc等所有方式都生效.

语法:

CREATE FUNCTION [db_name.]function_name AS class_name [USING JAR|FILE|ARCHIVE 'file_uri' [, JAR|FILE|ARCHIVE 'file_uri'] ]
View KeyValue.java
import java.util.Map;
/**
* 因为Map.Entry是Java中key value pair的标准接口, 所以实现这个接口能够获得最大的灵活性.
*/
public class KeyValue<K, V> implements Map.Entry<K, V> {
private K key;
private V value;
public KeyValue(K key, V value)
View hive_beeline_connect.md

Hive beeline连接

由于Hive3以上不再支持thick client, 所以只能用beeline作为命令行工具来执行hql.

$ beeline
> !connect jdbc:hive2://localhost:10000/default

提示用户名密码的时候两下回车即可.

You can’t perform that action at this time.