なんか構造が美しくないのでリファクタしたい・・ こんなのはどうかな？(komiya)

gistfile1.java

	public static List<String> tokenize(String str) {
		if (str == null || str.isEmpty()) {
			return Collections.emptyList();
		}

		ArrayList<String> tokens = new ArrayList<String>();
		int i = 0;
		char[] chars = str.toCharArray();

		while (i < chars.length) {

			// Skip Whitespace
			while (i < chars.length && chars[i] == ' ') {
				i++;
			}
			if (i == chars.length) {
				break;
			}

			StringBuilder buffer = new StringBuilder();
			char delimiter = ' ';
			if (chars[i] == '"') {
				delimiter = '"';
				i++; // SkipDQ
			}

			while (i < chars.length && chars[i] != delimiter) {
				buffer.append(chars[i++]);
			}
			i++; // SkipDQ or Whitespace
			
			if (buffer.length() != 0) {
				String token = buffer.toString().trim();
				if (!token.isEmpty()) {
					tokens.add(token);
				}
			}

		}

		return tokens;

	}