하늘지기 하늘지기

전체 글

• 전각문자(full-width) 로 변경 코드

  Dev Language/Python 2022. 4. 18. 20:37

  def convert_full_witdh_char(line) : """ Converts characters to full-width characters Args: line(string) : mixed characters(half-width, full-width)) Return: string : only full-width characters exist """ def convert(x): unicode_x = ord(x) if 0x21

  Read More
• spark/scala - "illegal cyclic reference involving class"

  카테고리 없음 2022. 3. 7. 00:02

  spark application build 중에 "illegal cyclic reference involving class WrappedString" error가 떨어졌다. 개발환경은 아래와 같다. m1 pro mac/monterey 12.2.1 intellij CE(2021.3.2) maven apache-spark: stable 3.2.1 (required: openjdk@11), brew install로 설치 scala : stable 2.13.8 (required: openjdk(현재 openjdk 17), brew install로 설치 jdk : openjdk 11.0.12 관련 jira와 글들이 조금 보이긴 한다. 다양한 이유가 있겠지만, 나의 경우는 scala version을 재설정하여 해결..

  Read More
• Dynamically Loading Spark Properties(--master)

  Big Data 2022. 3. 6. 23:14

  intellij에서 spark application을 실행할 때, cluster master url을 VM Option "-Dspark.master=local"로 세팅하고, application 내에서는 cluster master url이 dynamically loading 되게끔 코딩한다. 좀 더 상세히 설명하면.. spark application을 제출(spark-sumit) 할 때, 해당 job이 수행되는 클러스터의 master url을 지정해준다. $spark-submit --class [class_name] --master [local, spark, mesos, yarn, k8s] ... 상세 참고 : https://spark.apache.org/docs/latest/submitting-appl..

  Read More
• Cloud Architecture Diagram

  Cloud 2022. 2. 6. 17:33

  Cloud Architecutre 설계할 때, draw.io를 활용했다. 내 주위에는 lucidchart(https://www.lucidchart.com/pages/)를 활용하거나, CSP에서 제공하는 PPT 아이콘을 다운받아 활용하기도 한다. 한 땀, 한 땀 아이콘 찾아 배치하고, 트래픽 flow을 표현하기 위해 선 연결하여, edge마다 메시지들을 써주고, 그러다가 인스턴스 추가/삭제가 발생하면, 이쁘게 다시 배치하고, 선을 다시 연결하고.. (무한반복) 실 설계보다 그림 그리는 일에 에너지와 시간을 많이 쏟고 있었다. 코드로 UML 다이어그램을 그릴 수 있는 tool들을 검색하다가, diagrams(https://diagrams.mingrammer.com) 발견하여 잠깐 사용해봤다. 이제는 draw..

  Read More
• 맥 유틸리티

  Tools&etc 2021. 7. 4. 09:55

  개인적으로 맥에서 자주 사용하는 유틸리티를 정리해본다. Mac Fans Control : 냉각펜 속도 조절, https://crystalidea.com/macs-fan-control Slient Start : 부팅음 끄기, https://apps.apple.com/kr/app/silent-start/id905747757?mt=12 Itsycal : 달력, 일정, https://www.mowglii.com/itsycal/ Sepectacle : 단축키로 창 크기조절/이동, https://www.spectacleapp.com Appcleaner :App 삭제, https://freemacsoft.net/appcleaner/ VitalSigns : 온도, 펜RPM, 메모리 사용량 쉽게 보기, https://w..

  Read More