Tomokazu Katayama yayoimizuha

こちらの記事は『もっとハロブロを読まれたい！ハロヲタブログ Advent Calendar 2022』12/17の記事になります。
書いた人間は@yayoi_mizuha , @hello_counter.<-間違い指摘お待ちしております。
ブログ形式のはずがかなり技術メモっぽくて脈絡のない文章になってしまいましたが、許してください。
※ここで使ってるコードはGitHubで公開してます。オレオレコードなので使い方はTwitterのDMなりで聞いてくださいな

ハロー!プロジェクトのデータをコンピュータで処理したい。

これはオタクあるあるだと思うんですが、推しについての情報を収集してまとめたくなりますよね。
でも、ハロメンは67人いて、既卒を含めたら200人以上もいます。曲に至っては概数さえはっきりしないくらいの量があります。大量のデータを手作業で管理するのは本当に大変ですね。

	#!/bin/bash

	set -x

	export CONTAINER_IMAGE="sglang_dev-x86-cu13.sif"
	export MODEL_NAME="moonshotai/Kimi-K2.5"
	export HOST_MODEL_PATH="~/models/$MODEL_NAME"
	export CONTAINER_MODEL_PATH="/sgl-workspace/sglang/$MODEL_NAME"

	MASTER_ADDR=$(scontrol show hostnames $SLURM_NODELIST \| head -n 1)

	import re
	from glob import glob
	from os import path, environ
	from pprint import pprint
	from mutagen.mp4 import MP4
	from googleapiclient.discovery import build
	import requests
	from bs4 import BeautifulSoup

	MUSIC_ROOT = r"C:\Users\tomokazu\Music\iTunes\iTunes Media\Music"

	[[source]]
	url = "https://pypi.org/simple"
	verify_ssl = true
	name = "pypi"

	[packages]
	aiohttp = "*"
	[dev-packages]

	[requires]

	hca_id: mlx4_0
	transport: InfiniBand (0)
	fw_ver: 2.42.5000
	node_guid: 0010:e000:0177:4650
	sys_image_guid: 0010:e000:0177:4653
	vendor_id: 0x02c9
	vendor_part_id: 4099
	hw_ver: 0x1
	board_id: MT_1090120019
	phys_port_cnt: 2

	-------------------------------------------------------
	Port=1 Lid=0x0002 GUID=0x0010e00001774651 Port Name=tomokazu-ubuntu-server/U1/P1
	-------------------------------------------------------
	Vendor: FS
	OUI: 0x2c9
	PN: QSFP56-AO02
	SN: C2211061633-1
	Rev: A3
	Length: 2 m
	Type: Copper cable- unequalized

	===User============================================
	以下のニュースの内容を日本語で要約してください。
	Nothing reflects the lasting potency of the iconic “Tank Man” photo quite like the dogged attempts to censor it on China’s internet. Practically any image that so much as gestures at the famed photograph of a man in front of a line of tanks in Tiananmen Square risks deletion from the country’s closely monitored web; recreations showing a line of books approaching a cigarette package, a swan before an oncoming truck and a grasshopper in front of a tire have all been removed. Jeff Widener's iconic photo remains widely censored in China. According to Weiboscope – a social media monitoring project at Hong Kong University – even Francisco Goya’s “Third of May 1808” (1814), which echoes the Tank Man in sentiment and composition, could not make it past censors. Behind China’s Great Firewall – which is more like a continually shifting, dynamic barrier – the Tiananmen Square massacre did not happen, the ongoing Hong Kong extradition bill pro

	from os import environ
	from tweepy import OAuth1UserHandler, API, Cursor, errors

	auth = OAuth1UserHandler(
	consumer_key=environ["CLIENT_ID"],
	consumer_secret=environ["CLIENT_SECRET"],
	access_token=environ["ACCESS_TOKEN"],
	access_token_secret=environ["ACCESS_TOKEN_SECRET"]
	)

	//
	// Created by tomokazu on 2021/08/14.
	//

	#include <cmath>
	#include <cstdio>
	#include <cstdlib>
	#include <cstring>
	#include <omp.h>