3
T'íc ã @ sÜ d Z ddlZddlZddlZddlmZ ddlmZmZm Z m
Z
m Z m Z y ddl
Z
W n ek
rl dZ
Y nX ddlmZ ddlmZ ejeZe
oejdkZG dd d ZG d
d d Zde e eee
e d
ddZ dS )z Parallel building utilities.é N)Úsqrt)ÚAnyÚCallableÚDictÚListÚOptionalÚSequence)ÚSphinxParallelError)ÚloggingÚposixc @ sF e Zd ZdZd
eddddZdeeedddd Zdd
d d Z dS )Ú SerialTaskszEHas the same interface as ParallelTasks, but executes tasks directly.é N)ÚnprocÚreturnc C s d S )N© )Úselfr r r ú6/tmp/pip-build-gk9425m9/sphinx/sphinx/util/parallel.pyÚ__init__ s zSerialTasks.__init__)Ú task_funcÚargÚ result_funcr c C s( |d k r||}n| }|r$|| d S )Nr )r r r r Úresr r r Úadd_task s
zSerialTasks.add_task)r c C s d S )Nr )r r r r Újoin& s zSerialTasks.join)r
)NN)
Ú__name__Ú
__module__Ú __qualname__Ú__doc__Úintr r r r r r r r r r s r c @ st e Zd ZdZeddddZeeeddddZdeeedd d
d Z dd d
dZ
dd ddZ e d ddZ
dS )Ú
ParallelTasksz1Executes *nproc* tasks in parallel after forking.N)r r c C s4 || _ i | _i | _i | _i | _i | _d| _d| _d S )Nr )r Ú
_result_funcsÚ_argsÚ_procsÚ_precvsÚ_precvsWaitingÚ _pworkingÚ_taskid)r r r r r r - s zParallelTasks.__init__)ÚpipeÚfuncr r c C s¨ y<t j }|j |d kr$| }n||}W d Q R X d}W nH tk
r } z,d}tj|j|d j }|tj f}W Y d d }~X nX t j |j
|j ||j
|f d S )NFTr ) r
Z LogCollectorZcollectÚ
BaseExceptionÚ tracebackÚformat_exception_onlyÚ __class__ÚstripÚ
format_excZconvert_serializableÚlogsÚsend) r r' r( r Z collectorÚretÚfailedÚerrÚerrmsgr r r Ú_process> s
zParallelTasks._process)r r r r c C s~ | j }| j d7 _ |p dd | j|< || j|< tjd\}}tjd}|j| j|||fd}|| j|< || j |< | j
d S )Nr
c S s d S )Nr )r Úresultr r r Ú<lambda>Q s z(ParallelTasks.add_task.<locals>.<lambda>FÚfork)ÚtargetÚargs) r& r r! ÚmultiprocessingZPipeZ get_contextÚProcessr5 r" r$ Ú _join_one) r r r r ÚtidZprecvZpsendÚcontextÚprocr r r r N s
zParallelTasks.add_task)r c C sF y"x | j r | j stjd qW W n tk
r@ | j Y nX d S )Ng{®Gáz?)r% r= ÚtimeÚsleepÚ ExceptionÚ terminate)r r r r r Z s zParallelTasks.joinc C sX xRt | jD ]D}| j| j | jj| | jj| | jj| | jd8 _q W d S )Nr
)Úlistr# r" rD r Úpopr% )r r> r r r rD d s zParallelTasks.terminatec
C sî d}x| j j D ]\}}|j r|j \}}}|r:t| x|D ]}tj| q@W | jj|| j j|| | j
| j | j j| | j d8 _ d}P qW xJ| j
rè| j | jk rè| j
j \}} | | j |< | j
| j | j d7 _ q W |S )NFr
T)r# ÚitemsÚpollÚrecvr ÚloggerÚhandler rF r! r" r r% r$ r ÚpopitemÚstart)
r Z
joined_anyr> r' Úexcr/ r6 ÚlogZnewtidZnewprecvr r r r= l s(
zParallelTasks._join_one)NN)r r r r r r r r r5 r r rD Úboolr= r r r r r * s
r é
)Ú argumentsr Úmaxbatchr c sj t }|| |kr,tt|| | dkr8dt|\}}|rR|d7 } fddt|D S )Nr r
c s$ g | ] } | |d
qS )r
r )Ú.0Úi)rR Ú chunksizer r ú
<listcomp> s z make_chunks.<locals>.<listcomp>)Úlenr r ÚdivmodÚrange)rR r rS ÚnargsZnchunksÚrestr )rR rV r Ú make_chunks
s r] )rQ ) r ÚosrA r* Úmathr Útypingr r r r r r r; Ú ImportErrorZ
sphinx.errorsr Z sphinx.utilr
Ú getLoggerr rJ ÚnameZparallel_availabler r Ústrr r] r r r r Ú<module> s
[